મલ્ટિમોડલ એઆઈ: ફોટો અને તમારા પ્રશ્નને કેવી રીતે જોડે છે?

અજાણ્યા ઘરગથ્થુ સાધનના બટનોનો ફોટો લઈ પૂછો કે સમય નક્કી કરવાનું બટન કયું છે. આ ઉપયોગ સમજાવતું કાલ્પનિક ઉદાહરણ છે, સફળ પરીક્ષણનો અહેવાલ નથી. ફોટો બટનોની ગોઠવણ બતાવે છે અને પ્રશ્ન તમારો હેતુ જણાવે છે. દરેક બટનનું શબ્દોમાં વર્ણન કરવાની જરૂર ઘટે છે, છતાં મળેલો જવાબ સાધન અને તેની માર્ગદર્શિકા સાથે સરખાવવો પડે છે.

બંને પ્રકારની માહિતી શું આપે છે?

ચિત્રની પ્રક્રિયા આકાર, રંગ અને સ્થાન જેવી લાક્ષણિકતાઓને ગણતરીમાં વાપરી શકાય તેવી સંખ્યાઓમાં ફેરવે છે. પ્રશ્નના શબ્દો પણ સંખ્યાત્મક રૂપ મેળવે છે. જવાબ બનાવતી પ્રક્રિયા બંને માહિતીનો ઉપયોગ કરીને પ્રશ્નને ચિત્રના સંબંધિત ભાગ સાથે જોડે છે. ચિત્ર સાથે પહેલેથી સાચું વર્ણન મળેલું હોતું નથી. પરિણામ તૈયાર કરવા માટે દેખાતી માહિતી અને ભાષાના સંબંધો કામમાં લેવાય છે.

તૈયારી વખતે ચિત્રો અને તેમનાં વર્ણનો જેવા જોડાયેલા ઉદાહરણો વપરાય છે. દેખાતી લાક્ષણિકતા અને શબ્દ વચ્ચેના સંબંધનો ઉપયોગ કરવાની ક્ષમતા વિકસે છે. પછી નવા ફોટા માટે શીખેલા સંબંધો અને તમારો પ્રશ્ન વાપરી જવાબ બને છે. આ માનવીની જેમ ઘટનાનો અનુભવ કર્યાનો પુરાવો નથી. સંબંધ ખોટો લાગુ પડે તો વ્યવસ્થિત લખાયેલો જવાબ પણ ખોટો થઈ શકે છે.

એક જ ફોટામાં «પડદા પરનો આંકડો વાંચો» અને «સમય નક્કી કરતું બટન શોધો» જુદા કામ છે. પ્રશ્ન મુજબ ઉપયોગી ભાગ બદલાય છે. પરંતુ સાધનનું નામ કે ચિહ્નોની સમજ ફોટામાં ન હોય તો બટનનું ખરેખર કામ નક્કી ન થઈ શકે. દેખાતી ગોઠવણ અને સાધનની કાર્યપદ્ધતિ એક જ માહિતી નથી. જે દેખાતું નથી તે માત્ર પ્રશ્નથી ઉમેરાઈ જતું નથી.

બધી વ્યવસ્થા બધું સ્વીકારતી નથી

કેટલાક મોડલ લખાણ અને ચિત્ર લે છે, જ્યારે અન્ય અવાજ કે વિડિયો પણ લે છે. Googleનો Gemini વિશેનો તકનીકી અહેવાલ એક ચોક્કસ મોડલ પરિવારની આવી ક્ષમતાઓ વર્ણવે છે. તેનાથી દરેક મલ્ટિમોડલ એપમાં એ જ સુવિધા હશે એવું સાબિત થતું નથી. તમારે આપવી છે તે માહિતીનો પ્રકાર ચોક્કસ સેવામાં સ્વીકારાય છે કે નહીં, તે તપાસો.

લેવાતી માહિતી અને મળતું પરિણામ પણ અલગ છે. અવાજનું રેકોર્ડિંગ લઈને લખાણમાં સારાંશ આપવો એટલે બોલીને જવાબ આપવાની ક્ષમતા હોવી નહીં. Googleના અવાજ વિશેના દસ્તાવેજમાં વાતને લખાણમાં ઉતારવી, સારાંશ અને પ્રશ્નોના જવાબનો ઉલ્લેખ છે; જીવંત વાતચીત માટે અલગ માર્ગદર્શન છે. તેથી અવાજ આપી શકાય એટલા માટે અવાજમાં જવાબ મળશે એવું માનશો નહીં. જરૂરી સુવિધા અલગથી જુઓ.

અંદરની રચના એકસરખી હોવી જરૂરી નથી. ચિત્ર, અવાજ અને ભાષા માટે જુદા ભાગો સાથે કામ કરી શકે છે. વચ્ચે બોલેલી વાતને લખાણમાં ફેરવતી પદ્ધતિ પણ હોઈ શકે. સામાન્ય નામ પરથી તેને બહાર રાખી શકાતી નથી. «બધું એક ડિજિટલ મગજમાં જાય છે» એવી છબી કરતાં કઈ માહિતી લેવાય છે અને કેવું પરિણામ મળે છે તે સમજવું વધુ ઉપયોગી છે.

વાંચેલું અને અનુમાનેલું અલગ રાખો

ઝાંખો ફોટો અથવા નાના અક્ષરો જરૂરી વિગત વાંચવામાં અવરોધ બને છે. Google સ્પષ્ટ ચિત્ર અને સાચી દિશા રાખવાની સલાહ આપે છે. કેટલીક વ્યવસ્થામાં વધુ વિગતો પર પ્રક્રિયા કરવાથી નાની વસ્તુઓ વાંચવામાં મદદ મળે, પણ વધુ સમય અને સંસાધનો લાગી શકે. વધારે સ્પષ્ટતા પણ સાચા જવાબની ખાતરી નથી. વાક્યો સ્વાભાવિક લાગે તેનાથી વાંચેલી વિગતો સાચી છે એવું સાબિત થતું નથી.

«આ સમજાવો» કહેવાને બદલે «બટનો પરના શબ્દો વાંચો અને જે વાંચી ન શકાય તે જણાવો» કહો. બીજો પ્રશ્ન કામને સ્પષ્ટ કરે છે અને ફોટા સાથે સરખામણી સરળ બનાવે છે. આ ભૂલ દૂર કરવાની ખાતરી નથી, પરંતુ તપાસવાના મુદ્દા નક્કી કરવાની રીત છે. મોડલ દરેક શંકા જાતે જણાવશે એવું પણ ન માનો. તેના લખેલા શબ્દો મૂળ ચિત્ર સાથે સરખાવો.

ફોટામાં ન દેખાતી બાબતો બાકી રહે છે. બટનોની તસવીર સાધનની અંદરનો ખામીયુક્ત ભાગ બતાવતી નથી. બિલનો ફોટો આપનાર સંસ્થા સાચી છે તે સાબિત કરતો નથી. મહત્ત્વની બાબત માર્ગદર્શિકા અથવા મૂળ સંસ્થા પાસેથી ખાતરી કરો. દેખાતી સામગ્રીનું વર્ણન અને તેના સ્ત્રોતની સચ્ચાઈ અલગ પ્રશ્નો છે. એકનો જવાબ મળવાથી બીજાનો જવાબ આપમેળે મળતો નથી.

ફોટો કે રેકોર્ડિંગ મોકલતાં પહેલાં તેમાં ચહેરા, સરનામાં અથવા બીજાની વાતો છે કે નહીં જુઓ. જરૂરી ભાગ જ મોકલી શકાય છે કે નહીં વિચારો અને સેવા માહિતી સાથે શું કરે છે તે તપાસો. દરેક પ્રક્રિયા તમારા ફોનમાં થાય છે અથવા બધી સેવા માહિતી એકસરખી રીતે સાચવે છે એવું ન માનો. સારો જવાબ મેળવવો અને કેટલું શેર કરવું એ જુદા નિર્ણયો છે.

મલ્ટિમોડલ એઆઈનો લાભ એકબીજાને પૂરક માહિતી જોડવામાં છે. તમે આપેલી સામગ્રી, એઆઈનો જવાબ અને બીજા સ્ત્રોતથી ખાતરી કરેલી બાબત અલગ રાખો. ફોટો પ્રશ્નને મદદ કરે છે, પરંતુ જવાબને આપમેળે હકીકત બનાવતો નથી. ચકાસી શકાય તેવી સમજ માગશો તો આ સાધન ઉપયોગી બને છે અને ભૂલ કયા તબક્કે થઈ તે ઓળખવામાં પણ મદદ મળે છે.