વાંચવાનો સમય 3 મિનિટ

Text-to-video AI: માત્ર એક વાક્ય પરથી કમ્પ્યુટર જીવંત હલનચલન કેવી રીતે બનાવે છે?

પ્રકાશિત

30 સેકન્ડમાં સાર

ટેક્સ્ટ-ટુ-વિડિયો એટલે આપેલા લખાણના આધારે એઆઈ એકસાથે દ્રશ્ય અને સમયની ગતિવિધિઓની ગણતરી કરીને જીવંત દેખાતા વિડિયો ક્લિપ્સ આપોઆપ તૈયાર કરવાની પ્રક્રિયા.

થોડા સમય પહેલાં સુધી આર્ટિફિશિયલ ઇન્ટેલિજન્સ માત્ર એક સ્થિર ચિત્ર દોરી શકતું હતું: કોઈ પર્વતનું સુંદર દ્રશ્ય કે અવકાશયાત્રીનો ફોટો. પરંતુ હવે ટેકનોલોજી ઘણી આગળ વધી ગઈ છે; તમે ફક્ત 'પાણીના ખાબોચિયા પરથી કૂદકો મારતું કુરકુરિયું' એટલું લખો એટલે તરત જ પાણીના ટીપાં ઉડતા હોય અને કુરકુરિયાના વાળ હવામાં લહેરાતા હોય તેવો જીવંત વિડિયો તૈયાર થઈ જાય છે. માત્ર એક વાક્ય પરથી આવી કુદરતી હલનચલન બનાવવી એ ખૂબ મોટો વૈજ્ઞાનિક પડકાર હતો.

૨૪ માટીની મૂર્તિઓ અને ફરતું ચિત્રચક્ર (ઝોઈટ્રોપ)

હલનચલન કેવી રીતે બને છે તે સમજવા ઓગણીસમી સદીના જૂના રમકડાં 'ઝોઈટ્રોપ'ની કલ્પના કરો. એક ફરતા નળાકારમાં કાપા હોય છે અને અંદર દોડતા ઘોડાના ચોવીસ ચિત્રો લગાવેલા હોય છે. નળાકાર ફેરવીને કાપામાંથી જોવાથી ઘોડો દોડતો દેખાય છે. જો કોઈ શિલ્પકાર ચોવીસ ઘોડાની માટીની મૂર્તિઓ એકબીજા સાથે સરખાવ્યા વગર અલગ-અલગ બનાવે તો શું થાય?

દરેક મૂર્તિ સ્વતંત્ર રીતે બનાવાય તો દોડતી વખતે ઘોડાના કાન અચાનક નાના-મોટા થશે, પૂંછડી ગાયબ થઈ જશે અને પગ વિચિત્ર રીતે વળી જશે. તેથી તે શિલ્પકારે બધી ચોવીસ મૂર્તિઓને એક લચીલા વાયરથી જોડી દીધી. બારમી મૂર્તિનો આગળનો પગ આગળ વધે ત્યારે અગિયારમી અને તેરમી મૂર્તિના સ્નાયુઓ પણ વાયરની મદદથી આપોઆપ વળી જાય છે, જેથી હલનચલનમાં કુદરતી સાતત્ય જળવાઈ રહે છે.

લખાણમાંથી વિડિયો બનાવતા એઆઈ મોડેલ્સ પણ આ જ નિયમ પર કામ કરે છે. તેઓ એક-એક ફ્રેમ અલગ બનાવવાને બદલે પહોળાઈ, ઊંચાઈ અને સમય આ ત્રણેય બાબતોનો એકસાથે વિચાર કરે છે. શરૂઆતમાં આખી સ્ક્રીન ટીવીના અવાજ જેવા ઝીણા ટપકાંઓથી (નોઈઝથી) ભરેલી હોય છે. પછી આપેલી સૂચના મુજબ કમ્પ્યુટર બધી ફ્રેમ્સમાંથી નકામો ભાગ એકસાથે ધીમે ધીમે દૂર કરે છે, જેથી ફ્રેમ બદલાય ત્યારે રંગ, પ્રકાશ કે આકારમાં કોઈ ધ્રુજારી આવતી નથી.

એઆઈ વિડિયો ઓળખવા માટેના ચાર મુખ્ય સંકેતો

આ વિડિયો ગમે તેટલા સાચા લાગે પણ ભૌતિક વિજ્ઞાનના નિયમો કમ્પ્યુટરને પૂરેપૂરા સમજાતા ન હોવાથી કેટલીક ભૂલો પકડાઈ જાય છે:

  • હલનચલન દરમિયાન હાથ-પગનું ઓગળી જવું કે બદલાઈ જવું: હાથ અને આંગળીઓ ધ્યાનથી જુઓ; ચાલતી વખતે ઘણીવાર આંગળીઓની સંખ્યા વધી જાય છે અથવા આંગળીઓ કપડાંમાં ભળી જાય છે.
  • ગુરુત્વાકર્ષણ અને પાણીના ઉછાળામાં વિસંગતતા: પાણીના ટીપાં ઘણીવાર આડી દિશામાં ઉડે છે અથવા હવામાં જ થીજી જાય છે, અને પડતી વસ્તુઓમાં કુદરતી વજન જણાતું નથી.
  • પાછળની ઇમારતો અને રસ્તાઓનું ધ્રૂજવું: કેમેરો ફરે ત્યારે પાછળની બારીઓ કે બોર્ડ પરના અક્ષરો દરેક ફ્રેમમાં સહેજ બદલાતા અને લહેરાતા દેખાય છે.
  • વસ્તુઓનું અકુદરતી રીતે એકબીજામાં ઘૂસી જવું: વ્યક્તિ કપ પકડે કે દરવાજો ખોલે ત્યારે આંગળીઓ કપની આરપાર નીકળી જતી હોય તેવી ખામીઓ દેખાય છે.

વિડિયોની સાચી પરખ કરવા માટેની ઉપયોગી રીતો

સોશિયલ મીડિયા પર અવનવા વિડિયો જોતી વખતે આ બાબતો ધ્યાનમાં રાખો:

  • વિડિયો ધીમી ગતિએ ચલાવીને હલનચલન તપાસો: સ્ક્રીનશોટમાં ચિત્ર સાચું લાગી શકે છે, પણ વિડિયો અડધી સ્પીડે જોતાં જ જમીન પર પગ પડવાની ભૂલો તરત દેખાઈ આવે છે.
  • પ્રકાશ અને પડછાયાની દિશા સરખાવો: દોડતા વાહન કે પ્રાણીનો પડછાયો સૂર્યના સ્થાન સાથે અને આસપાસના ઝાડના પડછાયા સાથે મેળ ખાય છે કે નહીં તે ચકાસો.
  • ડિજિટલ વોટરમાર્ક (C2PA) શોધો: વિશ્વસનીય સંસ્થાઓ વિડિયો સાચા કેમેરાથી લેવાયેલો છે કે એઆઈથી બનેલો છે તે દર્શાવતી ડિજિટલ વિગતો ઉમેરે છે. આ સાથે નવા આઈડિયા ચકાસવા માટે આ ટૂલ્સનો ઉપયોગ કરો, કારણ કે સ્ટોરીબોર્ડ બનાવવા અને કેમેરા એંગલ ચકાસવા એઆઈ વિડિયો ઉપયોગી છે, પરંતુ અંતિમ કામ માટે માનવીય કલા જ શ્રેષ્ઠ છે.

પપેટ શોથી શરૂ થયેલી ચલચિત્રની સફર આજે એઆઈના આરે પહોંચી છે. આ ટેકનોલોજીની પાછળનું વિજ્ઞાન સમજીને આપણે તેની સર્જનાત્મકતાનો આનંદ પણ માણી શકીએ અને ખોટા ભ્રમથી પણ બચી શકીએ.

ટેક્સ્ટ-ટુ-વિડિયોમાં હાથની આંગળીઓ અને પૃષ્ઠભૂમિની વિગતોમાં ભૂલો રહી જાય છે. સોશિયલ મીડિયા પર સનસનાટીભર્યા વીડિયો જોતાં જ શેર કરવાને બદલે સત્તાવાર સમાચાર સ્ત્રોત પરથી સત્યતા તપાસો.

સ્ત્રોતો
  1. Spatio-Temporal Video Diffusion and Temporal Attention ArchitecturesCVPR
  2. Generative Video Synthesis and Physical Motion ContinuityACM SIGGRAPH
  3. Content Credentials and Metadata Specifications for Synthetic MediaC2PA