એઆઈ લિપ-સિંક: વિડિયોમાં અન્ય ભાષા બોલાતી હોય છતાં હોઠના હલનચલનને સચોટ મેળવતું વિજ્ઞાન

વિદેશી ભાષા પણ પોતાની માતૃભાષા જેવી સ્વાભાવિક લાગે

તમે ક્યારેય ટીવી પર અંગ્રેજી ફિલ્મનું ગુજરાતી કે હિન્દી ડબિંગ જોયું છે? જ્યારે સ્ક્રીન પર હોલીવુડનો હીરો 'હેલો' બોલવા માટે મોઢું નાનું કરે છે પણ સ્પીકરમાંથી 'નમસ્તે' જેવો લાંબો અવાજ સંભળાય છે, ત્યારે આંખો અને કાન વચ્ચેનો આ મેળ ન બેસવાથી જોવાની મજા બગડી જાય છે. સિનેમાની દુનિયામાં આ મુશ્કેલીને લિપ-સિંક એરર કહેવામાં આવે છે. પરંતુ આર્ટિફિશિયલ ઇન્ટેલિજન્સના આગમન સાથે હવે આ સમસ્યા ભૂતકાળ બની રહી છે.

આધુનિક એઆઈ માત્ર અવાજ જ નથી બદલતું, પણ વિડિયોમાં રહેલી વ્યક્તિના હોઠ, દાંત અને ગાલના સ્નાયુઓને નવી ભાષાના ચોક્કસ ઉચ્ચારણો મુજબ આપોઆપ વાળીને નવેસરથી દોરી દે છે. આ ક્રાંતિકારી પદ્ધતિને ન્યુરલ લિપ સિંક્રોનાઇઝેશન (Neural Lip-Sync) અથવા ન્યુરલ ડબિંગ તરીકે ઓળખવામાં આવે છે.

કઠપૂતળીના દોરા ખેંચતો કુશળ કલાકાર

આ ટેકનોલોજીને સમજવા માટે રાજસ્થાનના એક અનુભવી કઠપૂતળી કલાકારની કલ્પના કરો. જ્યારે તે પાછળથી ગીત ગાય છે, ત્યારે આંગળીઓના દોરા ખેંચીને કઠપૂતળીના લાકડાના મોઢાને ગીતના ચોક્કસ શબ્દો મુજબ જ ઉપર-નીચે હલાવે છે જેથી દર્શકોને લાગે કે કઠપૂતળી પોતે જ ગાઈ રહી છે.

કમ્પ્યુટર પણ બિલકુલ આવું જ કામ બે મુખ્ય સ્તરે કરે છે. પહેલો ભાગ અવાજનો છે. સોફ્ટવેર નવા ડબ થયેલા ઓડિયોને નાના નાના ધ્વનિ ઘટકોમાં વહેંચે છે (જેને ફોનીમ્સ અથવા Phonemes કહે છે, જેમ કે 'પ', 'બ', 'મ' ના ઉચ્ચારો). બીજો ભાગ ચહેરાના દ્રશ્યનો છે. દરેક ઉચ્ચાર વખતે હોઠનો જે કુદરતી આકાર બને છે તેને વિઝીમ્સ (Visemes) કહેવાય છે. ઉદાહરણ તરીકે, 'ઓ' બોલતી વખતે હોઠ ગોળ થાય છે અને 'ઈ' બોલતી વખતે પહોળા થાય છે.

ત્યારબાદ એક ડીપ લર્નિંગ મોડેલ ચહેરાના મોં અને જડબાની ત્રિ-પરિમાણીય જાળી (3D ઓરલ કેવિટી મેશ અથવા Jaw Mesh) તૈયાર કરે છે. તે જૂના વિડિયોમાંથી હોઠનો ભાગ ડિજિટલ રીતે ભૂંસી નાખીને, નવા અવાજના ફોનીમ્સ સાથે મેળ ખાતા નવા વિઝીમ્સ ફ્રેમ દર ફ્રેમ પેઇન્ટ કરે છે. છેલ્લે, ચહેરાની ત્વચા અને દાઢી સાથે આ નવા હોઠને એવી રીતે ભેળવી દેવામાં આવે છે (ટેમ્પોરલ બ્લેન્ડિંગ અથવા Temporal Blending) કે કોઈ સાંધો કે બનાવટ પકડી શકાતી નથી.

સિનેમા, શિક્ષણ અને વૈશ્વિક વેપારમાં ફાયદા

આ ટેકનોલોજી શિક્ષણ અને વ્યવસાય માટે વરદાન સાબિત થઈ રહી છે. વિશ્વની ટોચની યુનિવર્સિટીઓના પ્રોફેસરના અંગ્રેજી લેક્ચર્સ હવે ભારતના ગામડાંના વિદ્યાર્થીઓ પોતાની સ્થાનિક ગુજરાતી ભાષામાં તેમના જ મુખેથી સાંભળી શકે છે. વૈશ્વિક કંપનીઓના સીઈઓ એક જ વિડિયો રેકોર્ડ કરીને વિશ્વભરના કર્મચારીઓને તેમની સ્થાનિક ભાષામાં સંબોધન કરી શકે છે. ખાસ કરીને ભારતીય સિનેમામાં જ્યાં તમિલ, તેલુગુ કે કન્નડ ફિલ્મોને હિન્દી અને ગુજરાતીમાં મોટા પાયે રજૂ કરવામાં આવે છે, ત્યાં લિપ-સિંક એઆઈનો ઉપયોગ દર્શકોને અસલી ફિલ્મ જેવો જ મનોરંજક અને કુદરતી અનુભવ આપે છે. આનાથી સ્થાનિક કલાકારોનો અભિનય દેશ-વિદેશના દર્શકો સુધી કોઈપણ ભાષાકીય અવરોધ વગર અસરકારક રીતે પહોંચી શકે છે.

છેતરપિંડીના જોખમો અને સાવચેતી

જેમ સિક્કાની બે બાજુ હોય છે, તેમ સાયબર ગુનેગારો આ તકનીકનો દુરુપયોગ કરીને જાણીતા નેતાઓ કે અધિકારીઓના વિડિયોમાં ખોટા નિવેદનો ઘુસાડી દે છે (લિપ-સિંક ડીપફેક ફ્રોડ અથવા Lip-Sync Fraud). આવા નકલી વિડિયો ઓળખવા માટે આ બાબતો ધ્યાનમાં રાખો:

• દાંત અને જીભની હિલચાલ જુઓ: એઆઈ હોઠ બરાબર ગોઠવી લે છે પણ મોંની અંદર રહેલા દાંત અને જીભ ઘણીવાર ઝાંખા કે અકુદરતી દેખાય છે.
• ગાલ અને દાઢીના સ્નાયુઓ તપાસો: બોલતી વખતે માત્ર હોઠ જ નહીં પણ ગાલ અને ગળાના સ્નાયુઓ પણ ખેંચાવા જોઈએ; જો આજુબાજુનો ચહેરો સ્થિર રહેતો હોય તો વિડિયો શંકાસ્પદ છે.
• અવાજની પ્રાકૃતિકતા ચકાસો: જો અવાજમાં ધાતુ જેવો રોબોટિક રણકો હોય કે શ્વાસ લેવાનો કુદરતી અવાજ ગાયબ હોય તો સાવધાન થઈ જાઓ.

ભાષાના બંધનો તોડતી નવી ક્રાંતિ

ન્યુરલ લિપ-સિંક ટેકનોલોજી વિશ્વમાંથી ભાષાની દીવાલો તોડીને જ્ઞાન અને સંસ્કૃતિના આદાન-પ્રદાનને અભૂતપૂર્વ ઝડપ આપી રહી છે. સાચી સમજણ અને સતર્કતા સાથે આ ટેકનોલોજીનો ઉપયોગ માનવજાત માટે અત્યંત કલ્યાણકારી સાબિત થશે.