વાંચવાનો સમય 4 મિનિટ
અલ્ગોરિધમિક પક્ષપાત: ગણિતના નિયમો માણસોના જૂના પૂર્વગ્રહોને કેવી રીતે આગળ વધારે છે?
30 સેકન્ડમાં સાર
અલ્ગોરિધમિક પક્ષપાત એ કમ્પ્યુટર સિસ્ટમમાં રહેલી એવી પદ્ધતિસરની ભૂલ છે, જેમાં અલ્ગોરિધમ અમુક ચોક્કસ જૂથો કે વ્યક્તિઓ પ્રત્યે ભેદભાવભર્યું કે અન્યાયી વલણ અપનાવે છે. કમ્પ્યુટર પોતે કોઈના પ્રત્યે વેરભાવ નથી રાખતું, પરંતુ માનવ ઇતિહાસના અસંતુલિત આંકડાઓનો અભ્યાસ કરવાથી તે જૂની સામાજિક વિષમતાને આધુનિક ગણિતના નામે આગળ વધારે છે.
કમ્પ્યુટરના આંકડા હંમેશા સાચા અને નિષ્પક્ષ હોય છે ખરા?
તમે નોકરી માટે ઓનલાઇન અરજી મોકલી હોય કે લોન માટે ફોર્મ ભર્યું હોય, અને કોઈ સ્પષ્ટ કારણ આપ્યા વિના કમ્પ્યુટર સિસ્ટમ તમારી અરજી તરત જ નકારી કાઢે ત્યારે કેવું લાગે? સામાન્ય રીતે લોકો માને છે કે કમ્પ્યુટર તો માત્ર ગણિત જાણે છે, તેથી તે ક્યારેય પક્ષપાત ન કરી શકે. પરંતુ વાસ્તવિકતા એ છે કે કમ્પ્યુટર માણસો દ્વારા એકત્રિત કરાયેલા ડેટામાંથી જ શીખે છે.
જ્યારે ટેકનોલોજી જૂના ભેદભાવયુક્ત ડેટાના આધારે અન્યાયી નિર્ણયો લેવા માંડે છે, ત્યારે તેને કમ્પ્યુટર પક્ષપાત (જેને અલ્ગોરિધમિક બાયસ અથવા Algorithmic Bias કહે છે) તરીકે ઓળખવામાં આવે છે. કમ્પ્યુટર કોઈના પ્રત્યે દ્વેષ રાખતું નથી, પણ જે આંકડા તેને શીખવવામાં આવ્યા છે તેના પૂર્વગ્રહોને તે ગણિતનું સત્ય માની બેસે છે.
જૂના ચોપડા જોઈને ભરતી કરતી પસંદગી સમિતિ
આ ગંભીર ખામી સમજવા માટે એક જૂની ઔદ્યોગિક પેઢીની ભરતી સમિતિની કલ્પના કરો. પેઢીના સંચાલકોએ એક નવો યુવાન અધિકારી રાખ્યો અને તેને કહ્યું કે 'પાછલા ચાલીસ વર્ષોમાં આપણા શ્રેષ્ઠ મેનેજરોના રેકોર્ડ જોઈને નવા ઉમેદવારો પસંદ કર'.
તે જમાનામાં એવી સામાજિક સ્થિતિ હતી કે ફેક્ટરીના મોટા હોદ્દા પર માત્ર ચોક્કસ વિસ્તાર કે ચોક્કસ વર્ગના પુરુષો જ હતા (જેને ભૂતકાળની માનવીય પસંદગી અથવા Human Gatekeeping કહે છે). નવો અધિકારી ભૂતકાળના આ ચોપડા વાંચીને એવો નિયમ બનાવી લે છે કે અન્ય વર્ગના ઉમેદવારો મેનેજર બનવા લાયક નથી. આ અધિકારી પોતે ખરાબ નથી, પણ તેણે જૂના પૂર્વગ્રહયુક્ત ચોપડાને જ આખરી સત્ય માની લીધું.
કમ્પ્યુટર સિસ્ટમ પણ બરાબર આ અધિકારી જેવી છે. જો તમે જાતિ કે લિંગનું નામ છુપાવો, તો પણ સિસ્ટમ પિનકોડ, સ્કૂલનું નામ કે શોખ જેવી પરોક્ષ વિગતો (જેને પ્રોક્સી વેરિયેબલ્સ અથવા Proxy Variables કહે છે) પરથી અનુમાન લગાવી લે છે. આ પક્ષપાતી નિર્ણયોથી એક હાનિકારક ચક્ર (જેને સેલ્ફ-રિઇન્ફોર્સિંગ ફીડબેક લૂપ અથવા Feedback Loop કહેવાય છે) રચાય છે, જે ચોક્કસ સમુદાય પર અન્યાયી અસર (ડિસ્પારેટ ઇમ્પેક્ટ અથવા Disparate Impact) પાડે છે. જો તાલીમ આપવાના આંકડાઓમાં સમાજના દરેક વર્ગનું સંતુલિત પ્રતિનિધિત્વ (રિપ્રેઝન્ટેટિવ ડેટા અથવા Representative Data) ન હોય, તો આ અસમાનતા સતત વધતી જાય છે.
અલ્ગોરિધમિક પક્ષપાતનું નુકસાન ક્યાં ક્યાં થાય છે?
જીવનના અત્યંત સંવેદનશીલ ક્ષેત્રોમાં આ અદ્રશ્ય ભેદભાવ સામાન્ય માણસના અધિકારો પર અસર કરે છે:
- નોકરીની પસંદગીમાં અન્યાય: મોટી કંપનીઓમાં બાયોડેટા ચકાસતા સોફ્ટવેર મહિલાઓ કે વંચિત વિસ્તારોના હોનહાર ઉમેદવારોને ઇન્ટરવ્યુ પહેલાં જ બાદબાકી કરી દે છે.
- બેંક લોન અને ક્રેડિટ સ્કોર: ચોક્કસ પિનકોડ કે લત્તામાં રહેતા મહેનતુ લોકોને જૂના આંકડાના આધારે જોખમી ગણીને લોન આપવાનો ઇનકાર કરાય છે.
- આરોગ્ય સંભાળમાં ઉપેક્ષા: હોસ્પિટલોમાં દર્દીઓની ગંભીરતા નક્કી કરતા સોફ્ટવેર ક્યારેક ગરીબ દર્દીઓની બીમારીને પૂરતું મહત્વ નથી આપતા.
- ચહેરાની ઓળખમાં ભૂલો: વૈશ્વિક સ્તરે ફેસિયલ રેકગ્નિશન સિસ્ટમ્સ ઘઉંવર્ણી કે શ્યામ ત્વચાવાળા લોકોના ચહેરા ઓળખવામાં વધુ ભૂલો કરે છે.
પક્ષપાત અટકાવવા માટેના જરૂરી પગલાં અને વિવેક
કમ્પ્યુટરના આંકડાઓને આખરી ન્યાય માનવાને બદલે માનવીય વિવેક અને ન્યાયબુદ્ધિની કસોટી કરવી અનિવાર્ય છે:
- માહિતી બદલીને સમાનતા ચકાસવી (કાઉન્ટરફેક્ચ્યુઅલ ઓડિટ અથવા Counterfactual Audit): બાયોડેટામાં માત્ર નામ કે લિંગ બદલીને પરિણામ સરખાવવામાં આવે છે કે સિસ્ટમ ભેદભાવ કરે છે કે નહીં.
- કાયદાકીય નિયમન અને પારદર્શિતા (એઆઈ એક્ટ અથવા AI Act): યુરોપિયન યુનિયન અને અન્ય દેશોએ હાઈ-રિસ્ક એઆઈ સિસ્ટમ્સ પર કડક નિયંત્રણો લાદ્યા છે જેથી લોકોના મૂળભૂત અધિકારો સચવાય.
- અપીલ કરવાનો અને સ્પષ્ટતા માગવાનો અધિકાર: જ્યારે કોઈ કમ્પ્યુટર સિસ્ટમ તમારી અરજી નકારે, ત્યારે તેના નક્કર કારણો જાણવાનો અને માનવીય સમીક્ષા કરાવવાનો અધિકાર હોવો જોઈએ.
ટેકનોલોજી ત્યારે જ સાચી પ્રગતિશીલ ગણાય જ્યારે તે દરેક નાગરિક સાથે સમાનતા, ન્યાય અને આદરથી વર્તે. અલ્ગોરિધમની આવી અદ્રશ્ય ભૂલો અને પક્ષપાત પ્રત્યે જાગૃત રહીને જ આપણે સૌ નાગરિકો માટે સમાન તકોવાળું ન્યાયી ડિજિટલ ભવિષ્ય બનાવી શકીએ છીએ.
સ્ત્રોતો
- Towards a Standard for Identifying and Managing Bias in Artificial IntelligenceNational Institute of Standards and Technology
- On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?ACM Conference on Fairness, Accountability, and Transparency (FAccT)