هل التحيز الخوارزمي محض صدفة حقاً كما تقول شركات وادي السيليكون؟

حقوق الصورة: بنجامين تشايلد/ أنسبلاش.

استمع الى المقالة الآن هذه الخدمة تجريبية

في أواخر يونيو/ حزيران، نشرت إم آي تي تكنولوجي ريفيو تقريراً عن محاولات بعض من أشهر مواقع البحث عن العمل –بما فيها “لينكد إن” (LinkedIn)، و”مونستر” (Monster)، و”زيب ريكروتر” (ZipRecruiter)- لإزالة التحيز من برمجياتها الخاصة بمقابلات العمل والتي تعتمد على الذكاء الاصطناعي.

وأُطلقت هذه المحاولات بعد عدة حوادث تبين فيها أن برمجيات مقابلات الفيديو التي تعمل بالذكاء الاصطناعي كانت متحيزة ضد الأشخاص المصابين بإعاقات تؤثر على تعابير الوجه، كما أظهرت تحيزاً ضد المرشحين من النساء. وعندما يعطي برنامج الذكاء الاصطناعي نتائج متمايزة وغير متناسبة للمجموعات المهمشة وفق بعض التصنيفات، مثل العِرق والجنس والحالة الاجتماعية-الاقتصادية، فإن شركات الوادي السيليكون تهرع على الفور إلى الاعتراف بالأخطاء، وتطبيق الإصلاحات الفنية، والاعتذار عن التباين في النتائج.

وقد شهدنا كل هذا عندما اعتذرت شركة “تويتر” (Twitter) بعد أن قامت خوارزمية اقتطاع الصور في منصتها بالتركيز تلقائياً على وجوه الأشخاص بيض البشرة أكثر من وجوه الأشخاص سُمر البشرة، وعندما عبرت شركة “تيك توك” (Tik Tok) عن أسفها العميق بسبب خطأ تقني أدى إلى إعاقة انتشار وسم حركة “Black Lives Matter” (والتي تناهض العنصرية ضد الأميركيين الأفارقة). وتزعم الشركات أن هذه الحوادث ليست سوى لحظات عرضية من التحيز غير المقصود أو بيانات تدريب سيئة تسربت إلى الخوارزمية، أي أن هذا التحيز مجرد خطأ، وليس ميزة أصيلة.

للواقع رأي آخر في مزاعم الشركات حيال التحيز الخوارزمي

ولكن الوقائع تقول إن استمرار وقوع هذه الحوادث في منتجات وشركات مختلفة يشير إلى أن التمييز ضد الفئات المهمشة أصبح ركيزة أساسية في عمل هذه التكنولوجيا. وقد حان الوقت حتى ننظر إلى تطوير المنتجات التكنولوجية التمييزية على أنه فعل متعمد من قبل المسؤولين التنفيذيين في وادي السيليكون، والذين ينتمي معظمهم إلى فئة بيض البشرة، وذلك لتعزيز أنظمة العنصرية، ومعاداة المرأة، والتصنيف وفق القدرات والفئات الاجتماعية وغير ذلك من محاور القمع الذي يدعم مصالحهم ويغدق على هذه الشركات أرباحاً خيالية.

وعلى الرغم من أن هذه التكنولوجيات تبدو ظاهرياً خيّرة وعديمة الأذى، فإنها في الواقع تجسيد واقعي لمصطلح “نموذج جيم الجديد” لروها بنجامين، وهي أستاذة الدراسات الأميركية الأفريقية في جامعة برينستون ومؤلفة كتاب “محاولة اللحاق بالتكنولوجيا” (Race After Technology)، ويعني هذا المصطلح التكنولوجيات الجديدة التي تعيد إنتاج التباينات وحالة عدم المساواة التي كانت موجودة سابقاً، مع إعطاء مظهر أكثر حداثة وتقدمية من الأنظمة التمييزية للفترات السابقة.

لماذا تطرح الشركات منتجات تمييزية؟

يوجد لدى الشركات التكنولوجية العديد من الحوافز المالية والاجتماعية التي تدفعها إلى تصميم منتجات تمييزية. ويمكننا أن نأخذ كمثال على هذا نظام أمازون ريكوغنيشن، وهو نظام تعرّف على الوجوه من تصميم الشركة العملاقة في التجارة الإلكترونية، وأحد منتجاتها التي تبيعها للعديد من الجهات الأخرى. فقد قامت أمازون، وبشكل علني للغاية، بفرض حظر مؤقت على استخدام الشرطة لأنظمة التعرف على الوجوه في يونيو/ حزيران من العام 2020 بعد اندلاع الاحتجاجات في أعقاب مقتل جورج فلويد.

ولكن، قبل أن يحدث هذا، قامت الشركة بتطوير وبيع هذا المنتج على الرغم من العديد من الأدلة التي تشير إلى أن استخدام أنظمة التعرف على الوجوه من قبل أقسام الشرطة يعزز من الأذى الذي يتعرض إليه أصحاب البشرة السمراء. وقد فعلت أمازون هذا حتى تستفيد من النظام القضائي الجنائي الذي يستهدف الأميركيين الأفارقة على وجه الخصوص بالمراقبة، والاعتقال، والسجن، ولم تتوقف عن هذا حتى تسببت الاحتجاجات على العنصرية ضد الأفارقة بتسليط الضوء على ممارسات الشركة.

إضافة إلى ذلك، فإن تطوير وبيع هذه التكنولوجيا يساعد على الحفاظ على هيكلية المجتمع المعادية للأميركيين الأفارقة، والتي تسمح لجيف بيزوس وذوي البشرة البيضاء الذين يشغلون أعلى المناصب أجراً بالحفاظ على امتيازاتهم في المجتمع.

الخوارزميات كأثر ناجم عن تكنولوجيا تتبنى معايير محددة

ويجب أن ننظر إلى هذه الخوارزميات كأثر ناجم عن ثقافة التكنولوجيا التي عززت اللامساواة العرقية والجنسية في التوظيف واختيار قادة الشركات، والتي تدفع الموظفين جدياً إلى عدم المشاركة في النقاشات السياسية في العمل. وعلى الرغم من أن احتجاجات 2020 دفعت إلى إطلاق المزيد من الحوارات الصريحة حول العرق والهوية من قبل الشركات التكنولوجية، فإن ثقافة تجنب النقاشات السياسية ما زالت هي السائدة.

وقد كان هذا واضحاً عندما قام الرئيس التنفيذي لشركة “بيس كامب” (Basecamp) جيسون فرايد بنشر مذكرة في أبريل/ نيسان يحظر فيها على الموظفين مناقشة المواضيع الاجتماعية والسياسية على حسابات بيس كامب التابعة للشركة. وفي توضيح للمنطق الذي دفعه إلى هذا الإجراء، كتب فرايد قائلاً: “إن الأجواء الاجتماعية والسياسية الحالية تتميز بصعوبة خاصة”، ولهذا فإنك “لست مضطراً للتساؤل عما إذا كان تجنب النقاش يعني أنك متآمر، أو عما إذا كان الخوض فيه يعني أنك مستهدف”. وقد أطلقت المذكرة انتقادات حادة على الإنترنت، وأدت إلى موجة من الاستقالات بين الموظفين.

غير أن ما قاله فرايد صراحة لم يكن سوى المعيار السائد ضمنياً في الشركات التكنولوجية في البلاد: فخوض النقاشات في المواضيع “الإشكالية”، مثل العنصرية والنفور من مجتمع الميم ومعاداة النساء سمراوات البشرة والتمييز ضد ذوي الاحتياجات الخاصة، أمر غير مريح لأصحاب الامتيازات، ولهذا تفضل الشركات التكنولوجية تجنبها. وعلى الرغم من أن هذه الشركات حاولت مؤخراً رعاية نقاشات أكثر صراحة حول العِرق والجنس والتحيز ضمن أماكن العمل الخاصة بها، فإن الاعتقاد بأن المشاكل الاجتماعية مثل التمييز العرقي غير مهمة بالنسبة للتطوير التكنولوجي هو السائد ضمن ثقافة شركات وادي السيليكون.

وبتطبيع ثقافة تجنب الحديث بصراحة حول المسائل الاجتماعية والسياسية، تحافظ الشركات التكنولوجية على ثقافة تعطي الأولوية لوجهات نظر الأشخاص ذوي الهويات المسيطرة، بدءاً من التوظيف وصولاً إلى تطوير المنتجات. ولكن الحقيقة تقول إن النقاش في المواضيع الاجتماعية والسياسية لا يتوقف أبداً. ولكن الأشخاص الذين يتمتعون بالنفوذ وفق معايير العرق والجنس وغيرها ينظرون إلى هوياتهم ووجهات نظرهم على أنها مسائل افتراضية لا جدل فيها، ولهذا فإنها ليست جزءاً من المشهد السياسي والاجتماعي.

وهذا صحيح بالنسبة للبيض على وجه الخصوص، وهي مجموعة بقيت هويتها العرقية فوق مستوى الجدل والتجاذبات منذ زمن. وفي البحث الذي أجريته الصيف الماضي، وجدت أن التصريحات التي أطلقتها الشركات التكنولوجية في خضم الاحتجاجات المتعلقة بالعدالة العرقية لم تذكر العرق الأبيض أو الأشخاص البيض إلا فيما ندر. إن خيار استثناء البيض من هذه التصريحات، مع التركيز الفائق على الأميركيين الأفارقة وغيرهم من الملونين، يؤدي إلى تطبيع الفكرة القائلة بأن البيض لا ينتمون إلى عرق مميز، وهو ما يجعلهم بالتالي في حل من دورهم في الحفاظ على التراتبية العرقية.

وهكذا، يستطيع البيض الحفاظ على نفوذهم في الشركات التكنولوجية، وتجنب الشعور بالخوف والضيق والغضب الذي قد يرافق النقاشات حول التمييز العنصري، وهي ظاهرة تُعرف في بعض الأحيان باسم “الحساسية البيضاء“.

في النهاية: لا بد من من مواجهة التحيز الخوارزمي

لقد حان الوقت حتى نرفض وجهة النظر التي تروج لها الشركات التكنولوجية الكبيرة، والتي تقول بأن التحيز الخوارزمي لا يتجاوز كونه نتيجة لاستخدام بيانات تدريب متحيزة بشكل غير مقصود، أو تحيز غير مقصود. وبدلاً من ذلك، يجب أن ننظر إلى تلك الشركات بنفس طريقتنا في النظر إلى نظام التعليم ونظام العدالة الجنائية، أي أنها مؤسسات تحافظ على اللامساواة البنيوية وتعززها، بغض النظر عن النوايا والسلوكيات الحسنة للأفراد ضمن هذه المؤسسات.

وبالتوقف عن اعتبار التحيز الخوارزمي مجرد مسألة عرضية، سيكون من الممكن وضع حد للمبرمجين والمهندسين والمدراء والرؤساء التنفيذيين المسؤولين عن إنتاج أنظمة تكنولوجية تخفض من مستوى العناية بالمرضى سمر البشرة أو تتسبب بأذى موجه على نحو خاص إلى ذوي الاحتياجات الخاصة وتميز ضد النساء في أماكن العمل. وعندما ننظر إلى التحيز الخوارزمي كجزء من بنية أكبر، يمكن أن نتخيل حلولاً جديدة لإيقاف الأذى الناجم عن خوارزميات الشركات التكنولوجية، وتطبيق ضغط اجتماعي على الأفراد ضمن هذه المؤسسات لإرغامهم على تغيير سلوكهم، وبناء مستقبل جديد لا تفرض فيه التكنولوجيا نفسها بشكل حتمي، بل تتسم بالعدالة ومراعاة واقعنا الاجتماعي.

“فيوتشر تينس” (Future Tense) هو مشروع شراكة بين مجلة “سليت” (Slate) ومؤسسة “نيو أميركا” (New America) وجامعة أريزونا الحكومية، وذلك لدراسة التكنولوجيات الناشئة والسياسات العامة والمجتمع.