شارك
الرئيسية
10 دقائق 
في الطفولة، تبدأ تدريجياً بفهم معنى “العدالة”. إنه مفهوم تتعلمه مبكراً مع بدء تعرفك على العالم، حيث تشعر بوجود العدالة في بعض الأشياء وفقدانها في أشياء أخرى.
غير أن الخوارزميات بدأت -وبوتيرة متسارعة- بتقييم العدالة نيابة عنا، فهي تقرر مَن يرى إعلانات الإسكان، ومن يتوظف أو يُفصَل من عمله، بل حتى من يُسجَن. وبالتالي فإن مهندسي البرمجيات الذين يصممون هذه الخوارزميات أصبحوا مطالبين بتوضيح كيفية تجسيد العدالة في التعليمات البرمجية التي يكتبونها. ولهذا بدأ المشرعون حول العالم يطرحون التساؤل التالي: كيف يمكننا أن نكمم العدالة رياضياً؟
تحاول هذه المقالة تقديم إجابة عن هذا السؤال، حيث سنتعرف على خوارزمية حقيقية تُستخدم لتحديد من يتم إرساله إلى السجن، ونحاول تعديل معاملاتها المختلفة حتى نجعل النتائج أكثر عدلاً.
ملاحظة هامشية:
1. الاعتقالات أو الإدانات: هذه العملية تفتقر إلى الدقة؛ فهذه الأدوات تستخدم الاعتقالات للتعبير عن ارتكاب الجرائم، ولكن هناك تفاوتات كبيرة بينهما، لأن الشرطة لديها تاريخ طويل من الاعتقالات الجائرة بحق الأقليات العرقية والتلاعب بالبيانات. إضافة إلى ذلك، فإن إعادة الاعتقال تحدث في أغلب الأحيان بسبب انتهاكات إجرائية، مثل عدم الحضور إلى المحكمة، بدلاً من تكرار النشاط الإجرامي. وفي هذه المقالة، سنبسط من هذه المسألة حتى نرى ما يمكن أن يحدث إذا كانت الاعتقالات موافقة لجرائم فعلية.
تُعرف الخوارزمية التي سنطلع عليها باسم كومباس COMPAS، وهي واحدة من عدة أدوات تستخدم من أجل “تقييم المخاطر” في النظام القضائي الجنائي الأميركي. وبشكل عام، يُفترض بكومباس أن تساعد القضاة على تقرير وجوب سجن المدعى عليه أو إطلاق سراحه في انتظار المحاكمة. ويتم تدريبها باستخدام البيانات التاريخية للمدعى عليهم للعثور على الترابطات بين عوامل مثل العمر والسوابق ضمن النظام القانوني الجنائي، وإعادة اعتقال الشخص المعني. ومن ثم تستخدم هذه الترابطات لتوقع احتمال اعتقال المدعى عليه بسبب جريمة جديدة أثناء فترة انتظار المحاكمة1.
يُعرف هذا التنبؤ باسم “علامة المخاطرة”، ويستخدم كتوصية، حيث إن المدعى عليهم ذوي “المخاطرة المرتفعة” يجب أن يُسجنوا لمنعهم من التسبب في أي أذى للمجتمع، أما المدعى عليهم ذوي “المخاطرة المنخفضة” فيجب أن يُطلق سراحهم قبل محاكمتهم. وفي الواقع، لا يتبع القضاة هذه التوصيات على الدوام على الرغم من أنها تبقى ذات تأثير واضح.
يقول مناصرو أدوات تقييم المخاطرة إنها تجعل من النظام القضائي الجنائي أكثر عدالة؛ حيث إنها تستبدل حدس وتحيز القضاة -خصوصاً التحيز العرقي- بتقييم أكثر “موضوعية” ظاهرياً. كما أنها تستطيع أيضاً أن تحل محل نظام دفع الكفالة المالية في الولايات المتحدة، الذي يفرض على المدعى عليه دفع مبلغ مالي لقاء إطلاق سراحه؛ حيث إنها تتسم بالتمييز ضد الأميركيين الفقراء، وتؤثر بشكل جائر على المدعى عليهم من أصول أفريقية، الذين يتَّسمون بتمثيل كبير للغاية في النظام القضائي الجنائي.
ملاحظة هامشية:
2. منهجية بروبوبليكا: بالنسبة للمدعى عليهم الذين سُجنوا قبل المحاكمة، تحققت بروبوبليكا مما إذا كانوا قد اعتُقلوا ثانية خلال سنتين بعد إطلاق سراحهم، ومن ثم استخدمت ذلك كتقريب لتحديد ما إذا كان المدعى عليهم كانوا سيُعتقلون مرة ثانية قبل المحاكمة لو لم يُسجنوا.
يحظر القانون استخدام المعلومات العرقية في حسابات كومباس، ولكن في 2016 توصل تحقيق أجرته منظمة بروبوبليكا إلى أن هذه الأداة ما زالت متحيزة ضد ذوي الأصول الأفريقية. وقد وجدت بروبوبليكا أن المدعى عليهم من أصول أفريقية ممن لم يُعتقلوا ثانية كانوا أكثر عرضة من أقرانهم البيض، بمقدار الضعف، إلى التصنيف ضمن فئة المخاطرة المرتفعة من قبل كومباس2.
إذن فإن مهمتنا الآن تتلخص في محاولة تحسين كومباس، فهل أنت جاهز؟
لنبدأ مع نفس مجموعة البيانات التي استخدمتها بروبوبليكا في تحليلها. وتتضمن هذه المجموعة جميع المدعى عليهم ممن تم تقييمهم بخوارزمية كومباس في مقاطعة براوارد في فلوريدا في 2013 و2014. تتضمن قاعدة البيانات 7,200 سجل يحوي كل منها اسم الشخص وعمره وعرقه وعلامة المخاطرة من كومباس، مع ملاحظة حول ما إذا كان قد تم اعتقاله لاحقاً، سواء بعد إطلاق سراحه أو سجنه قبل المحاكمة.
وحتى نستطيع تمثيل البيانات مرئياً بسهولة، قمنا بسحب عينة عشوائية من 500 من المدعى عليهم من البيض وذوي الأصول الأفريقية من المجموعة الكاملة. وفي هذا الشكل، نمثل كلاً من المدعى عليهم بنقطة:
يجب ألا تنسى أن هذه النقاط تمثل أشخاصاً اتُهموا بجريمة ولكن من دون إدانة. سيُسجن بعضهم قبل المحاكمة، وسيطلق سراح البعض الآخر فورياً، وسيُعاد اعتقال البعض ممن تم إطلاق سراحهم. سنقارن شيئين: التنبؤات (أي العلامات المرتفعة والمنخفضة التي حاز عليها كل مدعى عليه)، والنتائج الحقيقية (أي المدعى عليهم ممن اعتُقلوا بعد إطلاق سراحهم).
تتراوح علامات كومباس بين 1 و10، حيث توافق العلامة 1 تقريباً احتمال إعادة اعتقال يبلغ 10%، والعلامة 2 احتمال إعادة اعتقال يبلغ 20%، وهكذا دواليك.
لننظر إلى العلامات التي حاز عليها الجميع وفق كومباس.
defendant = مُدّعى عليه
ملاحظة هامشية:
3. علامات كومباس: تم تصميم كومباس لتقديم تنبؤات عامة حول مجموعات من الناس ممن يتشاركون صفات متشابهة، بدلاً من توقعات فردية حول أشخاص محددين. أما منهجية حساب العلامات والتوصيات المتعلقة باستخدامها فهي معقدة لدرجة لا تسمح بالحديث عنها هنا، ويمكنك الاطلاع عليها في الرابط أعلاه.
على الرغم من أن كومباس تقدم نتيجة إحصائية تعبر عن احتمال تعرض المدعى عليه للاعتقال ثانية قبل المحاكمة، إلا أنه يجب على القضاة بطبيعة الحال اتخاذ قرار قاطع: إما إطلاق سراح المتهم أو سجنه. وفي هذه المقالة، سنعتبر أن عتبة “المخاطرة المرتفعة” في كومباس (أي نتيجة 7 أو أكثر) تقابل توصية بسجن المدعى عليه3.
من الآن فصاعداً، أنت المكلف بهذه المسألة. وتتلخص مهمتك بإعادة تصميم المرحلة الأخيرة من الخوارزمية، وذلك بالعثور على الموضع الأكثر عدلاً لعتبة المخاطرة المرتفعة.
هكذا ستبدو العتبة بالنسبة إليك. جرب النقر عليها وتحريكها.
Released = أُطلق سراحه
Jailed = سُجن
لنتخيل أولاً سيناريو الحالة الأفضل، الذي يتضمن إعادة اعتقال جميع المدعى عليهم الذين حازوا على علامة مخاطرة مرتفعة، وبقاء جميع المدعى عليهم ممن حازوا على علامة مخاطرة منخفضة خارج السجن. ويُظهر الشكل البياني في الأسفل كيف يبدو هذا الوضع؛ حيث تمثل النقاط المصمتة المدعى عليهم الذين اعتُقلوا ثانية، أما النقاط الفارغة فتمثل من لم يعودوا إلى السجن.
الآن، قم بتحريك العتبة حتى تجعل الخوارزمية عادلة قدر الإمكان (بحيث يُسجن المدعى عليهم ممن اعتُقلوا مرة أخرى فقط).
Re-arrested = اعتُقل ثانية
Not re-arrested = لم يُعتقل ثانية
Accuracy = الدقة
رائع! لقد كان هذا سهلاً. يجب أن تكون عتبتك بين 6 و7؛ لم يُسجَن أي شخص عبثاً، كما لم يُعتقل أي شخص بعد إطلاق سراحه.
وبطبيعة الحال، لن يحدث هذا السيناريو المثالي فعلياً. فمن المستحيل أن نتوقع نتيجة كل شخص بدقة، أي أن النقاط المصمتة والفارغة لن تكون مفصولة بشكل كامل هكذا. هؤلاء إذن من يُعاد اعتقالهم فعلياً.
الآن، قم بتحريك العتبة ثانية بحيث تجعل الخوارزمية عادلة قدر الإمكان. (تلميح: قد تكون زيادة الدقة في مصلحتك).
ستلاحظ ولا شك أنك لن تتوصل إلى نتيجة مثالية أينما وضعت العتبة، وستؤدي دائماً إلى سجن بعض المدعى عليهم ممن لن يُعتقلوا ثانية (أي النقاط الفارغة على يمين العتبة) وإطلاق سراح بعض المدعى عليهم ممن سيُعتقلون ثانية (أي النقاط المصمتة على يسار العتبة). هذه هي المشكلة التي كان على النظام القضائي أن يتعامل معها على الدوام، ولم يختلف الوضع حتى مع استخدام الخوارزميات.
ملاحظة هامشية:
4. تعاريف تقنية: تعرف هاتان النسبتان أيضاً باسمي “معدل التنبؤ السلبي الخاطئ” (التي أطلقنا عليها اسم “أُطلق سراحه واعتُقل ثانية”) و”معدل التنبؤ الإيجابي الخاطئ” (التي أطلقنا عليها اسم “سُجن عبثاً”).
حتى نوضح هذه المسألة، لنطلع على نسبة التنبؤات الخاطئة التي تقدمها كومباس على كلا جانبي العتبة، بدلاً من مجرد قياس الدقة الكلية. وسنرى بوضوح ما إذا كانت العتبة تفضل إبقاء الناس في السجن عبثاً أو إطلاق سراح من سيُعتقلون ثانية4، ونلاحظ أن عتبة كومباس الافتراضية تفضل الخيار الثاني.
كيف يمكن أن نوازن هذه التضاربات بشكل عادل؟ لا توجد إجابة تصلح لجميع الحالات، ولكن في ستينيات القرن الثامن عشر، كتب القاضي البريطاني ويليام بلاكستون: “من الأفضل أن يُفلت عشرة مذنبين من أن يعاني بريء واحد”. ما زالت نسبة بلاكستون معياراً هاماً في الولايات المتحدة حتى الآن، ولهذا يمكن أن نستوحي منها طريقة العمل.
قم بتحريك العتبة إلى حيث تصبح نسبة “أُطلق سراحه واعتُقل ثانية” تساوي تقريباً عشرة أضعاف نسبة “سُجن عبثاً”.
Released but re-arrested = أُطلق سراحه واعتُقل ثانية
Needlessly jailed = سُجن عبثاً
يمكنك أن ترى منذ الآن بعض المشاكل في استخدام خوارزمية مثل كومباس. الأولى هي أن التنبؤات الأفضل تساعد دائماً على تخفيض جميع معدلات الأخطاء، ولكنها لن تستطيع أن تزيلها تماماً، ومهما جمعنا من البيانات، فسوف يوجد هناك شخصان متماثلان بالنسبة للخوارزمية ولكنهما مختلفان من حيث خياراتهما في التصرف.
المشكلة الثانية هي أن اتباع توصيات كومباس بدقة لا ينفي وجود حاجة إلى قرار بشري مسبق حول موضع عتبة “المخاطرة المرتفعة”، سواء باستخدام نسبة بلاكستون أو شيء آخر. وهذا يعتمد على الكثير من الاعتبارات، سواء السياسية أو الاقتصادية أو الاجتماعية.
وهذا ما يوصلنا إلى المشكلة الثالثة، وهنا يصبح بحثنا عن العدالة مثيراً للاهتمام حقاً. كيف تتوزع نسب الأخطاء على المجموعات المختلفة؟ هل هناك أنواع محددة من الناس الذين يمكن أن يُسجنوا عبثاً أكثر من غيرهم؟ لنرَ كيف ستصبح البيانات عندما نأخذ عرق المدعى عليه بعين الاعتبار، ويمكنك الآن أن تحرك كل عتبة حتى ترى التأثير على ذوي الأصول الأفريقية والبيض بشكل مختلف.
White defendants = المدعى عليهم من البيض
Black defendants = المدعى عليهم من ذوي الأصول الأفريقية
يُعتبر العرق من الفئات المحمية في الولايات المتحدة، مما يعني أن التمييز على هذا الأساس مخالف للقانون، تماماً كما في حالة فئات أخرى محمية، مثل الجنس والعمر والإعاقة.
وبعد فصل المدعى عليهم من البيض عن أقرانهم من ذوي الأصول الأفريقية، نجد أن نتائج معدلات الخطأ متفاوتة بين المجموعتين، على الرغم من عدم الاعتماد على العرق في حسابات كومباس لعلامات المخاطرة. ففي حالة استخدام عتبة كومباس الافتراضية بين 7 و8، نجد أن 16% من المدعى عليهم من ذوي الأصول الأفريقية ممن لم يُعتقلوا ثانية كانوا قد سُجنوا عبثاً، على حين أن هذا صحيح عند 7% فقط من المدعى عليهم من البيض. هذا ليس من العدل في شيء! وهذا بالضبط ما أشارت إليه بروبوبليكا في تحقيقها.
حسناً، لنحاول إصلاح هذه المشكلة.
قم بتحريك كل عتبة بحيث يصبح المدعى عليهم الذين سجنوا عبثاً من البيض وذوي الأصول الأفريقية بنفس النسبة تقريباً. هناك عدة احتمالات لتحقيق هذا، وقد اخترنا أحدها أدناه، ولكن يمكنك أيضاً أن تحاول إيجاد الاحتمالات الأخرى.
حاولنا الوصول إلى نسبة بلاكستون ثانية، ولهذا توصلنا إلى الحل التالي، بوضع العتبة المخصصة للمدعى عليهم من البيض بين 6 و7، وللمدعى عليهم من ذوي الأصول الأفريقية بين 8 و9. الآن، أصبحت نسبة المدعى عليهم من كلا العرقين ممن سُجنوا عبثاً ولم يُعتقلوا ثانية حوالي 9%، على حين أن 75% ممن اعتُقلوا ثانية لم يمضوا أي وقت في السجن قبل المحاكمة. عمل جيد! تبدو خوارزميتك أكثر عدلاً من كومباس الآن.
ولكن، هل هذا صحيح؟ عندما كنا نحاول مطابقة معدلات الخطأ بين العرقين، فقدنا شيئاً مهماً آخر، فقد أصبحت العتبات بالنسبة لكل مجموعة في مكان مختلف، أي أن علامات المخاطرة تحمل معاني مختلفة بالنسبة لكل عرق. حيث يُسجن المدعى عليهم من البيض لدى الحصول على علامة خطر تبلغ 7، على حين أن المدعى عليهم من ذوي الأصول الأفريقية يُطلق سراحهم لدى الحصول على نفس العلامة، وهو ما لا يبدو من العدل في شيء مرة أخرى؛ لأنه إذا حصل شخصان على نفس علامة الخطأ، فهذا يعني نفس احتمال إعادة الاعتقال، وبالتالي يجب أن يُعاملا بنفس الطريقة. في الولايات المتحدة، يمكن أن يؤدي استخدام عتبات مختلفة بالنسبة لأعراق مختلفة أيضاً إلى إثارة مشاكل قانونية معقدة تتعلق بالتعديل الدستوري الرابع عشر، الذي يتحدث عن الحماية المتساوية للجميع.
لنكرر المحاولة إذن مع عتبة واحدة مشتركة بين المجموعتين، ونحركها بحيث تتشابه نسبة السجن عبثاً بين كلا العرقين.
لن نلومك إذا ما بدأت تشعر بالإحباط، فلا يوجد حل حقيقي لهذه المعضلة.
لقد قدمنا لك تعريفين مختلفين للعدالة: تقارب معدلات الخطأ بين المجموعتين، ومعاملة علامات المخاطرة لكلتا المجموعتين بنفس الطريقة. ولكل منهما مبرراته المنطقية، ولكن تحقيق كلا المعيارين في نفس الوقت أمر مستحيل.
يعود هذا إلى تفاوت معدلات إعادة الاعتقال بين البيض وذوي الأصول الأفريقية. وتقول بيانات مقاطعة براوارد التي لدينا إن 52% من المدعى عليهم من ذوي الأصول الأفريقية اعتُقلوا ثانية، في حين أن النسبة لدى أقرانهم البيض لم تتجاوز 39%. وهناك تفاوتات متماثلة في الكثير من النطاقات القضائية في الولايات المتحدة، ومن أسباب هذه التفاوتات التاريخ الطويل لقوات الشرطة الأميركية في الاستهداف الجائر للأقليات، كما ذكرنا سابقاً.
وتعبر التنبؤات عن البيانات التي اعتمدت عليها، سواء بخوارزمية أو غير ذلك؛ فإذا اعتُقل المدعى عليهم من ذوي الأصول الأفريقية بمعدل أعلى من أقرانهم البيض في العالم الحقيقي، فإن هذا سينعكس على الاعتقالات المتوَقعة أيضاً، مما يعني ارتفاع متوسط علامات المخاطرة التي يحصلون عليها، وستوصم نسبة أكبر منهم بأنها تحمل مخاطرة كبيرة، في جميع الحالات الصحيحة والخاطئة، وهو أمر صحيح بغض النظر عن الخوارزمية المستخدمة، طالما أنها مصممة بحيث تعبر كل علامة مخاطرة عن نفس الشيء دون أخذ العرق بعين الاعتبار.
ولا يقتصر هذا التضارب الغريب بين تعاريف العدالة على خوارزميات تقييم المخاطرة في النظام القضائي الجنائي؛ حيث إن هذه المفارقات تظهر أيضاً في خوارزميات العلامات الائتمانية والتأمين والتوظيف. وفي أي سياق تظهر فيه نتائج مختلفة من نظام آلي لاتخاذ القرار يجب أن يقوم توزيع الموارد أو تقرير العقوبات على مجموعات مختلفة، وسيتبين في نهاية المطاف أن التعاريف المختلفة للعدالة متضاربة وليس بينها أية قواسم مشتركة.
ولا توجد خوارزمية قادرة على معالجة هذه المشكلة، بل إنها حتى ليست معضلة خوارزمية، حيث إن القضاة البشر حالياً يرتكبون نفس النوع من الأخطاء، ولطالما فعلوا ذلك عبر التاريخ.
غير أن الخوارزميات أحدثت تغييراً آخر؛ فعلى الرغم من أن القضاة لا يتمتعون دوماً بالشفافية حول كيفية اختيارهم بين المفاهيم المختلفة للعدالة، فإن الناس قادرون على الاعتراض على قراراتهم. ولكن من ناحية أخرى، فإن خوارزمية كومباس التي صممتها الشركة الخاصة نورث بوينت تُعتبر سراً تجارياً، ولا يمكن تقييمها أو استجوابها علناً، كما لا يستطيع المدعى عليهم التشكيك في نتائجها، ولا تستطيع الوكالات الحكومية التدقيق في عملية اتخاذ القرار، وباختصار: لم تعد هناك أية مسؤولية عامة.
إذن ما الذي بإمكان المشرعين فعله؟ يقول آندرو سيلبست، وهو بروفسور في القانون في جامعة كاليفورنيا ومختص بالذكاء الاصطناعي والقانون، إن مُقترح قانون المسؤولية الخوارزمية لعام 2019 يمثل بداية جيدة، حيث يسعى مشروع القانون إلى تنظيم الانحياز في الأنظمة الآلية لاتخاذ القرارات، ويتمتع بميزتين أساسيتين تمثلان نموذجاً يمكن الاعتماد عليه في التشريعات اللاحقة. أولاً: يفرض هذا القانون على الشركات تدقيق أنظمة التعلم فيها للبحث عن التحيز والتمييز وفق “تقييم التأثير”، وثانياً: لا يضع هذا القانون تعريفاً محدداً للعدالة.
يقول سيلبست: “عند استخدام تقييم التأثير، فإن الشركة تكون شفافة للغاية حول مقاربتها لمسألة العدالة”، وهو ما يعيد المسؤولية العامة إلى الجدل. ويضيف سيلبست أن “العدالة تحمل معاني مختلفة في سياقات مختلفة”، ولهذا فإن تجنب اعتماد تعريف محدد يسمح بهذه المرونة.
ولكن استخدام الخوارزميات لقياس العدالة في المقام الأول يمثل سؤالاً معقداً بحد ذاته؛ حيث إن خوارزميات التعلم الآلي تُدرَّب باستخدام “بيانات مبنية على تاريخ طويل من الاستبعاد والتمييز”، كما تقول روها بنجامين البروفسورة المساعدة في جامعة برينستون في كتابها “العرق بعد التكنولوجيا Race After Technology”، ولا تختلف أدوات تقييم المخاطرة عن غيرها من هذه الناحية. أما السؤال الأكبر حول استخدامها، أو استخدام أية خوارزميات لتقييم الناس، هو ما إذا كانت ستخفف من التفاوتات الطبقية الموجودة حالياً أم ستزيد منها.
وينصح سيلبست بالتعامل مع هذه المسألة بحذر، قائلاً: “عند تحويل الأفكار الفلسفية حول العدالة إلى معادلات رياضية، ستفقد تفاصيلها ومرونتها وقابليتها للتغيير. ولا يعني هذا أن بعض الجهود الرامية إلى تحقيق هذا الهدف لن تكون مفيدة في نهاية المطاف، ولكن ما زال لديَّ الكثير من الشكوك”.