يعكس استخدام الحكومات لأنظمة صنع القرار المؤتمتة القضايا المنهجية للظلم وعدم المساواة

في عام 2019 ، قال المقرر الخاص السابق للأمم المتحدة فيليب ألستون إنه يشعر بالقلق من أننا “نتعثر مثل الزومبي في ديستوبيا الرفاهية الرقمية.” لقد كان يبحث في كيفية تحول الوكالات الحكومية في جميع أنحاء العالم إلى أنظمة اتخاذ القرار المؤتمتة (ADS) لخفض التكاليف وزيادة الكفاءة واستهداف الموارد. ADS هي أنظمة تقنية مصممة لمساعدة أو استبدال صنع القرار البشري باستخدام الخوارزميات.

كان ألستون قلقًا لسبب وجيه. تظهر الأبحاث أنه يمكن استخدام ADS بطرق تميز ، وتزيد من عدم المساواة ، وتنتهك الحقوق ، وتصنف الناس في مجموعات اجتماعية مختلفة ، وتحد بشكل خاطئ من الوصول إلى الخدمات وتكثف المراقبة.

على سبيل المثال ، تم إفلاس العائلات وإجبارها على الدخول في أزمات بعد اتهامها زوراً بالاحتيال المتعلق بالمزايا.

حدد الباحثون كيف أن أنظمة التعرف على الوجه وأدوات تقييم المخاطر من المرجح أن تحدد بشكل خاطئ الأشخاص ذوي البشرة الداكنة والنساء. وقد أدت هذه الأنظمة بالفعل إلى اعتقالات خاطئة وقرارات حكم مضللة.

في كثير من الأحيان ، يتعلم الناس فقط أنهم تأثروا بتطبيق ADS عندما يحدث أحد أمرين: بعد حدوث خطأ ، كما كان الحال مع فضيحة A-Level في المملكة المتحدة ؛ أو عندما يتم الإعلان عن الخلافات ، كما كان الحال مع استخدامات تقنية التعرف على الوجه في كندا والولايات المتحدة.

اقرأ المزيد: نتائج المستوى A: لماذا تخطئ الخوارزميات في الأمور – وما يمكننا فعله لإصلاحها

مشاكل آلية

تعد الشفافية والمسؤولية والمساءلة والمشاركة العامة في تصميم واستخدام ADS أمرًا مهمًا لحماية حقوق الناس وخصوصيتهم. هناك ثلاثة أسباب رئيسية لهذا:

1. يمكن أن تسبب هذه الأنظمة الكثير من الضرر ؛
2. يتم تقديمها بشكل أسرع من إمكانية تنفيذ الحماية اللازمة ، و ؛
3. هناك نقص في الفرص للمتضررين لاتخاذ قرارات ديمقراطية حول ما إذا كان ينبغي استخدامها ، وإذا كان الأمر كذلك ، كيف ينبغي استخدامها.

أحدث مشروع بحثي لدينا ، أتمتة الخدمات العامة: التعلم من الأنظمة الملغاة، يقدم نتائج تهدف إلى المساعدة في منع الضرر والمساهمة في النقاش والعمل الهادفين. يقدم التقرير أول نظرة عامة شاملة على الأنظمة التي يتم إلغاؤها عبر الديمقراطيات الغربية.

يساعدنا البحث في العوامل والمبررات التي تؤدي إلى إلغاء أنظمة ADS على فهم حدودها بشكل أفضل. في تقريرنا ، حددنا 61 إعلانًا تم إلغاؤها في جميع أنحاء أستراليا وكندا وأوروبا ونيوزيلندا والولايات المتحدة. نقدم حسابًا تفصيليًا للأنظمة التي تم إلغاؤها في مجالات اكتشاف الاحتيال ورعاية الأطفال والشرطة. تظهر النتائج التي توصلنا إليها أهمية الدراسة الدقيقة والاهتمام بالإنصاف.

أسباب الإلغاء

هناك مجموعة من العوامل التي تؤثر على قرارات إلغاء استخدام ADS. أحد أهم النتائج التي توصلنا إليها هو عدد المرات التي يتم فيها إلغاء الأنظمة لأنها ليست فعالة كما هو متوقع. النتيجة الرئيسية الأخرى هي الدور الهام الذي تلعبه تعبئة المجتمع والبحث والتقرير الاستقصائي والإجراءات القانونية.

تظهر النتائج التي توصلنا إليها أن هناك تفاهمات ورؤى وسياسات متنافسة تحيط باستخدام ADS.

نأمل أن تؤدي توصياتنا إلى زيادة المشاركة المدنية وتحسين الرقابة والمساءلة ومنع الضرر.

في التقرير ، نشير إلى دعوات واسعة النطاق للحكومات لإنشاء سجلات ADS ذات الموارد كخطوة أولى أساسية لمزيد من الشفافية. أعلنت بعض الدول مثل المملكة المتحدة أنها تخطط للقيام بذلك ، في حين أن دولًا أخرى مثل كندا لم تتحرك بعد في هذا الاتجاه.

تظهر النتائج التي توصلنا إليها أن استخدام ADS يمكن أن يؤدي إلى مزيد من عدم المساواة والظلم المنهجي. هذا يعزز الحاجة إلى الانتباه إلى كيفية استخدام ADS في إنشاء أنظمة تفاضلية للمزايا والعيوب.

المساءلة والشفافية

يجب تطوير ADS بعناية ومسؤولية من خلال المشاركة الهادفة مع المجتمعات المتضررة. يمكن أن تكون هناك عواقب وخيمة عندما لا تقوم الوكالات الحكومية بإشراك الجمهور في المناقشات حول الاستخدام المناسب لـ ADS قبل التنفيذ.

يجب أن تتضمن هذه المشاركة خيارًا لأعضاء المجتمع لتحديد المناطق التي لا يريدون فيها استخدام ADS. يمكن أن تشمل الأمثلة على الممارسات الحكومية الجيدة أخذ الوقت الكافي لضمان إجراء مراجعات خبراء مستقلين وتقييمات للأثر تركز على المساواة وحقوق الإنسان.

نوصي بتعزيز المساءلة لأولئك الذين يرغبون في تنفيذ ADS من خلال المطالبة بإثبات الدقة والفعالية والسلامة ، بالإضافة إلى مراجعات الشرعية. على الأقل ، يجب أن يكون الأشخاص قادرين على معرفة ما إذا كانت ADS قد استخدمت بياناتهم ، وإذا لزم الأمر ، يمكنهم الوصول إلى الموارد لتحدي التقييمات الخاطئة وتصحيحها.

هناك عدد من الحالات المدرجة في تقريرنا حيث أدت شراكة الوكالات الحكومية مع الشركات الخاصة لتقديم خدمات ADS إلى مشاكل. في إحدى الحالات ، قررت وكالة حكومية عدم استخدام نظام الكفالة لأن طبيعة الملكية للنظام تعني أن المدعى عليهم والمسؤولين لن يكونوا قادرين على فهم سبب اتخاذ القرار ، مما يجعل التحدي الفعال مستحيلاً.

تحتاج الوكالات الحكومية إلى الموارد والمهارات لفحص كيفية شراء أنظمة ADS بدقة.

سياسة الرعاية

تشير كل هذه التوصيات إلى أهمية سياسة الرعاية. وهذا يتطلب من أولئك الذين يرغبون في تنفيذ ADS تقدير تعقيدات الناس والمجتمعات وحقوقهم.

يجب طرح الأسئلة الرئيسية حول كيفية تأثير استخدامات التصويب على النقاط العمياء نظرًا للطريقة التي تزيد من التباعد بين المسؤولين والأشخاص الذين يُفترض بهم خدمتهم من خلال أنظمة التصنيف والفرز التي تبسط الأشخاص بشكل مفرط ويستنتجون الشعور بالذنب ويستهدفون بشكل خاطئ ويصورون الأشخاص النمطية من خلال التصنيفات والقياس.

تتضمن الممارسة الجيدة ، من حيث سياسة الرعاية ، أخذ الوقت الكافي للنظر بعناية في الآثار المحتملة لـ ADS قبل التنفيذ والاستجابة للنقد ، وضمان الرقابة والمراجعة المستمرة ، والسعي إلى مراجعة مستقلة ومجتمعية.