لم يكسر Robodebt قوانين الأرض فحسب – بل انتهك أيضًا قوانين الرياضيات

صادف يوم الجمعة نهاية جلسات الاستماع العامة للجنة الملكية في مخطط Robodebt. لقد رسموا صورة لبرنامج كارثي لا يمكن الدفاع عنه من الناحية القانونية والأخلاقية – وهو مثال على كيف يمكن للتجاوز التكنولوجي ، إلى جانب التقصير في أداء الواجب ، أن يرقى إلى معاناة هائلة للناس العاديين.

سميت خوارزمية الذكاء الاصطناعي (AI) وراء Robodebt بأنها “معيبة”. لكنها كانت أسوأ من ذلك. كسر قوانين الرياضيات. يُظهر قانون رياضي يسمى عدم مساواة جنسن أن خوارزمية Robodebt يجب أن تولد ليس ديونًا فحسب ، بل أرصدة أيضًا.

ما هو Robodebt؟

تم تصميم برنامج Robodebt التابع للحكومة الأسترالية للقبض على الأشخاص الذين يستغلون نظام Centrelink للرعاية الاجتماعية.

قارن النظام الدخل نصف الشهري الذي تبلغ عنه Centrelink للمستفيدين من الرعاية الاجتماعية مع دخلهم السنوي الذي يبلغ عنه ATO ، والذي تم تحديد متوسطه لتوفير أرقام نصف شهرية يمكن أن تتماشى مع نظام Centrelink.

إذا أظهر الفارق دفعًا زائدًا من قبل Centrelink ، فقد تم رفع العلم الأحمر. أصدر نظام الذكاء الاصطناعي بعد ذلك إشعارًا بالديون ووضع العبء على المتلقي لإثبات أنه لا يستغل نظام الرعاية الاجتماعية.

ضحية Robodebt

لفهم مدى الفشل ، دعنا نفكر في دراسة حالة افتراضية. كان ويل جوسيت طالبًا جامعيًا من 2017-2019. كان أعزبًا ، وكان أكبر من 18 عامًا ، ويعيش في المنزل مع والديه.

سوف يتلقى مدفوعات Centrelink وفقًا لدخله كل أسبوعين من وظيفتين عرضيتين مع ساعات عمل متغيرة للغاية. في عامه الأول في الجامعة ، لم تدفع وظائفه كثيرًا ، لذلك حصل على مدفوعات Centrelink في السنة المالية 2018 أكثر من العام التالي.

أخذت خوارزمية Robodebt سجلات الدخل السنوية لـ Will’s ATO للسنتين الماليتين 2018 و 2019 ، ولكل عام متوسطها في سلسلة من الدخل “الآلي” كل أسبوعين.

داخل عالم Robodebt للذكاء الاصطناعي ، كان دخله كل أسبوعين كما هو طوال السنة المالية 2018 ، ونفس الشيء طوال السنة المالية 2019.

كان ويل صادقًا مع ادعاءاته ، لكنه فوجئ بتلقي إشعار ديون لمدفوعات Centrelink الزائدة التي تم سدادها في السنة المالية 2019 – العام الذي تلقى فيه بالفعل مدفوعات رعاية اجتماعية أقل.

أعطت خوارزمية متوسط ​​الدخل ويل متوسط ​​دخل نصف شهري لعام 2019 كان أعلى من الحد الأدنى الذي جعله مؤهلاً لمدفوعات Centrelink. فيما يتعلق بنظام Robodebt ، لم يكن من المفترض أن يتلقى Will أي مدفوعات اجتماعية في ذلك العام.

اقرأ المزيد: “ هواة ، اندفاع وكارثي ”: اللجنة الملكية تكشف أن Robodebt سياسة لا يمكن الدفاع عنها أخلاقياً تستهدف الأشخاص الضعفاء

عدم المساواة جنسن

تخبرنا قوانين الرياضيات عندما يكون هناك شيئان متساويان ، لكن يمكنها أيضًا إخبارنا عندما يكون هناك شيء أكبر من الآخر. يسمى هذا النوع من القانون “عدم المساواة”.

لفهم لماذا ومتى فشل Robodebt من أجل Will ، نحتاج إلى فهم مفهوم يسمى عدم مساواة جنسن ، ويعزى إلى عالم الرياضيات الدنماركي يوهان جنسن (1859-1925).

يشرح عدم المساواة لدى جنسن كيف أن اتخاذ القرار بناءً على متوسط ​​الأرقام يؤدي إما إلى انحياز سلبي أو تحيز إيجابي في ظل “حالة التحدب” ، وهو ما سأوضحه قريبًا.

ستتذكر أن ويل طالب جامعي واحد فوق 18 عامًا ويعيش مع والديه. بناءً على هذه العوامل ، لدى Centrelink جدول مدفوعات نصف شهري له ، موضح بالمنحنى في الشكل أدناه.

يوضح الشكل أنه كلما زاد الدخل الذي يكسبه “ويل” من وظائفه ، قل مبلغ الرعاية الاجتماعية الذي يتقاضاه ، حتى دخل معين ، وبعد ذلك لا يتلقى أي دخل.

يتم تمييز أجزاء المنحنى حيث تكون متباينة جنسن ذات صلة بمربعين أحمر. في المربع الموجود على اليسار ، ينحني المنحنى لأسفل (مقعر) ، وفي المربع الأيمن ينحني لأعلى (محدب).

نظرًا لأن دخل Will كان أعلى في عام 2019 وانتشر عبر الجزء الذي يكون فيه منحنى الدفع محدبًا ، فإن عدم المساواة لدى جنسن يضمن حصوله على إشعار Robodebt ، على الرغم من عدم وجود ديون.

ومع ذلك ، في عام 2018 ، تم توزيع دخل ويل على كميات أصغر حيث يكون المنحنى مقعرًا. لذلك إذا تم الالتزام بعدم المساواة لدى جنسن ، كان من المفترض أن تمنحه خوارزمية الذكاء الاصطناعي “Robocredit” – لكنها لم تفعل.

يمكن أن تكون الخوارزمية تحتوي على سطر من التعليمات البرمجية الذي أبطل عدم مساواة جنسن من خلال توجيه تجاهل أي اعتمادات.

البيانات الضخمة وخوارزمية سيئة

كان ينبغي أن يكون لدى الأشخاص المسؤولين عن نظام Robodebt مصلحة قوية في إبقاء معدلات الخطأ منخفضة. علماء البيانات لديهم زر “إيقاف” أحمر كبير عندما تتجاوز معدلات الخطأ في الأنظمة الآلية نسبة قليلة.

من السهل تقدير معدلات الخطأ لمخطط الذكاء الاصطناعي. يقوم الخبراء بذلك عن طريق تشغيل عمليات المحاكاة داخل نموذج افتراضي يسمى “التوأم الرقمي”. يمكن استخدامها لإجراء تقييمات إحصائية ، وكشف التحيزات الواعية واللاواعية في الخوارزميات السيئة.

في حالة Robodebt ، كان من الممكن استخدام التوأم الرقمي لمعرفة معدلات الخطأ. كان هذا سيتطلب تشغيل خوارزمية Robodebt من خلال الدخل التمثيلي الذي تمت محاكاته في إطار سيناريوهين مختلفين.

في ظل السيناريو الأول ، تتم محاكاة الدخل بافتراض عدم وجود ديون على أي شخص. في كل مرة يتم إرجاع نتيجة تفيد بأن الدين مستحق ، يتم تسجيل خطأ من النوع 1 (أو خطأ إيجابي كاذب). في ظل السيناريو الثاني ، تتم محاكاة الدخل على افتراض أن كل شخص مدين بدين (بدرجات متفاوتة). إذا تم إرجاع نتيجة عدم وجود ديون ، يتم تسجيل معدل الخطأ من النوع 2 (سلبي كاذب).

ثم يتم تقدير معدل الخطأ بقسمة عدد الأخطاء على عدد عمليات المحاكاة في كل سيناريو.

عدم الدقة التي تُروى للعين

على الرغم من عدم نشر معدلات خطأ موثوقة باستمرار لـ Robodebt ، تم اقتباس رقم لا يقل عن 27 ٪ في وقت أسئلة البرلمان في 7 فبراير.

ربما كان الواقع أسوأ بكثير. خلال المخطط ، تم إجراء مليون مراجعة للدخل ، أدى 81 ٪ منها إلى زيادة الديون.

من بين هؤلاء ، تم جمع حوالي 70 ٪ (حوالي 567000 ديون) من خلال استخدام متوسط ​​الدخل في خوارزمية Robodebt.

في عام 2020 ، تنازلت الحكومة عن حوالي 470 ألف ديون تم رفعها زوراً من إجمالي حوالي 567 ألف ديون.

تعطي حسابات ظهر المغلف معدل خطأ من النوع 1 (موجب كاذب) في حدود 80٪ (470.000 / 567.000). بالمقارنة مع الهدف المعتاد وهو نسبة قليلة ، فإن هذا معدل خطأ كبير يذهل العين.

إذا تم تشغيل عمليات المحاكاة ، أو استخدام الذكاء البشري للتحقق من الحالات الحقيقية ، فسيتم الضغط على زر “الإيقاف” على الفور تقريبًا.

يحدد عدم المساواة لدى جنسن لماذا ومتى سيفشل متوسط ​​الدخل ، ومع ذلك فإن مطابقة الدخل لم تختف. يمكن العثور عليها في برامج الذكاء الاصطناعي المستخدمة للإحصاءات الرسمية وبرامج الرعاية والقروض المصرفية وما إلى ذلك.

ستكون هناك حاجة إلى نظرية إحصائية أعمق لمشكلة “تغيير الدعم” – على سبيل المثال ، الانتقال من البيانات على الدعم السنوي إلى الدعم كل أسبوعين – حيث يصبح الذكاء الاصطناعي منتشرًا بشكل متزايد في أجزاء أساسية من المجتمع.

اقرأ المزيد: لماذا افتقر استخدام robodebt لـ “متوسط ​​الدخل” إلى الفطرة السليمة