هذه الخوارزمية يمكن أن تدمر حياتك

من الخارج، يظهر مجمع خوارزمية الرفاهية في روتردام. تم تدريب النظام ، الذي تم تطويره في الأصل من قبل شركة الاستشارات Accenture قبل أن تتولى المدينة التطوير في عام 2018 ، على البيانات التي تم جمعها من قبل قسم الرعاية الاجتماعية في روتردام. يحدد درجات مخاطر الأشخاص بناءً على 315 عاملاً. بعضها حقائق موضوعية ، مثل العمر أو الهوية الجنسية. البعض الآخر ، مثل مظهر الشخص أو مدى انصرافه ، هي ذاتية وتستند إلى حكم الأخصائيين الاجتماعيين.

في Hoek van Holland ، وهي بلدة تقع غرب روتردام وهي جزء إداريًا من المدينة ، تحاول Pepita Ceelie فهم كيف تصنفها الخوارزمية على أنها عالية المخاطر. Ceelie تبلغ من العمر 61 عامًا ، وهي موشومة بشدة ولديها قصة أزيز زهرية زاهية. تحب التحدث باللغة الإنجليزية وتصل إلى صلب الموضوع بسرعة. على مدى السنوات العشر الماضية ، عاشت مع آلام الظهر المزمنة والإرهاق ، وتستخدم سكوتر التنقل كلما غادرت المنزل.

تم التحقيق مع Ceelie مرتين من قبل فريق مكافحة الاحتيال في مجال الرعاية الاجتماعية في روتردام ، الأولى في عام 2015 ومرة ​​أخرى في عام 2021. وفي المرتين لم يجد المحققون أي مخالفات. في أحدث حالة ، تم اختيارها للتحقيق من خلال خوارزمية تقييم المخاطر في المدينة. تقول سيلي إنه كان عليها أن تشرح للمحققين سبب إرسال شقيقها لها 150 يورو (180 دولارًا) بمناسبة عيد ميلادها الستين ، وأن الأمر استغرق أكثر من خمسة أشهر لإغلاق القضية.

تجلس في منزلها الممتلئ من خمسينيات القرن الماضي والمزين بصور حديقتها ، تنقر Ceelie بعيدًا على جهاز كمبيوتر محمول. إنها تقوم بإدخال تفاصيلها في إعادة بناء نظام تصنيف مخاطر الرعاية الاجتماعية في روتردام الذي تم إنشاؤه كجزء من هذا التحقيق. توضح واجهة المستخدم ، المبنية على خوارزمية وبيانات المدينة ، كيف تم حساب درجة مخاطر Ceelie – وتقترح العوامل التي كان من الممكن أن تؤدي إلى التحقيق معها بتهمة الاحتيال.

تم تحديد جميع العوامل الـ 315 لنظام تصنيف المخاطر في البداية لوصف شخص وهمي بقيم “متوسطة” في مجموعة البيانات. عندما تقوم Ceelie بتخصيص النظام بتفاصيلها الخاصة ، تبدأ درجاتها في التغيير. تبدأ من الدرجة الافتراضية 0.3483 – كلما اقتربت درجة الشخص من 1 ، زاد اعتبارها ذات مخاطر احتيال عالية. عندما تخبر النظام أنه ليس لديها خطة للعثور على عمل ، ترتفع النتيجة (0.4174). ينخفض ​​عندما تدخل أنها عاشت في منزلها لمدة 20 عامًا (0.3891). العيش خارج وسط روتردام يدفعه للوراء فوق 0.4.

أدى تغيير جنسها من ذكر إلى أنثى إلى دفع درجتها إلى 0.5123. تقول سيلي: “هذا جنون”. على الرغم من أن ابنها البالغ لا يعيش معها ، فإن وجوده ، وفقًا للخوارزمية ، يجعلها أكثر عرضة لارتكاب الاحتيال في مجال الرعاية الاجتماعية. “ما علاقته بهذا؟” تقول. أدى طلاق سيلي إلى رفع درجة المخاطرة مرة أخرى ، وانتهى بها الأمر برصيد 0.643: مخاطرة عالية ، وفقًا لنظام روتردام.

يقول سيلي: “إنهم لا يعرفونني ، فأنا لست رقمًا”. “أنا إنسان.” بعد تحقيقين في احتيال الرعاية الاجتماعية ، أصبحت Ceelie غاضبة من النظام. تقول: “لقد عارضوني فقط ، وجذبوني إلى الأفكار الانتحارية”. خلال تحقيقاتها ، استمعت إلى قصص أشخاص آخرين ، وتحولت إلى مجموعة دعم على Facebook تم إنشاؤها للأشخاص الذين يعانون من مشاكل مع نظام الرعاية الاجتماعية في هولندا. يقول Ceelie إن الأشخاص فقدوا مزايا بسبب مخالفات بسيطة ، مثل عدم الإبلاغ عن مدفوعات البقالة أو الأموال المستلمة من والديهم.

تقول جاكلين نيوستراتن ، المحامية التي تعاملت مع عشرات الطعون ضد عقوبات الرعاية الاجتماعية في روتردام: “هناك الكثير من الأشياء التي لا تكون واضحة جدًا للناس عندما يحصلون على الرعاية الاجتماعية”. وتقول إن النظام كان سريعًا في معاقبة الأشخاص وأن المحققين يفشلون في مراعاة الظروف الفردية بشكل صحيح.

تتخذ هولندا موقفاً متشدداً من الاحتيال في نظام الرعاية الاجتماعية ، بتشجيع من السياسيين الشعبويين اليمينيين. ومن بين جميع مناطق البلاد ، تتخذ روتردام أشد إجراءات صارمة ضد الاحتيال في مجال الرعاية الاجتماعية. من بين ما يقرب من 30000 شخص يتلقون مزايا من المدينة كل عام ، يتم التحقيق مع حوالي ألف بعد أن تم وضع علامة عليهم بواسطة خوارزمية المدينة. في المجموع ، تحقق روتردام مع ما يصل إلى 6000 شخص سنويًا للتحقق مما إذا كانت مدفوعاتهم صحيحة. في عام 2019 ، أصدرت روتردام 2400 غرامة مالية ، والتي يمكن أن تشمل غرامات وخفض استحقاقات الناس تمامًا. في عام 2022 ، جاء ما يقرب من ربع الطعون التي وصلت إلى أعلى محكمة في البلاد من روتردام.