L'appel à utiliser l'IA pour détecter les fraudes et les erreurs liées aux prestations du DWP « risque de faire l'objet d'une surveillance de masse »

Les militants ont critiqué les propositions du groupe de réflexion politique de Tony Blair visant à déployer l’intelligence artificielle pour gérer et contrôler les paiements des prestations sociales.

Le Tony Blair Institute for Global Change a suggéré que l’IA pourrait effectivement prendre en charge 40 % des tâches effectuées par les fonctionnaires du ministère du Travail et des Retraites (DWP).

Cela permettrait au ministère de réduire ses coûts, tout en éliminant les fraudes et les erreurs, qui s’élèvent actuellement à des milliards de livres par an.

Cependant, les défenseurs de la vie privée et de la protection sociale affirment que cela nécessiterait une surveillance massive des comptes bancaires des bénéficiaires de prestations sociales, ce qui équivaudrait à une « intrusion dangereuse ».

Susannah Copson, responsable juridique et politique de Big Brother Watch, a déclaré que les mesures prises par le dernier gouvernement conservateur pour permettre aux ministères d’accéder aux comptes bancaires afin de lutter contre la fraude et les erreurs ont été annulées à la suite d’une campagne impliquant des organisations de défense des droits de l’homme et des groupes représentant les personnes handicapées et les personnes âgées.

Elle a toutefois déclaré qu’un rapport récent du groupe de réflexion Tony Blair a soutenu une approche similaire, qui pourrait désormais être adoptée par le nouveau gouvernement travailliste.

Susannah Copson a déclaré : « Il existe un danger très réel que les systèmes d’IA, similaires aux pouvoirs d’espionnage des banques sociales proposés par le gouvernement précédent, puissent faciliter la surveillance de masse, conduisant à un examen intrusif de la vie des gens.

« Le droit à la vie privée et à la dignité des bénéficiaires du système de protection sociale ne peut être sacrifié sur l’autel d’une prétendue efficacité.

« Les dangers liés à l’utilisation de l’IA à grande échelle sont encore plus alarmants dans les environnements à haut risque comme le système de protection sociale, où des erreurs peuvent déterminer si les demandeurs d’asile peuvent se permettre de se nourrir, de chauffer leur maison ou de payer des médicaments essentiels. »

Dans un article publié dans le magazine Big Issue, elle prévient : « Adopter aveuglément l’IA est dangereux, en particulier si l’on considère les résultats obtenus par les systèmes automatisés dans des contextes similaires.

« Les systèmes utilisés dans le cadre du scandale Horizon ont conduit à des accusations injustifiées contre des maîtres de poste, dont beaucoup ont été ruinés financièrement et criminalisés. Une enquête récente a révélé que 200 000 personnes ont fait l’objet d’une enquête injustifiée pour fraude et erreur en matière d’allocations logement, tout cela en raison d’un mauvais jugement algorithmique. »

Elle a déclaré que la suppression de milliers d’employés au sein du DWP serait également une préoccupation, ajoutant : « Les moyens de subsistance des fonctionnaires ne sont peut-être pas une préoccupation centrale pour le public, mais le fait de retirer des êtres humains de la prestation de services aura une incidence sur ceux qui les reçoivent. »

En réponse à la volonté de Tony Blair de dynamiser l’IA au sein du DWP, 13 groupes de l’ensemble du secteur des ONG se sont réunis dans une lettre ouverte pour appeler à la prudence.

Les signataires, qui représentent un large éventail d’organisations de défense des droits de l’homme, des droits numériques, des droits des personnes handicapées et de lutte contre la pauvreté, soulignent les graves risques que l’IA pose pour la protection sociale – de la surveillance de masse et de l’exploitation des données à la soumission des personnes vulnérables aux défauts et aux échecs d’algorithmes peu fiables.

La lettre reconnaît le rôle des technologies de pointe, mais lance un avertissement sévère contre la « pensée magique » lors de l’application de l’IA à des systèmes complexes.

Elle a ajouté : « À cette échelle, les erreurs sont presque inévitables – et lorsqu’elles se produisent, ce sont les plus vulnérables qui en paient le prix. Leur message est clair : les dangers potentiels de l’IA dans un système aussi critique dépassent de loin les promesses d’efficacité. »

« Les demandeurs d’aide sociale étant déjà aux prises avec de longs délais d’attente et des accusations de fraude injustifiées, il est clair que le DWP est confronté à de sérieux défis opérationnels. Cependant, l’automatisation ne résoudra pas les problèmes profondément enracinés qui conduisent à ce genre de défaillances.

« Lorsque ces systèmes échouent, comme c’est presque toujours le cas, ce sont les personnes handicapées, pauvres et malades qui se retrouvent du mauvais côté de l’algorithme. »

Selon l’Institut Tony Blair : « Nous constatons que les employés du DWP pourraient gagner jusqu’à 40 % de leur temps grâce à des outils d’IA. Cela équivaut à un gain de productivité de près d’un milliard de livres sterling par an. »

« À l’heure actuelle, le modèle opérationnel du DWP est bureaucratique et repose sur des formulaires et des formalités administratives compliqués. Il nécessite beaucoup de main-d’œuvre, ce qui signifie qu’il a du mal à répondre aux besoins changeants des citoyens et qu’il est en proie à des retards et des arriérés. La fraude et les erreurs coûtent au ministère près de 9 milliards de livres sterling par an.

« Mais un autre modèle est possible. L’exploitation des outils d’IA représente une opportunité unique de libérer du temps et des ressources indispensables au sein du secteur public.

« Au DWP, cela l’aiderait à atteindre ses objectifs : aider les gens à accéder au marché du travail et à progresser dans leur carrière, les aider à planifier financièrement leur avenir (avec un filet de sécurité pour ceux qui en ont besoin dans le présent) et fournir des services de haute qualité, tout en garantissant un bon rapport qualité-prix pour le contribuable. »