I A : Avancée technologique au service de qui ?

Intelligence Artificielle, du bon, du mauvais, voire dangereuse entre certaines mains…  Comment l’intelligence artificielle cible les plus précaires…

CAF, Pôle emploi… Pour débusquer ceux qui pourraient abuser des prestations sociales, l’administration s’appuie sur les progrès de l’IA pour passer au crible les données des allocataires. À commencer par les plus pauvres, qui se retrouvent de fait stigmatisés, s’inquiètent des chercheurs.

Les ennuis de Lucie Inland ont commencé en mars 2021. En ouvrant un mail de la Caisse nationale d’allocations familiales, la jeune femme, journaliste, photographe et précaire, découvre qu’elle est passée sous les fourches Caudines d’un « robot à dettes », qui lui réclame plus de 500 euros de trop-perçu, alors qu’elle a correctement déclaré ses revenus.

Au téléphone, un conseiller marmonne quelques explications, invoque « le logiciel », « certains paramètres ». Elle apprend que son « score de risque », évalué à 0,4 sur une échelle entre 0 et 1, a déclenché une alerte.

Six mois plus tard, elle n’en sait pas beaucoup plus. « J’ignore toujours à qui il faut s’adresser », s’agace-t-elle au téléphone. C’est le comble : si le Règlement général sur la protection des données (RGPD) interdit toute décision entièrement automatisée, il est dans le même temps impossible de trouver un humain pour expliquer ce qu’il s’est passé.

La mésaventure de Lucie n’est pas isolée.

Pour débusquer les fraudeurs, la Caisse d’allocations familiales (CAF) — qui verse notamment le RSA — expérimente des algorithmes depuis 2004, et a généralisé le « data mining » depuis 2011. C’est-à-dire l’exploration de données diverses, de l’état civil aux habitudes de consommation, compilées et croisées de façon discrétionnaire. Ces outils auraient un impact sur la vie de près de 13 millions de foyers. Trente millions de personnes en tout. Près d’un Français sur deux. Combien en sont correctement informés ?

 […]

Quand, récemment, le ministre de l’Éducation nationale, Jean-Michel Blanquer, stigmatise ceux qui utiliseraient l’allocation de rentrée pour s’offrir des écrans plats, il emprunte un chemin largement balisé. « Juste après son élection en 1995, Jacques Chirac commande à Alain Juppé le premier rapport officiel sur les “pratiques abusives”. Alors que le nombre de bénéficiaires du RMI dépasse le million, la pression sur les organismes de prestations sociales devient très forte pour instaurer une culture du contrôle », poursuit Vincent Dubois sociologue.

“Le risque n’est plus la maladie, la vieillesse ou la mort, mais la morale personnelle.”

 […]Depuis dix ans, avec les progrès de l’intelligence artificielle, l’heure est à la rationalisation, avec un objectif clair, selon Vincent Dubois : limiter les dépenses publiques.  […]

Sous l’impulsion de discours aussi enthousiastes qu’autoritaires, toutes les institutions se convertissent à ce mode de gouvernement par les nombres. Aujourd’hui, un contrôle fiscal sur trois est ciblé par une IA (intelligence artificielle) qui scanne notamment les réseaux sociaux (32,5 %, contre 13,8 % en 2018). Et dans un rapport de 2019 sur la lutte contre la fraude aux prestations sociales, la députée LR-EM Carole Grandjean et la sénatrice Nathalie Goulet (Groupe Union centriste) plaident pour un élargissement des outils de data mining à Pôle emploi (qui en possède déjà plusieurs, poétiquement baptisés Sillage ou Ocapi), permettant de mesurer la vigueur de la recherche d’emploi ou de visualiser les fraudes en réseau. L’analyse de données y serait « une porte insuffisamment développée » qu’il conviendrait de « largement renforcer ».

[…]

Outre un répertoire national commun de la protection sociale ou une base nationale des fraudes, les institutions peuvent croiser à loisir toutes sortes de registres, tel celui des comptes bancaires. S’ils sont moins débattus, et moins connus, que les fichiers de police, ceux de la protection sociale recèlent un niveau d’informations qualifié d’« énorme » par Vincent Dubois.

La caisse d’allocations familiales (CAF) consignerait 1000 données par allocataire  

Dans son échange avec l’administration, Lucie Inland a découvert que les allocations familiales avaient listé leurs « éléments d’interaction ». En l’espèce, le nombre d’échanges dans lesquels elle s’est plainte du traitement informatique qui lui a été réservé, susceptible de jouer en sa défaveur. En tout, la CAF consignerait pas moins de mille données différentes par allocataire. De quoi cartographier leur quotidien et leur entourage, certes sous la supervision de la Commission nationale de l’informatique et des libertés… Mais celle-ci manque parfois d’yeux pour tout voir.

Cette révolution silencieuse, à l’heure où l’inquiétude grandit au sujet du pouvoir arbitraire des algorithmes, ne va pas sans violence. Dans un tel système, plus de place pour l’erreur ou l’oubli, seulement pour la surveillance et la punition. De quoi creuser inexorablement les inégalités. « Seuls les pauvres sont placés sous le microscope de la clarté scientifique », écrit la politologue américaine Virginia Eubanks dans un essai remarqué, Automating Inequality (2), évoquant la création d’« hospices digitaux » qui mettent les plus démunis au ban de la société.

« Les ciblages discriminatoires, quelle que soit la technologie employée, ne font que relayer préjugés et stéréotypes ». Jacques Toubon, ancien Défenseur des droits

 […]

Une image asséchée de la réalité

La question de fond, elle, demeure. « L’usage des technologies de statistique prédictive conduit à intensifier le ciblage intrusif des populations les plus précaires. L’informatisation produit non seulement un effet de déshumanisation, mais aussi de déréalisation », confirme le sociologue Vincent Dubois. « Les situations personnelles n’existent plus que sous une forme abstraite, sans tenir compte des réalités sociales ou humaines. Avant, les rapports des contrôleurs possédaient une teneur quasi littéraire sur l’accueil ou l’état du logement. Désormais, ils saisissent leurs conclusions sur un formulaire prérempli qui, certes, réduit l’arbitraire, mais donne une image asséchée de la réalité qui a pour effet de rendre les décisions plus sévères. »

La technique est d’autant plus hasardeuse que les algorithmes, révisés périodiquement, sont fermés à double tour.  […]

 […] même les employés des organismes sont maintenus dans l’ignorance, contraints de s’en tenir à des arguments d’efficacité. Qui sont, du reste, sans objet : dans leur rapport, les parlementaires Grandjean et Goulet reconnaissent elles-mêmes qu’il est « matériellement impossible de procéder à un chiffrage du montant de la fraude aux prestations sociales ».

Même si c’est encore de trop, la fraude aux prestations sociales est estimée, grossièrement, à deux milliards d’euros. Elle reste quoi qu’il en soit, en deçà de l’évasion fiscale, évaluée entre 80 et 100 milliards d’euros par an… et ces derniers chiffres ne sont pas suspectés d’abuser de la générosité publique.


Propos recueillis par Olivier Tesquet – Télérama – Titre original : « Comment l’intelligence artificielle cible les plus précaires ». Source (extraits)


  1. Bronislaw Geremek, La Potence ou la pitié, éd. Gallimard, 1987.
  2. Virginia Eubanks, Automating Inequality, How High-tech Tools Profile, Police, and Punish the Poor, St. Martin’s Press, 2018.
  3. Karolina Sztandar-Sztanderska, Micha? Kotnarowski, Marianna Zielenska, « Are the algorithmic results accurate ? Meta-analysis of the algorithm for profiling the unemployed in Poland », dans Studia Socjologiczne, 2021.

2 réflexions sur “I A : Avancée technologique au service de qui ?

  1. jjbey 22/10/2021 / 18:28

    Deux poids deux mesures, pour deux milliards on emmerde les pauvres, pour quatre-vingts milliards on ferme les yeux.
    Deux milliards de trop c’est trop, mais que dire de quatre-vingts…

  2. Danielle ROLLAT 22/10/2021 / 21:29

    « Selon que vous soyez puissant ou misérable, les jugements de cour vous rendront blancs ou noirs » Jean de La Fontaine (les animaux malades de la peste, année 1678)…

Laisser un commentaire