Attribution de prestations sociales, calcul d’impôts, accès à l’enseignement supérieur : de plus de plus de démarches administratives sont désormais partiellement ou complètement automatiques. Que reste-t-il de l’intervention humaine dans la prise de décision ? Quels sont les effets de ces nouvelles pratiques sur les droits des usagers ?
Dans un rapport publié le 13 novembre 2024, le Défenseur des droits étudie l’usage croissant des algorithmes ou systèmes d’intelligence artificielle (IA) dans les services publics français, et notamment dans l’administration centrale. Malgré un gain d’efficacité dans la prise de décisions, le Défenseur des droits met en garde contre les atteintes aux droits fondamentaux des usagers et présente plusieurs recommandations.
Un recours croissant à l’IA dans les services publics
Le rapport fait état du recours croissant aux algorithmes et à des systèmes d’IA dans l’administration, dans le but d’automatiser, d’améliorer ou d’accélérer certaines procédures. De plus en plus de décisions administratives individuelles (comme l’attribution de prestations sociales, le calcul des impôts ou encore l’accès à l’enseignement supérieur) sont ainsi :
- partiellement automatisées, lorsqu’un agent public doit effectuer une action significative à partir ou à côté du résultat généré par l’algorithme ;
- ou entièrement automatisées, lorsque l’intervention humaine est inexistante.
Pour le Défenseur des droits, cette évolution est à la fois porteuse de progrès et de risques pour les droits fondamentaux des usagers.
Par exemple, l’outil d’assistance conversationnelle « Albert« a été créé pour aider les agents de l’administration à « mieux répondre aux usagers » afin d' »accélérer les formalités administratives et apporter des réponses sûres, claires et efficaces aux utilisateurs des services publics« . Mais cette aide, désormais standardisée, constitue également une contrainte : l’outil ayant remplacé l’humain, les usagers n’ont plus d’autre choix que d’y avoir recours.
Les risques d’atteintes aux droits fondamentaux
Bien que les réclamations d’usagers soient encore peu nombreuses, le Défenseur des droits identifie une problématique « systématique » de confiance entre les usagers et l’administration.
Il rappelle, à ce titre, que la transparence de l’action publique doit être envisagée comme un « prérequis pour lutter contre d’éventuels erreurs, abus et discriminations« , dans l’esprit de l’article 15 de la Déclaration des droits de l’homme et du citoyen. Or, les obligations d’information sont parfois peu ou mal respectées en raison de l’opacité des procédures réalisées par ou à l’aide d’algorithmes.
Le rapport pointe également le risque de discrimination automatisée. Si, en France, il existe une interdiction de prendre des décisions administratives individuelles sur le fondement de données sensibles (comme la situation économique, le sexe, le lieu de résidence…), lerèglement général sur la protection des données (RGPD) reste moins exhaustif et contraignant en la matière. Des exemples, comme celui de l’outil développé par l’agence nationale pour l’emploi en Autriche en 2019, montrent que ce risque de discrimination automatisée a pu se concrétiser, y compris dans le secteur public.
Quelles recommandations ?
Face aux risques d’atteintes aux droits fondamentaux des usagers, le Défenseur des droits énumère plusieurs recommandations, selon lesquelles il s’agirait notamment de :
- préciser le cadre (critères et mode opératoire) de l’intervention humaine d’un fonctionnaire lorsqu’une décision des services publics est prise avec l’appui de systèmes algorithmiques ou d’IA ;
- s’assurer de la disponibilité des compétences en interne et de la bonne maîtrise du fonctionnement de ces systèmes par les agents ;
- introduire des sanctions en cas de non-respect du droit à l’information des usagers, et consacrer un droit à l’explication des décisions administratives individuelles partiellement ou entièrement automatisées ;
- soutenir la recherche pour comprendre les effets de ces systèmes et alimenter le débat public ;
- encourager l’engagement d’associations sur ce sujet, questionner les objectifs et réorienter le système en tenant compte des remontées des usagers.
Source : Vie publique, publié le 19 novembre 2024
Pour en savoir plus : IA : quel potentiel et quels risques dans les services publics ? – Vie publique, publié le 05 avril 2024
