ALGORITHMES ET DISCRIMINATIONS : LE DÉFENSEUR DES DROITS PRÔNE LE « FAIR LEARNING ».

L’inhérence des biais discriminatoires.

La CNIL le soulignait déjà il y a quelques années : tout algorithme est « en un sens, biaisé, dans la mesure où il est toujours le reflet – à travers son paramétrage et ses critères de fonctionnement, ou à travers les données d’apprentissage qui lui ont été fournies – d’un système de valeurs et de choix de société » [4]. Et les applications de police et de justice prédictive font, notamment à cet égard, l’objet d’une attention publique toute particulière.

Préjugés sexistes, racistes, liées à l’âge, au lieu de résidence, aux choix cultuels, aux orientations politiques, à la vulnérabilité économique etc., tous les motifs de discrimination au sens, notamment, de l’article 225-1 du Code pénal sont susceptibles, volontairement ou non, de fausser la donne. Et, ce, directement ou indirectement : la mobilisation de critères neutres en apparence (c’est-à-dire ne relevant pas des motifs prohibés de discriminations) peut avoir des effets discriminatoires [5] et « ruiner les meilleurs intentions » [6].

Le risque de systématisation des discriminations.

Un constat, renouvelé donc ces 28 et 29 mai 2020, de l’existence de « risques considérables » liés au « développement phénoménal des algorithme et des systèmes apprenants » [7] et des enjeux derechef explicités. Si les biais intégrés par l’algorithme s’appliquent de manière automatique, ce sont les discriminations sociétales ou personnelles, préexistantes ou nouvelles, qui sont susceptibles d’être systématisées, voire aggravées. C’est pourquoi il importe, dans l’attente de la structuration de la réflexion en la matière, de soutenir le développement des outils et méthodologies de prévention des biais discriminatoire. Le tout, selon une logique de « fair learning » (apprentissage équitable), c’est-à-dire avec la conception d’algorithmes répondant, non pas seulement à une logique de performance, mais à des objectifs d’égalité et d’explicabilité.

Des recommandations en vue d’une prise de conscience collective et d’une acculturation préventive.

Mêlant réflexion sur les enjeux éthiques de l’utilisation des algorithmes et mises en perspective d’ordre pratique, le Défenseur des droits milite pour la mise en œuvre de dispositifs permettant de prévenir ces discriminations, de les corriger et de sanctionner leurs auteurs. Au-delà de l’élaboration d’un cadre normatif respectueux – autant que faire se peut – des droits et libertés fondamentaux [8], il importe de provoquer une prise de conscience, qui « tarde à émerger en France » [9]. Et cette ambition implique une évolution à la fois des mentalités et des pratiques.

Les recommandations du Défenseur des droits relatives aux risques discriminatoires et aux enjeux sociétaux et juridiques associés s’appuient notamment sur le constat suivant : « les concepteurs d’algorithmes, comme les organisations achetant et utilisant ce type de systèmes, n’affichent pas la vigilance nécessaire pour éviter une forme d’automatisation invisible des discriminations » [10]. Or, la non-discrimination « n’est pas une option mais renvoie à un cadre juridique qui prévoit une grille d’analyse permettant l’identification des inégalités de traitement » [11].

Sensibiliser aux risques discriminatoires et informer.

Prenant exemple sur la plateforme canadienne d’évaluation de l’incidence algorithmique (IEA), le Défenseur des droits plaide ici pour l’instauration d’une obligation d’audit préalable relatif aux risques pour les droits et libertés, sur le modèle de l’analyse d’impact relative à la protection des données (AIPD) de l’article 35 du RGPD. On se souviendra également que le rapport de la mission Villani sur l’intelligence artificielle suggérait déjà l’instauration d’une d’étude d’impact sur les discriminations (un discrimination impact assessment, ou DIA) «  pour amener les concepteurs d’IA à s’interroger sur les conséquences sociales des algorithmes qu’ils produisent » [12].

La prise de conscience collective et l’exercice d’un « regard critique » ne doit pas venir des seuls professionnels : les utilisateurs doivent également être sensibilisés aux risques discriminatoires associés (inhérents ?) à l’utilisation des algorithmes : Comme le soulignait la CNIL en 2017, « inconscients chez ceux-là mêmes qui sélectionnent les données, les biais ne sont pas forcément sensibles pour les utilisateurs qui y sont sujets » [13]. Et, dans le prolongement, le Défenseur des droits rappelle que « l’opacité des systèmes et leur caractère secret constituent un frein à la découverte des biais éventuels et au recours » [14].

Comment en effet exercer son droit au recours quand on ignore que l’on a été victime d’une discrimination liée à un algorithme, que l’organisation utilisatrice de l’algorithme elle-même n’en a pas conscience, que le concepteur de l’algorithme ne veut ou ne peut expliquer comment fonctionne cet outil ? Au-delà du respect des droits fondamentaux, c’est l’effectivité de la garantie de ces droits qui est donc en jeu. Comme le souligne le Défenseur des droits, le manque de transparence des systèmes mis en œuvre et les corrélations de données permises par les algorithmes, souvent de manière totalement invisible, rendent les protections offertes par le droit incertaines voire inefficaces. Or « les organisations qui utilisent des algorithmes ne sauraient échapper à leurs responsabilités sous couvert d’ignorance, d’incompétence technologique ou d’opacité des systèmes » [15].

C’est la raison pour laquelle, en sus du RGPD qui apporte les premiers éléments de réponses, le Défenseur des droits recommande de renforcer les obligations en matière d’information, de transparence et d’explicabilité des algorithmes, le tout dans un langage accessible et intelligible. Ensuite, « seul un contrôle précis et régulier des résultats de l’algorithme apprenant permettra de s’assurer que l’algorithme ne devient pas discriminatoire au fil des encodages successifs » [16]. Il faudrait ainsi, et par exemple, prévoir que les tiers (et non les seuls destinataires des décisions individuelles), puissent accéder aux critères utilisés par l’algorithme pour les mettre en capacité de repérer d’éventuels biais. Le testing [17] et le déploiement d’enquêtes systématiques seraient en effet de nature à permettre d’apporter la preuve du fonctionnement discriminatoire [18].

Lutter contre le déficit d’expertise juridique et technique.

Plus largement, les travaux menés les 28 et 29 mai sous l’égide du Défenseur des droits et de la CNIL, ainsi que ceux réalisés dans le cadre du réseau Equinet [19], mettent en lumière un « déficit d’expertise juridique et technique » et la nécessité, corrélative, de penser des parades efficaces. Il existe un « fort enjeu d’acculturation et de formation », d’autant que les métiers de l’informatique et de l’analyse des données restent « trop peu sensibilisés aux risques que font peser les algorithmes sur les droits fondamentaux » [20].

L’information des professionnels intervenant dans des processus algorithmiques, salariés comme agents publics, doit leur permettre de comprendre le fonctionnement général de l’outil, de développer leur vigilance sur les risques de biais et d’assurer leur maîtrise effective du traitement. Les rédacteurs de la Déclaration sur l’éthique et la protection des données dans le secteur de l’intelligence artificielle, adoptée en 2018 [21], avaient d’ailleurs également affirmé la nécessité de réduire et d’atténuer les préjugés ou les discriminations illicites dans les systèmes d’IA, selon plusieurs pistes, parmi lesquelles la rédaction de conseils et principes spécifiques et la sensibilisation des individus et des parties prenantes. En complément, le Défenseur des droits suggère que les organismes, notamment publics, s’appuient sur des études et analyses, comparables à celles menées outre-Atlantique, selon des démarches et expérimentations qui exigent une véritable expertise statistique et une approche pluridisciplinaire mêlant notamment l’ingénierie informatique, l’économie et le droit.

De la vigilance globale à la détection des discriminations, en passant par l’accompagnement et la formation des métiers de l’informatique (au sens large) et des particuliers, nul doute que les praticiens du droit ont, ici comme ailleurs, de sérieux atouts à faire valoir en matière de sécurisation juridique préventive des pratiques professionnelles !