ALGORITHMES ET DISCRIMINATIONS : LE DÉFENSEUR DES DROITS PRÔNE LE « FAIR LEARNING ».

ALGORITHMES ET DISCRIMINATIONS : LE DÉFENSEUR DES DROITS PRÔNE LE « FAIR LEARNING ».

Le Défenseur des droits [1] et la CNIL [2] ont, chacun, déjà eu l’occasion de s’exprimer sur les enjeux de la garantie des droits fondamentaux dans le cadre des systèmes algorithmiques. Les échanges entre experts qui ont eu lieu sous l’égide de ces deux autorités administratives indépendantes, les 28 et 29 mai 2020, se sont focalisés sur les risques de discrimination générés par l’usage exponentiel des algorithmes.
A. Dorange,
Rédaction du Village de la Justice

Entre renforcement de l’information et du contrôle, et formation des professionnels à la protection des droits fondamentaux, le Défenseur des droits dresse un état des lieux des risques discriminatoires. Au-delà, il formule des recommandations pour en prévenir l’automatisation et faire en sorte que le sujet ne soit plus « un angle mort du débat public ».

L’utilisation des algorithmes dans la prise de décision n’est pas nouvelle, pas plus que ne le sont les problématiques liées à l’apparente objectivité – ou la fausse neutralité – des algorithmes.
Il est exact, comme le rappelle le Défenseur des droits, qu’« à première vue, les algorithmes permettent de trier, classer ou d’ordonner des informations en se débarrassant des préjugés et biais propres aux affects des humains ». Mais cette approche serait fondée sur une certaine naïveté : « en réalité, il n’y a ni magie technologique ni neutralité mathématique : les algorithmes sont conçus par des humains et à partir de données reflétant des pratiques humaines. Ce faisant, des biais peuvent être ainsi intégrés à toutes les étapes de l’élaboration et du déploiement des systèmes » [3].

« Il n’y a ni magie technologique ni neutralité mathématique. »

L’inhérence des biais discriminatoires.

La CNIL le soulignait déjà il y a quelques années : tout algorithme est « en un sens, biaisé, dans la mesure où il est toujours le reflet – à travers son paramétrage et ses critères de fonctionnement, ou à travers les données d’apprentissage qui lui ont été fournies – d’un système de valeurs et de choix de société » [4]. Et les applications de police et de justice prédictive font, notamment à cet égard, l’objet d’une attention publique toute particulière.

Préjugés sexistes, racistes, liées à l’âge, au lieu de résidence, aux choix cultuels, aux orientations politiques, à la vulnérabilité économique etc., tous les motifs de discrimination au sens, notamment, de l’article 225-1 du Code pénal sont susceptibles, volontairement ou non, de fausser la donne. Et, ce, directement ou indirectement : la mobilisation de critères neutres en apparence (c’est-à-dire ne relevant pas des motifs prohibés de discriminations) peut avoir des effets discriminatoires [5] et « ruiner les meilleurs intentions » [6].

Le risque de systématisation des discriminations.

Un constat, renouvelé donc ces 28 et 29 mai 2020, de l’existence de « risques considérables » liés au « développement phénoménal des algorithme et des systèmes apprenants » [7] et des enjeux derechef explicités. Si les biais intégrés par l’algorithme s’appliquent de manière automatique, ce sont les discriminations sociétales ou personnelles, préexistantes ou nouvelles, qui sont susceptibles d’être systématisées, voire aggravées. C’est pourquoi il importe, dans l’attente de la structuration de la réflexion en la matière, de soutenir le développement des outils et méthodologies de prévention des biais discriminatoire. Le tout, selon une logique de « fair learning » (apprentissage équitable), c’est-à-dire avec la conception d’algorithmes répondant, non pas seulement à une logique de performance, mais à des objectifs d’égalité et d’explicabilité.

Des recommandations en vue d’une prise de conscience collective et d’une acculturation préventive.

Mêlant réflexion sur les enjeux éthiques de l’utilisation des algorithmes et mises en perspective d’ordre pratique, le Défenseur des droits milite pour la mise en œuvre de dispositifs permettant de prévenir ces discriminations, de les corriger et de sanctionner leurs auteurs. Au-delà de l’élaboration d’un cadre normatif respectueux – autant que faire se peut – des droits et libertés fondamentaux [8], il importe de provoquer une prise de conscience, qui « tarde à émerger en France » [9]. Et cette ambition implique une évolution à la fois des mentalités et des pratiques.

« La prise de conscience tarde à émerger en France. »

Les recommandations du Défenseur des droits relatives aux risques discriminatoires et aux enjeux sociétaux et juridiques associés s’appuient notamment sur le constat suivant : « les concepteurs d’algorithmes, comme les organisations achetant et utilisant ce type de systèmes, n’affichent pas la vigilance nécessaire pour éviter une forme d’automatisation invisible des discriminations » [10]. Or, la non-discrimination « n’est pas une option mais renvoie à un cadre juridique qui prévoit une grille d’analyse permettant l’identification des inégalités de traitement » [11].

Sensibiliser aux risques discriminatoires et informer.

Prenant exemple sur la plateforme canadienne d’évaluation de l’incidence algorithmique (IEA), le Défenseur des droits plaide ici pour l’instauration d’une obligation d’audit préalable relatif aux risques pour les droits et libertés, sur le modèle de l’analyse d’impact relative à la protection des données (AIPD) de l’article 35 du RGPD. On se souviendra également que le rapport de la mission Villani sur l’intelligence artificielle suggérait déjà l’instauration d’une d’étude d’impact sur les discriminations (un discrimination impact assessment, ou DIA) «  pour amener les concepteurs d’IA à s’interroger sur les conséquences sociales des algorithmes qu’ils produisent » [12].

La prise de conscience collective et l’exercice d’un « regard critique » ne doit pas venir des seuls professionnels : les utilisateurs doivent également être sensibilisés aux risques discriminatoires associés (inhérents ?) à l’utilisation des algorithmes : Comme le soulignait la CNIL en 2017, « inconscients chez ceux-là mêmes qui sélectionnent les données, les biais ne sont pas forcément sensibles pour les utilisateurs qui y sont sujets » [13]. Et, dans le prolongement, le Défenseur des droits rappelle que « l’opacité des systèmes et leur caractère secret constituent un frein à la découverte des biais éventuels et au recours » [14].

« L’opacité des systèmes et leur caractère secret constituent un frein à la découverte des biais éventuels. »

Comment en effet exercer son droit au recours quand on ignore que l’on a été victime d’une discrimination liée à un algorithme, que l’organisation utilisatrice de l’algorithme elle-même n’en a pas conscience, que le concepteur de l’algorithme ne veut ou ne peut expliquer comment fonctionne cet outil ? Au-delà du respect des droits fondamentaux, c’est l’effectivité de la garantie de ces droits qui est donc en jeu. Comme le souligne le Défenseur des droits, le manque de transparence des systèmes mis en œuvre et les corrélations de données permises par les algorithmes, souvent de manière totalement invisible, rendent les protections offertes par le droit incertaines voire inefficaces. Or « les organisations qui utilisent des algorithmes ne sauraient échapper à leurs responsabilités sous couvert d’ignorance, d’incompétence technologique ou d’opacité des systèmes » [15].

C’est la raison pour laquelle, en sus du RGPD qui apporte les premiers éléments de réponses, le Défenseur des droits recommande de renforcer les obligations en matière d’information, de transparence et d’explicabilité des algorithmes, le tout dans un langage accessible et intelligible. Ensuite, « seul un contrôle précis et régulier des résultats de l’algorithme apprenant permettra de s’assurer que l’algorithme ne devient pas discriminatoire au fil des encodages successifs » [16]. Il faudrait ainsi, et par exemple, prévoir que les tiers (et non les seuls destinataires des décisions individuelles), puissent accéder aux critères utilisés par l’algorithme pour les mettre en capacité de repérer d’éventuels biais. Le testing [17] et le déploiement d’enquêtes systématiques seraient en effet de nature à permettre d’apporter la preuve du fonctionnement discriminatoire [18].

Lutter contre le déficit d’expertise juridique et technique.

Plus largement, les travaux menés les 28 et 29 mai sous l’égide du Défenseur des droits et de la CNIL, ainsi que ceux réalisés dans le cadre du réseau Equinet [19], mettent en lumière un « déficit d’expertise juridique et technique » et la nécessité, corrélative, de penser des parades efficaces. Il existe un « fort enjeu d’acculturation et de formation », d’autant que les métiers de l’informatique et de l’analyse des données restent « trop peu sensibilisés aux risques que font peser les algorithmes sur les droits fondamentaux » [20].

« Il existe un fort enjeu d’acculturation et de formation. »

L’information des professionnels intervenant dans des processus algorithmiques, salariés comme agents publics, doit leur permettre de comprendre le fonctionnement général de l’outil, de développer leur vigilance sur les risques de biais et d’assurer leur maîtrise effective du traitement. Les rédacteurs de la Déclaration sur l’éthique et la protection des données dans le secteur de l’intelligence artificielle, adoptée en 2018 [21], avaient d’ailleurs également affirmé la nécessité de réduire et d’atténuer les préjugés ou les discriminations illicites dans les systèmes d’IA, selon plusieurs pistes, parmi lesquelles la rédaction de conseils et principes spécifiques et la sensibilisation des individus et des parties prenantes. En complément, le Défenseur des droits suggère que les organismes, notamment publics, s’appuient sur des études et analyses, comparables à celles menées outre-Atlantique, selon des démarches et expérimentations qui exigent une véritable expertise statistique et une approche pluridisciplinaire mêlant notamment l’ingénierie informatique, l’économie et le droit.

De la vigilance globale à la détection des discriminations, en passant par l’accompagnement et la formation des métiers de l’informatique (au sens large) et des particuliers, nul doute que les praticiens du droit ont, ici comme ailleurs, de sérieux atouts à faire valoir en matière de sécurisation juridique préventive des pratiques professionnelles !

Notes :

[1Le Défenseur des droits est une autorité administrative indépendante créée en 2011 et inscrite dans la Constitution. Il a deux missions principales : défendre les personnes dont les droits ne sont pas respectés et permettre l’égalité de tous et toutes dans l’accès aux droits.

[2La Commission Nationale de l’Informatique et des Libertés (CNIL) a été créée par la loi Informatique et Libertés du 6 janvier 1978. Elle est chargée de veiller à la protection des données personnelles contenues dans les fichiers et traitements informatiques ou papiers, aussi bien publics que privés.

[5Selon la définition de la discrimination indirecte de l’article 1er de la loi n° 2008-496 du 27 mai 2008. Voir notamment DDD, 18 janv. 2019, déc. n° 2019-021.

[6DDD, rapp. précité, p. 7.

[8CNIL, Communiqué du 2 juin 2002, « Algorithmes et discriminations : le Défenseur des droits, avec la CNIL, appelle à une mobilisation collective ».

[9DDD, rapp. précité, p. 9.

[10DDD, rapp. précité, p. 9.

[11Ibid.

[14DDD, rapp. précité, p. 11.

[15DDD, rapp. précité, p. 9.

[16DDD, rapp. précité, p. 8.

[20DDD, rapp. précité, p. 10.

[21Conférence internationale des commissaires à la protection des données (ICDPPC), 23 oct. 2018, Déclaration sur l’éthique et la protection des données dans le secteur de l’intelligence artificielle.

A. Dorange,
Rédaction du Village de la Justice


Warning: count(): Parameter must be an array or an object that implements Countable in /homepages/39/d698375107/htdocs/wp-content/themes/legatus-theme/includes/single/post-tags.php on line 5
Share

Related Articles

En vente cette semaine en Kiosques

UBUNTU…Un dossier de 24 pages à télécharger gratuitement

Cheikh Anta Diop, le plus grand savant du 20e siècle

Watch President Obama speak — and sing — at White House tribute to Ray…

Archives

porta. eleifend nec consequat. elit. elit. suscipit et, Curabitur
%d blogueurs aiment cette page :