Par la force des choses, une intelligence artificielle (IA) est entraînée sur des millions de documents, et son « intelligence » est construite à partir de ces sources. Or, ces données relèvent principalement de la culture américaine à dominante blanche. Il en résulterait, selon divers experts, des biais racistes incontrôlés.

Des recherches ont été menées par les universités américaines de Washington et de Carnegie Mellon, mais aussi en Chine par celle de Xi’an Jiaotong. Le fruit de leurs recherches a été publié dans un mémoire. À chaque fois, il a été noté que les outils d’IA générative manifestaient des biais sociaux et politiques particuliers, en relation avec le lieu où le corpus de données avait été collecté.

Des biais racistes

Les exemples d’a priori abondent. Ainsi, selon ProPublica, un outil d’IA utilisé par les tribunaux américains afin d’évaluer la probabilité de récidive des criminels a prédit deux fois plus de faux positifs pour les prévenus noirs (45 %) que pour les blancs (23 %).

Récemment, Vision AI de Google a estimé que des individus à la peau sombre tenant un thermomètre portatif arboraient un fusil. Lorsqu’ils avaient la peau claire, il lui semblait juste reconnaître un « appareil  électronique ».

Un journaliste de Buzzfeed — qui a finalement retiré son article — dit avoir utilisé l’IA générative IA Midjourney pour créer des Barbie typiques de 194 pays différents. Résultat de l’opération :

• la Barbie allemande portait un uniforme SS ;
• la Barbie sud-soudanaise tenait une arme à feu ;
• la Barbie libanaise se tenait devant un bâtiment en ruines.

Les inquiétudes de la Cnil anglaise

Au Royaume-Uni, l’Information Commissioner’s Office (ICO), estime que l’Intelligence artificielle pourrait conduire à « des conséquences dommageables pour la vie des gens » et que les sociétés du domaine se doivent donc de  prendre des mesures pour atténuer ces risques.

Le problème est plus vaste qu’il n’y semblerait au premier abord. De plus en plus, l’intelligence artificielle va être intégrée dans des systèmes à même d’influencer certaines décisions notamment le recrutement d’individus. Il serait donc regrettable que certains se voient écartés d’emblée sur la base de critères arbitraires.