De nombreux processus de l’Intelligence artificielle (IA) sont aujourd’hui des « boîtes noires» ne permettant pas aux utilisateurs, voire aux concepteurs eux-mêmes, d’entrevoir comment. les algorithmes sont arrivés aux résultats donnés. D’où l’intérêt de l’ethnographie algorithmique et d'autres méthodes holistiques pour tenter d’y voir plus clair dans ces boîtes noires.

‍

Et si des éthologues se penchaient sur le comportement des algorithmes online comme ils le font à propos de populations animales ? Selon l’anthropologue Iyan Rawhan qui dirige aujourd’hui le Center for Humans and Machines at the Max Planck Institute for HumanDevelopment, on doit pouvoir observer des machines qui montrent un comportement potentiellement différent de celui qui leur a été assigné par leurs créateurs. Les questions posées ici ont des implications vertigineuses même si Rawhan précise bien ici qu’attribuer un« comportement » aux machines ne signifie pas leur supposer un libre arbitre…L’anthropologue suisse Bogomil Kohlbrenner plaide pour sa part pour une analyse sociale et culturelle de ces boîtes noires que sont la plupart des algorithmes.

Plus nous prenons conscience de la présence et des effets des algorithmes d’apprentissage machine dans nos vies, plus l’émotion prend le dessus dans les débats. Le sentiment de perte de maîtrise s’intensifie à chaque nouveau scandale. Les nombreux problèmes déjà identifiés nous poussent à nous questionner sur la nature des processus et leurs responsabilités. Les technologies algorithmiques ont un impact dans nos vies qui semblent parfois anodins [1], que ce soit une recommandation musicale, une publicité ciblée, ou encore l’assistance à la conduite d’une voiture. Ces mêmes processus algorithmiques peuvent être utilisés pour d’autres domaines comme les voitures autonomes [2] ou l’application de la justice [3]. Cela n’a alors plus rien d’anodin qu’un algorithme biaisé cible de manière prépondérante certains profils pour suggérer une dangerosité plus élevés et des peines d’emprisonnements plus sévères.

Ce dernier exemple souligne l’importance de comprendre le fonctionnement des algorithmes, c’est-à-dire comprendre comment nous sommes arrivés aux résultats donnés, et comment assumer la responsabilité qui est due. Comprendre permet de répondre aux questions :pourquoi avoir été ciblé ? Dans quelle mesure nos choix ont-ils été orientés ? Comment sont réparties les priorités lorsqu’une voiture autonome perçoit des dangers ? Ainsi de suite. La difficulté à comprendre le processus, ce qu’on peut appeler l’auditabilité des algorithmes, n’est pas seulement due au secret de fabrication des entreprises ou entités gouvernementales qui les conçoivent. Elle tient aussi de la complexité et transformation permanente des algorithmes comme les réseaux neuronaux qui sont d’une complexité qui dépasse ses concepteurs lorsqu’ils sont utilisée activement. En ce sens, étudier les IA revient à étudier des objets liquides, indéterminés et sans cesse en changement. Les algorithmes sont des objets vivants, qui interagissent, qui sont compris de manière différente selon les acteurs avec qui ils rentrent en contact. En somme, ce sont des objets de nature instable et multiple [1], qui dépendent du regard et de l’interaction avec l’observateur.

En définissant les algorithmes de la sorte, en élargissant leur composante quantitative pour en révéler leur nature fluide, dynamique et imbriquée dans notre société, force est de constater les similitudes avec tout objet d’étude « culturel ». De ce fait, l’anthropologue, considéré comme expert de ce qui a trait au culturel [1], se voit armé d’outils pour appréhender les IA et leur fonctionnement dans notre société et doté du regard nécessaire à la compréhension de l’usage et des implications, parfois imperceptibles, des algorithmes au quotidien.

La première problématique à laquelle se confronte un anthropologue, et pas des moindres, c’est l’effet « boîte noire » des algorithmes d’IA complexes, tel que les réseaux neuronaux ou les algorithmes heuristiques. Par « boîte noire », on entend un système où l’on connaît l’alimentation fournie ainsi que le résultat obtenu, mais le processus intermédiaire de traitement de l’information, qui reste trop inintelligible pour en reconstruire l’équation. L’effet« boîte noire » peut être un choix volontaire de ceux qui développent le système, comme pour en garantir par une couche supplémentaire le secret de fabrication et le copyright. Enfin, l’effet « boîte noire » est presque inhérent à l’algorithme qui existe sous différentes formes selon les acteurs en contacts et qui se laisse difficilement localiser tant il est intégré dans des pratiques et des flux humains. En ce sens, l’algorithme ne saurait se réduire à un objet technique, il s’agit d’une entité unique, difficilement localisable.

L’apprentissage machine, qui consiste à nourrir l’algorithme de données pour la laisser apprendre d’elle-même le résultat à obtenir, cristallise cette question de l’explicabilité et de la responsabilité qui en découle. Il s’agit de comprendre le fonctionnement en identifiant les biais qui pourraient avoir un effet néfaste sur une partie de la population ou des institutions et, à terme, les neutraliser voire favoriser leurs effets positifs. D’un point de vue social, nous constatons la tendance à associer quantité de données avec de facto une meilleure qualité. Le fait d’avoir de grandes quantités de données corrélées n’augmente pas forcément leur pertinence : plus de données corrompues ou incomplètes ne sauraient améliorer le contenu.

Prenons à ce titre un des cas des plus problématiques : la justice algorithmique et leurs biais aujourd’hui avérés pour une certaine partie de la population selon leur milieu socioprofessionnel ou affiliation communautaire. Ce ciblage retranscrit très probablement des biais préexistants, sauf qu’ils se veulent objectifs sous couvert d’un processus automatisé et dénué d’intervention humaine, du moins en apparence. Les données biaisées à la base, alimentant la prise de décision sur les nouvelles données introduites, créée une boucle de rétroaction dangereuse. On finit par trouver ce que l’on cherche, parce que justement on le cherche. Non seulement les inégalités se renforcent, mais se justifient d’elle-même, pendant que d’autres problèmes sont rendus invisibles par faute d’attention accordée à découvrir ce que l’on ne chercherait pas.

L’anthropologue s’intéresse à la boîte noire non seulement en termes de données et de production (input/output), mais également à toute la complexité d’interactions avec l’utilisateur, la population servant de données et de résultats, les concepteurs, ou encore les critiques chargés de son audit. Plus encore, il s’agirait de comprendre comment corriger le processus interne malgré son invisibilité et d’intervenir non pas sur les données mêmes par rafistolage des pondérations de l’algorithme, mais sur les origines de tels biais dès la conception.

La problématique à laquelle s’attache l’anthropologue est ainsi au croisement de systèmes complexes tels que les réseaux d’interactions sociales, que ce soit les concepteurs, gestionnaires ou usagers, les algorithmes IA et la nature réductionniste des modèles scientifiques à leurs bases, ainsi que les intérêts corporatifs qu’ils cherchent à potentiellement préserver ou développer.

Les données sont d’abord nées dans le domaine de la recherche scientifique fondamentale.Elles sont extraites de la réalité, dont elle représente une simplification en vue de leur traitement. La récolte d’une donnée est temporelle, qualitative. Son traitement ne peut être quant à lui que partial. Un travail majoritairement humain est nécessaire pour en faire le tri, la catégorisation, la pondération, ajustements en cours de route, etc. Il est bon de se rappeler, lors du processus, des limites qu’il incombe, et que seule une partie du « réel » se capture. Les améliorations techniques peuvent changer les limites, mais pas les supprimer. Si le ton du discours scientifique préconise de mentionner les limitations, le discours commercial en fera volontiers abstraction. Les usagers en contact avec un processus de traitement de données ne seront que rarement conscient de la structure et dynamique de ces limites et ne chercheront pas à se renseigner pro activement. Lorsque des boîtes noires soutiennent des décisions et des implications tangibles, avec des boucles de rétroaction qui font évoluer l’algorithme dans des dynamiques inattendus, voir négatives en renforcent les impacts néfastes pour certaines communautés. Ce manque d’information peut devenir problématique.

Étudier les algorithmes sans leurs implications socio-techniques [5] reviendrait à fermer les yeux sur un aspect essentiel. Les algorithmes sont similaires aux phénomènes sociaux, de parleur complexité et leur nature dynamique en usage, et peuvent s’étudier comme tels pour palier à l’apparente simplification des données et résultats obtenus [1]. Si on considère que les comportements des machines et des humains s’influencent mutuellement et qu’il s’agit là de méta-objets socio-techniques qui ne peuvent échapper à une évolution constante liée à la leur boucle de rétroaction, ils ne peuvent être séparés du système social où ils s’intègrent.

En tant qu’« objet » non matériel, situé, singulier, et immuable, les algorithmes sont des entités dynamiques. D’un point de vue de la définition même, l’informaticien et sociologue Paul Dourish observe qu’un algorithme est un mot valise, qui se comprend pleinement dans un contexte partagé entre membres plutôt que par sa délimitation technique ou matérielle. Il existe plusieurs alternatives derrière le mot « algorithme », plusieurs réalités possibles que l’on ne localise que par les assemblages sociaux qui s’y rapportent [6]. En ce sens, la notion se rapproche bien de celle du mot culture, compris par tous et pourtant difficilement définissable sans contexte.

L’approche réductionniste dataifiée qui a vu naître les algorithmes ne se prête pas aisément à cette étude. Les approches plus holistiques et systémiques peuvent contribuer à mieux décortiquer ces systèmes et les aspects qui échappent à une explicabilité. Elles permettent de mieux intégrer le cadre socio-politique, les perspectives et points morts que certains acteurs peuvent avoir, volontairement ou involontairement. Prenez par exemple un autoportrait avec un téléphone Apple et comparez avec le cliché pris sur un autre appareil, sachant que les photos sont automatiquement traitées par des algorithmes « d’amélioration » avant d’être affichées. La technique matérielle de l’appareil photo et l’ingénierie algorithmique du système d’exploitation sont des explications incomplètes si l’on n’intègre pas les facteurs comme les critères de beauté, régionalement et socialement construits. D’autres approches holistiques, comme l’écologie pour comprendre les algorithmes dans leurs environnements ou encore l’éthologie, qui n’attribueraient sinon pas une conscience mais une « nature » évolutive aux algorithmes, sont également des approches scientifiques plus fluides et systémiques qui se prêtent bien à ce type d’analyse [7].

Aborder les algorithmes par l’analyse sociale et culturelle permet des rapprochements analytiques intéressant non seulement pour comprendre l’IA, mais pour se comprendre soi-même. Les algorithmes sont autant un outil inventé par l’homme qu’un « fait social total » au sens où un des pères de l’anthropologie l’entend :

« C’est-à-dire qu’ils mettent en branle dans certains cas la totalité de la société et de ses institutions (potlatch, clans affrontés, tribus se visitant, etc.) et dans d’autres cas seulement un très grand nombre d’institutions, en particulier lorsque ces échanges et ces contrats concernent plutôt des individus » M. Mauss, Essai sur le don

Bogomil Kohlbrenner, Université de Genève

‍

1) Seaver, N. (2017). Algorithms as culture: Some tactics for the ethnography of algorithmic systems. Big Data & Society. https://doi.org/10.1177/2053951717738104

2) Mayer N. (2019). Les IA des voitures autonomes apprennent la peur. https://www.futura-sciences.com/tech/actualites/intelligence-artificielle-ia-voituresautonomes-apprennent-peur-76053/

3) Grand H. (2019) En Estonie, une intelligence artificielle va rendre des décisions de justice. http://www.lefigaro.fr/secteur/high-tech/en-estonie-une-intelligenceartificielle-va-rendre-des-decisions-de-justice-20190401

4) Théry M. (2019). Hôtellerie : les Chinois friands d’intelligence artificielle. https://www.bilan.ch/techno/hotellerie-les-chinois-friands-dintelligence-artificielle

5) Lent J. (2017) The Patterning Instinct: A Cultural History of Humanity’s Search forMeaning https://www.jeremylent.com/the-patterning-instinct.html

6) Dourish, P. (2016). Algorithms and their others: Algorithmic culture in context. BigData & Society, p. 3. https://doi.org/10.1177/2053951716665128.

7) Rahwan, I., Cebrian, M., Obradovich, N., Bongard, J., Bonnefon, J. F., Breazeal, C.,… & Jennings, N. R. (2019). Machine behaviour. Nature, 568 (7753), 477. https://www.nature.com/articles/s41586-019-1138-y?_hsenc=p2ANqtz-9iSMQ4-MSmAiZzi14WdeZW-MnS0RYCsbV2ppet634OGMqoB7x1TSpAelQwC5KU7DVtuTbNDQn9FJ9O810NyJx9xQLXWatFEKaa5cO0C9iQJ9AA8&_hsmi=72127156