Crédit PAU BARRENA / AFP
Austin, États-Unis | AFP | dimanche 16/03/2024 - Un modèle d'intelligence artificielle (IA) qui invente des nazis à la peau noire? Ce récent incident de parcours de Gemini (Google), rapidement corrigé, aurait pu être anodin. Mais il met en lumière le pouvoir démesuré d'une poignée d'entreprises sur cette technologie de plus en plus fondamentale.
"Nous nous sommes plantés. Nous n'avons probablement pas fait de tests suffisamment approfondis", a reconnu Sergey Brin, cofondateur de Google, devant des ingénieurs.
En février, peu après avoir lancé Gemini, sa nouvelle interface d'IA générative, Google a suspendu la création d'images de personnes, après de nombreux signalements d'utilisateurs.
En réponse à des requêtes d'images de vikings ou de "pères fondateurs des Etats-Unis", Gemini avait produit les bons costumes, mais des couleurs de peau historiquement inexactes.
Pour Joshua Weaver, avocat et entrepreneur dans la tech: "en résumé, c'était trop +woke+".
Ce mot, repris péjorativement par les conservateurs aux Etats-Unis, est utilisé pour dénoncer ce qu'ils considèrent comme un excès de militantisme à l'égard des revendications de minorités et des injustices sociales et climatiques.
Joshua Weaver explique lors d'une conférence à SXSW, un festival d'arts et de technologie au Texas que Google a longtemps pu innover à son rythme, mais la course actuelle à l'IA générative avec OpenAI (ChatGPT) et d'autres sociétés force le géant à presser le pas...
Au point de trébucher.
Dans le contexte politique ultra polarisé des Etats-Unis, l'affaire a enflammé X (ex-Twitter) "de façon exagérée", relate l'avocat.
"Mais cela nous interpelle sur le degré de contrôle de l'information que possèdent ceux qui détiennent l'intelligence artificielle", continue-t-il.
"D'ici 5 à 10 ans, la quantité d'informations créées par de l'IA dans le monde pourrait éclipser totalement celle des humains. Celui qui contrôle ces systèmes aura une influence démesurée".
"Algorithmes coloniaux"
"A l'avenir, quand vous monterez dans un taxi sans chauffeur, l'IA vous scannera et si elle trouve des infractions, cette voiture deviendra un +véhicule de police temporaire+. Et il vous emmènera au commissariat", raconte Karen Palmer, "conteuse du futur" et réalisatrice d'expériences immersives.
Lors de sa conférence - "La prochaine frontière de l'IA: briser les chaînes des algorithmes coloniaux" - elle dénonce, avec d'autres militants, les dangers liés à cette technologie en matière de discriminations.
L'IA repose sur l'analyse de montagnes de données, pour automatiser des tâches (accorder un crédit bancaire, par exemple) ou produire du texte, des images, etc (IA générative).
Issues de sociétés historiquement dominées par des hommes blancs, ces données sont biaisées par nature. Avec Gemini, les ingénieurs de Google ont tenté de rééquilibrer les algorithmes en favorisant des réponses reflétant la diversité humaine.
Le résultat, maladroit, s'est retourné contre eux. Mais leur erreur met en évidence un "processus très intuitif et donc subjectif", souligne Alex Shahrestani, avocat spécialisé dans les technologies.
"Pendant la phase d'apprentissage supervisé du modèle, une personne valide les réponses alignées avec nos valeurs, et rejette les autres", détaille-t-il.
"On s'imagine que cette personne apporte des préjugés conscients ou délibérés, alors qu'en général c'est beaucoup plus subtil".
Une influence subtile, mais invasive. "On a vu ce qui s'est passé avec les réseaux sociaux qui s'autorégulent mais doivent générer des profits pour les actionnaires", analyse-t-il.
"Les contenus ont évolué de +Hé, ils font quoi mes potes ce weekend?+ à des choses scandaleuses, qui captivent les utilisateurs. (...) Or ces modèles d'IA se font aussi concurrence pour notre attention..."
"Pansement"
Certaines réponses "biaisées" ont "choqué nos utilisateurs", "c'est totalement inacceptable", a déclaré Sundar Pichai, le patron de Google, dans un courriel aux employés.
Google a corrigé le tir, mais c'est comme "mettre un pansement" sur une blessure par balle, ironise Charlie Burgoyne, patron de Valkyrie, entreprise spécialisée dans le traitement des données.
Lors de sa conférence à SXSW, il a fustigé les "boîtes noires" des modèles de langage, comparant la situation au film "Jurassic Park": une création dont le fonctionnement "dépasse largement notre compréhension".
De nombreux experts et militants réclament plus de diversité chez les ingénieurs et plus de transparence pour les utilisateurs - notamment quand les algorithmes réécrivent leurs requêtes afin d'améliorer les résultats.
Jason Lewis, de l'ONG Indigenous AI, travaille avec des communautés autochtones, des Etats-Unis au Pacifique, pour créer des IA différentes, avec leurs perspectives et leurs données.
"C'est un travail tellement différent de l'approche de la Silicon Valley", a-t-il dit à un public complice, "avec tous leurs discours condescendants à la con : +Nous faisons tout ça pour bénéficier à l'humanité+! Mais bien sûr..."
"Nous nous sommes plantés. Nous n'avons probablement pas fait de tests suffisamment approfondis", a reconnu Sergey Brin, cofondateur de Google, devant des ingénieurs.
En février, peu après avoir lancé Gemini, sa nouvelle interface d'IA générative, Google a suspendu la création d'images de personnes, après de nombreux signalements d'utilisateurs.
En réponse à des requêtes d'images de vikings ou de "pères fondateurs des Etats-Unis", Gemini avait produit les bons costumes, mais des couleurs de peau historiquement inexactes.
Pour Joshua Weaver, avocat et entrepreneur dans la tech: "en résumé, c'était trop +woke+".
Ce mot, repris péjorativement par les conservateurs aux Etats-Unis, est utilisé pour dénoncer ce qu'ils considèrent comme un excès de militantisme à l'égard des revendications de minorités et des injustices sociales et climatiques.
Joshua Weaver explique lors d'une conférence à SXSW, un festival d'arts et de technologie au Texas que Google a longtemps pu innover à son rythme, mais la course actuelle à l'IA générative avec OpenAI (ChatGPT) et d'autres sociétés force le géant à presser le pas...
Au point de trébucher.
Dans le contexte politique ultra polarisé des Etats-Unis, l'affaire a enflammé X (ex-Twitter) "de façon exagérée", relate l'avocat.
"Mais cela nous interpelle sur le degré de contrôle de l'information que possèdent ceux qui détiennent l'intelligence artificielle", continue-t-il.
"D'ici 5 à 10 ans, la quantité d'informations créées par de l'IA dans le monde pourrait éclipser totalement celle des humains. Celui qui contrôle ces systèmes aura une influence démesurée".
"Algorithmes coloniaux"
"A l'avenir, quand vous monterez dans un taxi sans chauffeur, l'IA vous scannera et si elle trouve des infractions, cette voiture deviendra un +véhicule de police temporaire+. Et il vous emmènera au commissariat", raconte Karen Palmer, "conteuse du futur" et réalisatrice d'expériences immersives.
Lors de sa conférence - "La prochaine frontière de l'IA: briser les chaînes des algorithmes coloniaux" - elle dénonce, avec d'autres militants, les dangers liés à cette technologie en matière de discriminations.
L'IA repose sur l'analyse de montagnes de données, pour automatiser des tâches (accorder un crédit bancaire, par exemple) ou produire du texte, des images, etc (IA générative).
Issues de sociétés historiquement dominées par des hommes blancs, ces données sont biaisées par nature. Avec Gemini, les ingénieurs de Google ont tenté de rééquilibrer les algorithmes en favorisant des réponses reflétant la diversité humaine.
Le résultat, maladroit, s'est retourné contre eux. Mais leur erreur met en évidence un "processus très intuitif et donc subjectif", souligne Alex Shahrestani, avocat spécialisé dans les technologies.
"Pendant la phase d'apprentissage supervisé du modèle, une personne valide les réponses alignées avec nos valeurs, et rejette les autres", détaille-t-il.
"On s'imagine que cette personne apporte des préjugés conscients ou délibérés, alors qu'en général c'est beaucoup plus subtil".
Une influence subtile, mais invasive. "On a vu ce qui s'est passé avec les réseaux sociaux qui s'autorégulent mais doivent générer des profits pour les actionnaires", analyse-t-il.
"Les contenus ont évolué de +Hé, ils font quoi mes potes ce weekend?+ à des choses scandaleuses, qui captivent les utilisateurs. (...) Or ces modèles d'IA se font aussi concurrence pour notre attention..."
"Pansement"
Certaines réponses "biaisées" ont "choqué nos utilisateurs", "c'est totalement inacceptable", a déclaré Sundar Pichai, le patron de Google, dans un courriel aux employés.
Google a corrigé le tir, mais c'est comme "mettre un pansement" sur une blessure par balle, ironise Charlie Burgoyne, patron de Valkyrie, entreprise spécialisée dans le traitement des données.
Lors de sa conférence à SXSW, il a fustigé les "boîtes noires" des modèles de langage, comparant la situation au film "Jurassic Park": une création dont le fonctionnement "dépasse largement notre compréhension".
De nombreux experts et militants réclament plus de diversité chez les ingénieurs et plus de transparence pour les utilisateurs - notamment quand les algorithmes réécrivent leurs requêtes afin d'améliorer les résultats.
Jason Lewis, de l'ONG Indigenous AI, travaille avec des communautés autochtones, des Etats-Unis au Pacifique, pour créer des IA différentes, avec leurs perspectives et leurs données.
"C'est un travail tellement différent de l'approche de la Silicon Valley", a-t-il dit à un public complice, "avec tous leurs discours condescendants à la con : +Nous faisons tout ça pour bénéficier à l'humanité+! Mais bien sûr..."