Chris Delmas / AFP
Washington, Etats-Unis | AFP | lundi 11/06/2023 - La voix de sa fille et ses sanglots l'ont bouleversée quand un homme l'a appelée pour lui demander une rançon. Mais les intonations étaient reproduites à la perfection par une intelligence artificielle (IA) pour une tentative d'arnaque, un sujet d'inquiétude qui émerge avec cette technologie en plein boom.
Le plus gros danger des IA, estiment les experts, est leur capacité à presque abolir la démarcation entre réel et fiction, fournissant aux criminels des outils efficaces et peu onéreux.
De nouvelles arnaques téléphoniques grâce aux outils de réplication de voix par IA -- aisément disponibles en ligne -- inquiètent les autorités américaines.
"Aide-moi, maman, je t'en supplie, aide-moi", entend au bout du fil Jennifer DeStefano, une mère installée dans l'Arizona.
Cette voix, elle est alors "100%" convaincue qu'il s'agit de celle, en grande détresse, de sa fille de 15 ans, partie faire du ski.
"C'était totalement sa voix, la façon dont elle aurait pleuré", a témoigné la mère à une chaîne de télévision locale en avril.
"Je n'ai pas douté un seul instant que ça puisse ne pas être elle."
Au bout du fil, l'arnaqueur qui prend ensuite la parole, depuis un numéro inconnu, exige un million de dollars.
La séquence, qui a rapidement pris fin lorsque Jennifer DeStefano est parvenue à joindre sa fille, fait désormais l'objet d'une enquête et a mis en lumière le potentiel dévoiement de l'IA par les cybercriminels.
"Des deepfakes convaincants"
"La réplication de voix par IA, désormais quasi impossible à distinguer de l'élocution humaine, permet aux personnes mal intentionnées comme les arnaqueurs de soutirer plus efficacement des informations et de l'argent aux victimes", explique à l'AFP Wasim Khaled, PDG de Blackbird.AI.
De nombreuses applications, dont beaucoup sont gratuites et disponibles en ligne, permettent de répliquer par l'intelligence artificielle la vraie voix d'une personne à partir d'un court enregistrement. Celui-ci peut aisément être extrait depuis des contenus postés en ligne.
"Avec un court échantillon audio, un clone de voix par IA peut être utilisé pour laisser des messages et des capsules audio. Il peut même être utilisé comme un modificateur de voix en direct lors d'appels", détaille Wasim Khaled.
"Les arnaqueurs emploient divers accents et genres, ou imitent même la façon de parler de vos proches", ajoute-t-il. Cette technologie "permet de créer des deepfakes convaincants".
Selon un sondage effectué auprès de 7.000 personnes dans neuf pays dont les Etats-Unis, une personne sur quatre a été la cible d'une tentative d'arnaque à la voix répliquée par IA, ou connait quelqu'un dans ce cas.
70% des sondés ont affirmé qu'ils n'étaient pas certains de pouvoir faire la différence entre une vraie voix et une voix clonée, selon cette enquête publiée le mois dernier par McAfee Labs.
Les autorités américaines ont récemment mis en garde contre la popularité croissante de l'"arnaque au grand-parent".
"Vous recevez un appel, une voix paniquée au bout du fil, c'est votre petit-fils. Il dit qu'il a de gros ennuis, il a eu un accident de voiture et s'est retrouvé en détention. Mais vous pouvez l'aider en envoyant de l'argent", a décrit en guise d'avertissement l'agence américaine de protection des consommateurs (FTC).
Dans les commentaires sous cette mise en garde de la FTC, plusieurs personnes âgées disaient avoir été trompées de la sorte.
Vulnérabilité
Un grand-père victime avait été si convaincu qu'il s'était mis à rassembler de l'argent, envisageant même de réhypothéquer sa maison, avant que la ruse ne soit éventée.
L'aisance avec laquelle on peut désormais répliquer artificiellement une voix fait que "presque toute personne présente en ligne est vulnérable", estime auprès de l'AFP Hany Farid, professeur à l'UC Berkeley School of Information.
"Ces arnaques gagnent du terrain", évalue-t-il.
Plus tôt cette année, la startup ElevenLabs a dû admettre qu'il était possible de faire un mauvais usage de son outil de réplication de voix par IA, après que des utilisateurs eurent posté en ligne un deepfake de l'actrice Emma Watson lisant "Mein Kampf".
"Nous approchons rapidement du moment où nous ne pourrons plus faire confiance aux contenus sur internet et où nous devrons faire appel à de nouvelles technologies pour s'assurer que la personne à qui l'on pense s'adresser (au téléphone) est réellement la personne à qui l'on parle", conclut Gal Tal-Hochberg, un responsable de l'entreprise d'investissements dans la tech Team8.
Le plus gros danger des IA, estiment les experts, est leur capacité à presque abolir la démarcation entre réel et fiction, fournissant aux criminels des outils efficaces et peu onéreux.
De nouvelles arnaques téléphoniques grâce aux outils de réplication de voix par IA -- aisément disponibles en ligne -- inquiètent les autorités américaines.
"Aide-moi, maman, je t'en supplie, aide-moi", entend au bout du fil Jennifer DeStefano, une mère installée dans l'Arizona.
Cette voix, elle est alors "100%" convaincue qu'il s'agit de celle, en grande détresse, de sa fille de 15 ans, partie faire du ski.
"C'était totalement sa voix, la façon dont elle aurait pleuré", a témoigné la mère à une chaîne de télévision locale en avril.
"Je n'ai pas douté un seul instant que ça puisse ne pas être elle."
Au bout du fil, l'arnaqueur qui prend ensuite la parole, depuis un numéro inconnu, exige un million de dollars.
La séquence, qui a rapidement pris fin lorsque Jennifer DeStefano est parvenue à joindre sa fille, fait désormais l'objet d'une enquête et a mis en lumière le potentiel dévoiement de l'IA par les cybercriminels.
"Des deepfakes convaincants"
"La réplication de voix par IA, désormais quasi impossible à distinguer de l'élocution humaine, permet aux personnes mal intentionnées comme les arnaqueurs de soutirer plus efficacement des informations et de l'argent aux victimes", explique à l'AFP Wasim Khaled, PDG de Blackbird.AI.
De nombreuses applications, dont beaucoup sont gratuites et disponibles en ligne, permettent de répliquer par l'intelligence artificielle la vraie voix d'une personne à partir d'un court enregistrement. Celui-ci peut aisément être extrait depuis des contenus postés en ligne.
"Avec un court échantillon audio, un clone de voix par IA peut être utilisé pour laisser des messages et des capsules audio. Il peut même être utilisé comme un modificateur de voix en direct lors d'appels", détaille Wasim Khaled.
"Les arnaqueurs emploient divers accents et genres, ou imitent même la façon de parler de vos proches", ajoute-t-il. Cette technologie "permet de créer des deepfakes convaincants".
Selon un sondage effectué auprès de 7.000 personnes dans neuf pays dont les Etats-Unis, une personne sur quatre a été la cible d'une tentative d'arnaque à la voix répliquée par IA, ou connait quelqu'un dans ce cas.
70% des sondés ont affirmé qu'ils n'étaient pas certains de pouvoir faire la différence entre une vraie voix et une voix clonée, selon cette enquête publiée le mois dernier par McAfee Labs.
Les autorités américaines ont récemment mis en garde contre la popularité croissante de l'"arnaque au grand-parent".
"Vous recevez un appel, une voix paniquée au bout du fil, c'est votre petit-fils. Il dit qu'il a de gros ennuis, il a eu un accident de voiture et s'est retrouvé en détention. Mais vous pouvez l'aider en envoyant de l'argent", a décrit en guise d'avertissement l'agence américaine de protection des consommateurs (FTC).
Dans les commentaires sous cette mise en garde de la FTC, plusieurs personnes âgées disaient avoir été trompées de la sorte.
Vulnérabilité
Un grand-père victime avait été si convaincu qu'il s'était mis à rassembler de l'argent, envisageant même de réhypothéquer sa maison, avant que la ruse ne soit éventée.
L'aisance avec laquelle on peut désormais répliquer artificiellement une voix fait que "presque toute personne présente en ligne est vulnérable", estime auprès de l'AFP Hany Farid, professeur à l'UC Berkeley School of Information.
"Ces arnaques gagnent du terrain", évalue-t-il.
Plus tôt cette année, la startup ElevenLabs a dû admettre qu'il était possible de faire un mauvais usage de son outil de réplication de voix par IA, après que des utilisateurs eurent posté en ligne un deepfake de l'actrice Emma Watson lisant "Mein Kampf".
"Nous approchons rapidement du moment où nous ne pourrons plus faire confiance aux contenus sur internet et où nous devrons faire appel à de nouvelles technologies pour s'assurer que la personne à qui l'on pense s'adresser (au téléphone) est réellement la personne à qui l'on parle", conclut Gal Tal-Hochberg, un responsable de l'entreprise d'investissements dans la tech Team8.
