Intelligence artificielle : un nouveau type de cybercriminalité utilise la voix de ceux à qui elle s’attaque

Atlantico : Au fur et à mesure que les technologies en matière d'Intelligence Artificielle et de technologie vocale progressent la cybercriminalité est appelée à changer et à se perfectionner. Avec l'usage de ces nouvelles technologies, à quoi pourrait ressembler la cybercriminalité de demain ? Et jusqu'où les hackers pourraient-ils aller ? Quelles pourraient en être les conséquences ? 

Jean-Paul Pinte : Nous le savons pertinemment depuis les débuts de la cybercriminalité les cyber-délinquants ont toujours un pas d’avance dans leurs modes opératoires et l’avènement de l’intelligence artificielle, devenu un sujet contemporain ne risque pas d’améliorer les choses.

Quel que soit le domaine, le Deep Learning est en train de bouleverser tous les secteurs d’activité de nos sociétés. Au quotidien, tous les systèmes de dialogue avec les assistants personnels, les enceintes connectés, etc.

Le traitement de la parole, la synthèse de texte, c’est de l’IA dont on se sert tous les jours avec nos smartphones. Il en va de même pour les systèmes de traduction automatique qui ont beaucoup évolué ainsi que nos véhicules avec l’annonce de véhicules autonomes.

Au cœur de ces innovations sont appelées à se développer de nouvelles formes de cybercriminalité. Des hackers sont ainsi parvenus dernièrement à faire faire des transferts d’argent en imitant l’un de ses supérieurs à l’aide de la technologie vocale ! 

Selon la chronique de Jérôme Colombain sur France Info, ils ont même réussi à imiter la voix d’un PDG en  partant tout d’abord d’enregistrements audio réels, issus de conférences ou de vidéos sur Internet. Ensuite, ils utilisent des logiciels qui permettent de recréer des phrases sur mesure. On ne sait pas bien comment les pirates gèrent le mode conversationnel : est-ce qu’ils enregistrent des phrases à l’avance ou bien est-ce qu’ils utilisent des outils puissants qui permettent de parler et de fabriquer la fausse voix à la volée ? 

Dans l’affaire révélée par le WSJ, la victime déclare avoir reconnu au téléphone l’accent allemand de son chef. Mais au troisième appel, l'employé a commencé à avoir des doutes. La qualité audio dépend beaucoup de la puissance informatique disponible. Il faut des ordinateurs puissants, donc très chers, pour créer des deepfakes de qualité. C’est ce qui limite encore pour l'instant l’ampleur des attaques, mais on peut parier que la technologie va encore s’améliorer.   

Nous sommes ici en plein dans le jeu de l’imitation inventé par Turing qui consistait à mettre au point une machine impossible à distinguer de l’être humain.

Dans un autre genre et dans un article récent du hors-série de Science et Vie (N°190) on apprend qu’il serait aisé de berner un système de reconnaissance d’image. On pourrait donc leurrer les réseaux de neurones ! Le japonais Osamu Kitagawa commercialise ainsi des masques ultra-réalistes, parfois utilisés pour tester des systèmes de reconnaissance faciale.

En 2014, Ian Goodfellow  de Google Brain, publie l’image d’un panda imperceptiblement modifiée que GoogleLeNet, l’outil de classification d’images de Google, prend pour un gibbon. Les chercheurs ont conçu un algorithme qui introduit progressivement de minuscules modifications sur l’image initiale, en sélectionnant celles qui maximisent l’erreur de classification de GoogleLeNet.

Autant d’exemples dont pourraient s’emparer les hackers …

Il y a aussi de quoi s’inquiéter à la vue dont la reconnaissance faciale est utilisée en Chine pour surveiller sa population. Et c’est à ce niveau que la technologie du Deepfake pourrait bien décoller. Il s’agit de réaliser des vidéos truquées imitant l’apparence et la voix d’une personne. On peut faire dire ce que l’on veut à une personne comme le hameçonnage, la décrédibilisation d’une personne ou encore une atteinte à sa réputation.

Récemment le chatbot de Microsoft Tay s’est mis à débiter des propose vulgaires, etc.

Une étude prospective de Darktrace menée par Max Heinemeyer, son Director of « Threat Hunting », explore la façon dont l’Intelligence Artificielle pourrait être exploitée par les hackers dont le nombre de compétents est encore limité.

Premier cas de figure évoquée par le rapport, une attaque par un malware se propageant de manière extrêmement rapide dans le réseau d’un cabinet d’avocats. Le malware avait été envoyé via une campagne de phishing et téléchargé malencontreusement par un employé. Avec l’utilisation de l’IA, à l’avenir « les logiciels malveillants se propageront automatiquement via une série de décisions autonomes, intelligemment adaptées aux paramètres du système infecté », indique Max Heinemeyer.

Deuxième attaque : des communications imitées par les attaquants afin d’obtenir la confiance des points de contact et de passer inaperçus dans l’environnement d’une société de gestion de l’eau et de l’électricité. Avec l’IA, le malware pourra s’adapter à l’environnement qu’il infecte. « En apprenant à partir d’informations contextuelles, il saura cibler spécifiquement les points faibles qu’il découvre ou imiter les personnes de confiance », explique l’expert.

Enfin, l’étude rapporte un cas d’exfiltrations des données au sein d’une société de technologie médicale. Les données étaient exfiltrées très lentement avec des volumes très faibles, permettant aux hackers d’agir discrètement. Dans l’avenir, avec l’IA, le malware pourra adapter dynamiquement le volume de données exfiltrées, « en fonction de la bande passante totale utilisée par la machine infectée », devenant bien plus efficace.

Pour se fondre dans leur environnement cible autant que possible, les attaquants humains ajustent leurs techniques pour se normaliser, mais « il est tout à fait possible que les logiciels malveillants se lancent de manière autonome pour acquérir cette compréhension contextuelle en utilisant l’IA, puis adaptent leur comportement à la volée pour se fondre dans un environnement cible », prévient Max Heinemeyer.

Dans une étude baptisée "The Rise of Artificial Intelligence: Future Outlook and Emerging Risks", le groupe d'assurance Allianz passe en revue les différents bienfaits et risques qui pourraient émerger avec le développement de l'IA.

Selon cette étude, voici comment l'intelligence artificielle pourrait être utilisée par des personnes mal-intentionnées:

Les hackers pourront utiliser l'IA pour lancer des cyberattaques sophistiquées:

"La mauvaise utilisation d'une IA forte peut également augmenter le risque de cyber-attaques si des hackers mal intentionnés entraînent cette IA pour attaquer."

Les nouvelles machines qui viennent peupler sol et air peuvent être détournées et devenir des armes connectées:

"Les armes autonomes, telles que les drones, pourraient également être utilisées. Ce type de risques est souvent sous-estimé."

Les hackers pourront aussi développer ces outils plus rapidement grâce à l'IA, estime Allianz: 

"L'IA pourrait faciliter des incidents plus graves en abaissant le coût des nouveaux outils et des nouvelles armes qui permettraient de lancer des attaques."

Et l'ampleur des problèmes sera amplifiée.

"Une inter-connectivité accrue signifie que la vulnérabilité des machines automatiques, autonomes ou qui apprennent par elles-même aux bugs et aux cyber-attaques ne fera qu'augmenter", observe Allianz. 

Si une infrastructure informatique ou électrique est touchée — par un bug ou une cyberattaque —, d'autres équipements qui y sont connectés pourront aussi être atteints.

Par ailleurs, puisqu'avec le machine learning, les IA ont la capacité d'apprendre entre elles, "une erreur de programmation ou une attaque d'un hacker pourrait être répliquée sur de nombreuses machines". Une machine touchée pourra alors "répéter la même erreur plusieurs fois, ce qui provoquera une accumulation de pertes inattendue et une difficulté à identifier la source du problème", alerte Allianz. Avec à la clé, des pertes économiques majeures: 

"Quelle qu'en soit la cause, une erreur non-intentionnelle causée par l'IA pourrait se transformer en un accident majeur, qui pourrait endommager une réputation et donc des résultats financiers", estime l'étude.

En parlant justement de finances, les utilisations de l’IA cette technologie restent prudentes. Il s’agit généralement de chatbots (robot logiciel pouvant dialoguer avec un individu) ou d’assistants virtuels qui n’utilisent pas le deep learning, technologie d’apprentissage basée sur des réseaux de neurones artificiels. C’est le stade le plus avancé de l’intelligence artificielle (IA), mais aussi le plus risqué, d’où l’approche progressive des acteurs financiers et toute la surveillance à mener contre ceux qui voudraient nuire à une banque par exemple…

L’intelligence artificielle fait aussi apparaître de nouveaux risques : « Il est possible de modifier la perception d’un algorithme », souligne Edouard d’Archimbaud, CTO de Kili Technology et auparavant responsable du Lab data science and artificial intelligence chez BNP Paribas CIB. Les médias ont beaucoup parlé des algorithmes de reconnaissance d’image (dont on parlait en première partie de cet article) prenant un éléphant pour une chaise en modifiant seulement quelques pixels. Cela pourrait être problématique pour des solutions comme celle d’Alipay, Smile to Pay, qui permet de payer en un sourire grâce justement à une IA de reconnaissance d’image.

Des données falsifiées pourraient aussi toucher des algorithmes intervenant dans les décisions d’investissement. « Des ‘fake news’ pourraient perturber l’algorithme et provoquer un effet domino sur les marchés », pense Fabien Lortal (Alpha FMC). Edouard d’Archimbaud révèle une des pistes de recherche : « l’adversial machine learning », qui consiste à entraîner deux algorithmes ensemble. « Le travail du premier est de tromper le second qui apprend ainsi à ne pas être trompé », précise-t-il.

On peut enfin aussi envisager le risque d’une IA manipulée qui pourrait même paradoxalement renforcer la cybercriminalité en devenant la cible de nouvelles formes d’attaques destinées à tromper ou influencer le comportement des systèmes intelligents. Ce serait en effet oublier que les hackers peuvent, eux aussi, utiliser des algorithmes complexes pour automatiser certaines tâches, passer sous les radars d’une IA et laisser derrière eux les « bonnes » traces informatiques. Avec un tel outil, il devient possible de cartographier les points faibles d’un réseau et de répandre un virus. Dans ce contexte, où se situe la confiance numérique ? En matière de sécurité digitale et face aux cyberattaques croissantes, l’homme peut-il tout « déléguer » à l’IA… dans la mesure où, dans ce domaine, il reste le premier facteur de risque ?