En direct
Best of
Best Of du 13 au 19 avril 2019
En direct
© Allociné / Universal Pictures International France
Dérapages
Ces scientifiques qui travaillent sur les scénarios apocalyptiques d'une intelligence artificielle en folie
Publié le 12 mars 2017
Les scientifiques spécialisés dans l'intelligence artificielle et des chercheurs en cyber défense se sont réunis à l'Université d'Etat d'Arizona le 26 février dernier pour réfléchir à des scénarios catastrophes impliquant l'intelligence artificielle. Le but était de parvenir à réfléchir à des solutions et faire prendre consciences des risques autour de cette technologie pour que le pire soit évité.
Frank Puget est directeur général de KER-MEUR S.A (Suisse), société d'intelligence économique, cyber sécurité et formation.
Suivre
Vous devez être abonné pour suivre un auteur.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Frank Puget
Suivre
Vous devez être abonné pour suivre un auteur.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Frank Puget est directeur général de KER-MEUR S.A (Suisse), société d'intelligence économique, cyber sécurité et formation.
Voir la bio
Ajouter au classeur
Vous devez être abonné pour ajouter un article à votre classeur.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Lecture Zen
Vous devez être abonné pour voir un article en lecture zen.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Les scientifiques spécialisés dans l'intelligence artificielle et des chercheurs en cyber défense se sont réunis à l'Université d'Etat d'Arizona le 26 février dernier pour réfléchir à des scénarios catastrophes impliquant l'intelligence artificielle. Le but était de parvenir à réfléchir à des solutions et faire prendre consciences des risques autour de cette technologie pour que le pire soit évité.

Atlantico : Des chercheurs spécialisés dans l'intelligence artificielle et la cyber-sécurité se sont réunis les 25 et 26 février à l'Université d'Etat d'Arizona. Leur objectif était de réfléchir à des scénarios catastrophe concernant les potentiels usages malveillants de ces technologies. Quelles sont les "catastrophes" qui pourraient être provoquées par l'intelligence artificielle ? Avec quel impact ? 

Frank Puget : Le concept d’intelligence artificielle se réfère à une machine capable de reproduire un comportement intelligent de type humain. Les transhumanistes comme l’américain Ray Kurzweill, pensent même atteindre le stade d’'une sorte de « prise de conscience » au sens propre, de la machine, et «d’une compréhension de ses propres raisonnements ».

C’est dire qu’à terme, une machine non biologique, ou peut être mue par des biotechnologies, pourrait « penser » et donc concevoir de manière autonome. Il est évident que cela suscite un grand enthousiasme d’un côté et une grande défiance de l’autre.

Si Eric Horvitz dit “que l’AI a un énorme potentiel pour transformer bien des aspects de de notre société et de bien des manières ». Il en souligne néanmoins la présence possible de risques de déviations.

C’est d’ailleurs le message que Lawrence Krauss l’un organisateurs de ce workshop en Arizona, fait également passer. Il voit plutôt les risques que l’AI peut faire peser sur l’humanité. Il rejoint ainsi un chercheur comme Elon Munsk ou Stephen Hawking qui n’hésitent pas à qualifier l’AI de « menace pour l’humanité ». Mise en garde reprise par Barrack Obama peu avant son départ de la Maison Blanche en janvier de cette année.

L’intelligence artificielle est comme la langue d’Esope : la pire et la meilleure des choses. Tout dépend de l’utilisation que nous en ferons d’une part et, d’autre part, des précautions que nous prendrons pour la faire progresser. Il faut ajouter de se poser la question des relations finales entre l’homme et la machine « intelligente » qu’il a créée. Sera-t-elle emprunte d’aménité et de saine collaboration ou hostile ? Le risque principal est de se retrouver comme Frankenstein. Nous créons un monstre, merveilleux peut-être, mais aux pouvoirs gigantesques et qui peut échapper au contrôle de son créateur et celui qu’il soit repris par un autre aux intentions malveillantes.

Examinons rapidement les domaines sur lesquels l’AI pourrait s’appliquer et, le cas échéant, déraper et provoquer des catastrophes :

Dans le domaine militaire et celui de la sécurité intérieure, la place croissante faite, par exemple aux drones de combat et aux systèmes d’analyses prédictives AMI/ENNEMI et d’aide à la décision. Quelle place laisse la machine à l’homme dans la décision de tuer, d’arrêter un individu (la fiction de Minority report) ? Allons plus loin, que l’algorithme s’emballe ou qu’il crée ou modifie de lui-même des paramètres d’analyse et nous pouvons envisager le scénario du déclenchement d’un conflit, pourquoi pas nucléaire si la menace, même fausse est cataloguée comme nécessitant une riposte immédiate (automatisation des systèmes d’armes).

Dans le domaine économique et financier, l’AI est déjà très présente, par exemple avec le « credit scoring ». A titre encore expérimental, un fonds autogère ses ordres d’achat et de vente. Peut-il aller jusqu’à organiser une spéculation en fonction de ses capacités d’analyse prédictive ? Et perdre en provoquant une gigantesque crise financière et sociale.

La logistique, est également un domaine de prédilection de l’AI. Les applications mathématiques heuristiques visent à optimiser par le calcul des solutions complexes. Jusqu’à présent, l’intelligence humaine, avec sa capacité à interpréter les signaux, corrige les écarts dans les extrêmes. Imaginons une prise de contrôle, ou un bug ou une autocorrection du système intelligent sur les flux d’approvisionnement en denrées alimentaires. Ceci induit des commandes absentes ou erronées et génère une pénurie en moins de 48 heures. Que l’erreur perdure une journée ou deux de plus et l’aboutissement se traduit par des émeutes et, en général, de fortes destructions.

On ne peut évoquer l’AI sans la rattacher à la médecine. Actuellement certains systèmes d’AI apportent de l’aide au diagnostic et préconisent des solutions. Le médecin décide en dernier lieu. Si nous nous projetons et que nous imaginons que la médecine puisse à terme être exercée par des robots intelligents, en particulier dans les secteurs de la recherche virale et biologique, il est aisé d’imaginer ce qu’un cerveau malade peut générer en modifiant les paramètres de réactivité des systèmes. Il y a là, le spectre de pandémies mondiales.

Quels sont les garde-fous à mettre en place pour se prémunir contre de tels scénarios, tout comme pour contrôler la recherche autour de la cyber sécurité et l'intelligence artificielle  ?

Dans cet aspect des choses, je crois que la phrase de Rabelais : »Science sans conscience n’est que ruine de l’âme » résume ce que nous devons faire pour éviter un détournement d’usage de l’intelligence artificielle. A ceci j’ajouterai une autre citation, de Jean Cocteau celle-ci : le tact dans l’audace, c’est jusqu’om ne pas aller trop loin ».

Comme toute recherche scientifique appliquée à l’Humanité et à la Nature, il faut d’abord fixer un code d’éthique, une morale, même si ce mot n’est plus à la mode. Ensuite, il faut se fixer des limites techniques à ne pas franchir sous peine de tout s’autoriser, y compris des horreurs.

L’éthique est un exercice délicat et ne se traite pas en trois lignes. Je laisse ce débat ouvert. Les limites ont deux volets :

Ce que nous sommes sûrs de pouvoir maîtriser jusque dans ses cas non conformes ou les accidents de parcours anticipés. Ce seront des procédures techniques et des process de réaction aux incidents. Egalement, ce seront ces indicateurs d’alerte en cas de tentative d’utilisation abusive ou de détournement.

Et, ce qui est peut-être maîtrisable scientifiquement et techniquement, mais qui est moralement indéfendable. Avec, obligatoirement dans les cas avérés de violation e ces règles, une coercition codifiée, mais effective.

Il faut également considérer que tous les scientifiques ou les pouvoirs qui les emploient ne se plieront pas aux règles communes. Il faudra trouver un moyen, peut-être sous la forme d’une Haute Autorité mondiale, dotée de moyens de surveillance et d’alerte pouvant discerner les indices d’utilisation déviante de l’AI, ou pouvant le devenir.

Quant au postulat d’Eric Horvitz et de Stephen Hawking sur le possible dépassement de l’intelligence humaine par celle de la machine, il semble encore bien loin. Toutefois, il semble important d’imaginer, si ce jour arrive, comment conserver l’ascendant sur la machine en évitant deux écueils :

Que la machine s’affranchisse totalement du contrôle humain et prenne le contrôle des systèmes qui régissent notre quotidien, y compris le système judiciaire par exemple.

Que ce confort apporté par cette intelligence artificielle qui satisfait nos demandes et atténue considérablement les difficultés de l’humanité, ne finisse par la pousser lentement mais inexorablement vers un amoindrissement constant de ses capacités intellectuelles.

De ces technologies, quelles sont celles que nous devrions redouter demain et qui pourraient voir le jour rapidement ?

Depuis un peu plus d’un siècle, notre société a connu une évolution exponentielle des connaissances scientifiques et technologiques. Ce qui en soit est passionnant et particulièrement prometteur pour l’amélioration de notre quotidien. Dans le domaine médical, industriel, agricole, le transport et l’espace, par exemple. Une grande partie du monde dit, développé, vit beaucoup mieux, avec plus de confort et moins d’efforts que ses grands-parents. Mais, et il y a un mais, si nos sociétés sont devenues technologiquement avancées, elles se sont fragilisées.

Plus notre civilisation gagne en sophistication et en progrès techniques et scientifique, plus elle se complexifie, et plus, naturellement, nous nous éloignons des actes de base de la rusticité primaire. Bêtement, combien de personnes sont encore capables d’ouvrir une boite de conserve sans ouvre-boite électrique, avec un simple canif ? Tout ou presque à un effet papillon. Une panne, un accident et c’est une chaîne de conséquences qui se génère.

Notre société est donc à la merci de plusieurs grands types de risques et de menaces. Le cyber-terrorisme est vraisemblablement l’un des plus avancés même s’il n’a pas encore trouvé d’application concrète à grande échelle, tout au moins parmi les cas connus et divulgués. Citons les possibilités d’attaques et de prise de contrôle des systèmes logistiques qui peuvent impacter nos capacités d’approvisionnement et de livraison de l’énergie. Sans énergie, surtout électrique, nous reviendrions vite au 19ème siècle. Ou bien, la paralysie des banques et des caisses de retraite qui amèneraient vite, panique, drames quotidiens à grande échelle, émeutes, etc.

Plusieurs scenarii avancent la thèse possible d’attaques coordonnées sur les bourses, les banques, voire la manipulation d’élections, provoquant ainsi des crises sociopolitiques d’importance. D’autres évoquent la possibilité de prise de contrôle de systèmes de réseaux de transport, trains, avions ou de distribution de l’eau.

Il est clair que la menace cyber-terroriste est peut-être la plus pressante de nos jours car, sous différentes formes, fut-elle mafieuse, elle est déjà en œuvre.

L’autre aspect sur lequel il convient d’être particulièrement vigilant est le domaine de l’analyse prédictive par l’AI. Qu’elle soit utilisée de bonne foi ou à des fins malveillantes, l’AI sous la forme de système automatisé de prise de décision est une arme à double tranchant. Nous l’avons évoqué ci-dessus avec les effets militaires des systèmes d’armes intelligents qui « décident » seuls de l’ouverture du feu. Nous l’avons évoqué sous la forme d’aides à la décision qui tend également à s’automatiser, l’intelligence humaine n’intervenant, au mieux, que pour nuancer l’analyse de la machine, au pire seulement pour l’entériner. Cela se retrouve déjà dans les domaines financiers et économiques. Cela approche dans celui du politique et pourquoi pas bientôt dans celui du judiciaire. La manipulation, la mauvaise programmation ou l’auto évolution d’un algorithme pourraient aisément classifier et catégoriser la population par exemple.

Comme nous le constatons, les possibilités de scénarii catastrophe sont nombreux et variés, dans leurs causes et dans leurs effets. C’est la contrepartie d’un immense progrès possiblement détourné de son objectif initial. Comme font les militaires, il ne faut pas se priver des avancées technologiques. Il faut néanmoins conserver la possibilité d’agir en mode dégradé.

Les commentaires de cet article sont à lire ci-après
Articles populaires
Période :
24 heures
7 jours
01.
Travaux à Paris : « Je creuse donc je suis ! »
02.
Une série d’erreurs serait à l'origine de l’incendie de Notre-Dame de Paris
03.
Les médecins de Britney Spears dévoilent la vérité sur son hospitalisation
04.
Les princes William et Harry n’auraient jamais dû s’appeler ainsi
05.
Pourquoi la France est malade de son immobilier
06.
De #GaspardGlanz au passé de Nathalie Loiseau, ces clashs qui soulignent la mentalité de guerre civile qui gagne les esprits français
07.
Pourquoi les 50 morts musulmans de Christchurch pèsent-ils tellement plus lourd que les 200 morts chrétiens du Sri Lanka ?
01.
Pourquoi les 50 morts musulmans de Christchurch pèsent-ils tellement plus lourd que les 200 morts chrétiens du Sri Lanka ?
02.
Manon Aubry découvrira-t-elle que la FI est une secte stalinienne avant ou après les élections ?
03.
Le coupable dans l’incendie de Notre-Dame : le progressisme
04.
De #GaspardGlanz au passé de Nathalie Loiseau, ces clashs qui soulignent la mentalité de guerre civile qui gagne les esprits français
05.
Tous végétariens ou vegans ? Quand l’OMS met le hola sur les régimes universels écologiques
06.
Trêve ou flottement au sommet ? Quoiqu’il en soit, voilà les 5 questions de fond auxquelles Emmanuel Macron devra absolument répondre s’il veut reprendre la main
01.
Du “Yes We Can” au “Yes I can” : de quelle crise politique le succès phénoménal de Michelle Obama est-il le symptôme ?
02.
Suppression de l’ENA : en marche vers des records de démagogie
03.
Le coupable dans l’incendie de Notre-Dame : le progressisme
04.
Pourquoi les 50 morts musulmans de Christchurch pèsent-ils tellement plus lourd que les 200 morts chrétiens du Sri Lanka ?
05.
Pourquoi les erreurs européennes dans le traitement de la crise financière de 2008 sont les racines de la guerre commerciale entre les Etats-Unis et l’UE
06.
Névroses nationales : et la France de demain, vous la voulez à l’identique ou conscientisée ?
Commentaires (0)
Ecrire un commentaire
Vous devez être abonné pour rédiger un commentaire.
Abonnez-vous
«Vos abonnements garantissent notre indépendance»
Nos articles sont ouverts aux commentaires sur une période de 7 jours.
Face à certains abus et dérives, nous vous rappelons que cet espace a vocation à partager vos avis sur nos contenus et à débattre mais en aucun cas à proférer des propos calomnieux, violents ou injurieux. Nous vous rappelons également que nous modérons ces commentaires et que nous pouvons être amenés à bloquer les comptes qui contreviendraient de façon récurrente à nos conditions d'utilisation.
*Toute validation est définitive, vous ne pourrez pas rééditer votre commentaire.
Pas d'autres commentaires