Ces scientifiques qui travaillent sur les scénarios apocalyptiques d'une intelligence artificielle en folie

Atlantico : Des chercheurs spécialisés dans l'intelligence artificielle et la cyber-sécurité se sont réunis les 25 et 26 février à l'Université d'Etat d'Arizona. Leur objectif était de réfléchir à des scénarios catastrophe concernant les potentiels usages malveillants de ces technologies. Quelles sont les "catastrophes" qui pourraient être provoquées par l'intelligence artificielle ? Avec quel impact ? 

C’est dire qu’à terme, une machine non biologique, ou peut être mue par des biotechnologies, pourrait « penser » et donc concevoir de manière autonome. Il est évident que cela suscite un grand enthousiasme d’un côté et une grande défiance de l’autre.

Si Eric Horvitz dit “que l’AI a un énorme potentiel pour transformer bien des aspects de de notre société et de bien des manières ». Il en souligne néanmoins la présence possible de risques de déviations.

C’est d’ailleurs le message que Lawrence Krauss l’un organisateurs de ce workshop en Arizona, fait également passer. Il voit plutôt les risques que l’AI peut faire peser sur l’humanité. Il rejoint ainsi un chercheur comme Elon Munsk ou Stephen Hawking qui n’hésitent pas à qualifier l’AI de « menace pour l’humanité ». Mise en garde reprise par Barrack Obama peu avant son départ de la Maison Blanche en janvier de cette année.

L’intelligence artificielle est comme la langue d’Esope : la pire et la meilleure des choses. Tout dépend de l’utilisation que nous en ferons d’une part et, d’autre part, des précautions que nous prendrons pour la faire progresser. Il faut ajouter de se poser la question des relations finales entre l’homme et la machine « intelligente » qu’il a créée. Sera-t-elle emprunte d’aménité et de saine collaboration ou hostile ? Le risque principal est de se retrouver comme Frankenstein. Nous créons un monstre, merveilleux peut-être, mais aux pouvoirs gigantesques et qui peut échapper au contrôle de son créateur et celui qu’il soit repris par un autre aux intentions malveillantes.

Examinons rapidement les domaines sur lesquels l’AI pourrait s’appliquer et, le cas échéant, déraper et provoquer des catastrophes :

Dans le domaine militaire et celui de la sécurité intérieure, la place croissante faite, par exemple aux drones de combat et aux systèmes d’analyses prédictives AMI/ENNEMI et d’aide à la décision. Quelle place laisse la machine à l’homme dans la décision de tuer, d’arrêter un individu (la fiction de Minority report) ? Allons plus loin, que l’algorithme s’emballe ou qu’il crée ou modifie de lui-même des paramètres d’analyse et nous pouvons envisager le scénario du déclenchement d’un conflit, pourquoi pas nucléaire si la menace, même fausse est cataloguée comme nécessitant une riposte immédiate (automatisation des systèmes d’armes).

Dans le domaine économique et financier, l’AI est déjà très présente, par exemple avec le « credit scoring ». A titre encore expérimental, un fonds autogère ses ordres d’achat et de vente. Peut-il aller jusqu’à organiser une spéculation en fonction de ses capacités d’analyse prédictive ? Et perdre en provoquant une gigantesque crise financière et sociale.

La logistique, est également un domaine de prédilection de l’AI. Les applications mathématiques heuristiques visent à optimiser par le calcul des solutions complexes. Jusqu’à présent, l’intelligence humaine, avec sa capacité à interpréter les signaux, corrige les écarts dans les extrêmes. Imaginons une prise de contrôle, ou un bug ou une autocorrection du système intelligent sur les flux d’approvisionnement en denrées alimentaires. Ceci induit des commandes absentes ou erronées et génère une pénurie en moins de 48 heures. Que l’erreur perdure une journée ou deux de plus et l’aboutissement se traduit par des émeutes et, en général, de fortes destructions.

On ne peut évoquer l’AI sans la rattacher à la médecine. Actuellement certains systèmes d’AI apportent de l’aide au diagnostic et préconisent des solutions. Le médecin décide en dernier lieu. Si nous nous projetons et que nous imaginons que la médecine puisse à terme être exercée par des robots intelligents, en particulier dans les secteurs de la recherche virale et biologique, il est aisé d’imaginer ce qu’un cerveau malade peut générer en modifiant les paramètres de réactivité des systèmes. Il y a là, le spectre de pandémies mondiales.

Quels sont les garde-fous à mettre en place pour se prémunir contre de tels scénarios, tout comme pour contrôler la recherche autour de la cyber sécurité et l'intelligence artificielle  ?

Dans cet aspect des choses, je crois que la phrase de Rabelais : »Science sans conscience n’est que ruine de l’âme » résume ce que nous devons faire pour éviter un détournement d’usage de l’intelligence artificielle. A ceci j’ajouterai une autre citation, de Jean Cocteau celle-ci : le tact dans l’audace, c’est jusqu’om ne pas aller trop loin ».

Comme toute recherche scientifique appliquée à l’Humanité et à la Nature, il faut d’abord fixer un code d’éthique, une morale, même si ce mot n’est plus à la mode. Ensuite, il faut se fixer des limites techniques à ne pas franchir sous peine de tout s’autoriser, y compris des horreurs.

L’éthique est un exercice délicat et ne se traite pas en trois lignes. Je laisse ce débat ouvert. Les limites ont deux volets :

Ce que nous sommes sûrs de pouvoir maîtriser jusque dans ses cas non conformes ou les accidents de parcours anticipés. Ce seront des procédures techniques et des process de réaction aux incidents. Egalement, ce seront ces indicateurs d’alerte en cas de tentative d’utilisation abusive ou de détournement.

Et, ce qui est peut-être maîtrisable scientifiquement et techniquement, mais qui est moralement indéfendable. Avec, obligatoirement dans les cas avérés de violation e ces règles, une coercition codifiée, mais effective.

Il faut également considérer que tous les scientifiques ou les pouvoirs qui les emploient ne se plieront pas aux règles communes. Il faudra trouver un moyen, peut-être sous la forme d’une Haute Autorité mondiale, dotée de moyens de surveillance et d’alerte pouvant discerner les indices d’utilisation déviante de l’AI, ou pouvant le devenir.

Quant au postulat d’Eric Horvitz et de Stephen Hawking sur le possible dépassement de l’intelligence humaine par celle de la machine, il semble encore bien loin. Toutefois, il semble important d’imaginer, si ce jour arrive, comment conserver l’ascendant sur la machine en évitant deux écueils :

Que la machine s’affranchisse totalement du contrôle humain et prenne le contrôle des systèmes qui régissent notre quotidien, y compris le système judiciaire par exemple.

Que ce confort apporté par cette intelligence artificielle qui satisfait nos demandes et atténue considérablement les difficultés de l’humanité, ne finisse par la pousser lentement mais inexorablement vers un amoindrissement constant de ses capacités intellectuelles.

De ces technologies, quelles sont celles que nous devrions redouter demain et qui pourraient voir le jour rapidement ?

Depuis un peu plus d’un siècle, notre société a connu une évolution exponentielle des connaissances scientifiques et technologiques. Ce qui en soit est passionnant et particulièrement prometteur pour l’amélioration de notre quotidien. Dans le domaine médical, industriel, agricole, le transport et l’espace, par exemple. Une grande partie du monde dit, développé, vit beaucoup mieux, avec plus de confort et moins d’efforts que ses grands-parents. Mais, et il y a un mais, si nos sociétés sont devenues technologiquement avancées, elles se sont fragilisées.

Plus notre civilisation gagne en sophistication et en progrès techniques et scientifique, plus elle se complexifie, et plus, naturellement, nous nous éloignons des actes de base de la rusticité primaire. Bêtement, combien de personnes sont encore capables d’ouvrir une boite de conserve sans ouvre-boite électrique, avec un simple canif ? Tout ou presque à un effet papillon. Une panne, un accident et c’est une chaîne de conséquences qui se génère.

Notre société est donc à la merci de plusieurs grands types de risques et de menaces. Le cyber-terrorisme est vraisemblablement l’un des plus avancés même s’il n’a pas encore trouvé d’application concrète à grande échelle, tout au moins parmi les cas connus et divulgués. Citons les possibilités d’attaques et de prise de contrôle des systèmes logistiques qui peuvent impacter nos capacités d’approvisionnement et de livraison de l’énergie. Sans énergie, surtout électrique, nous reviendrions vite au 19^ème siècle. Ou bien, la paralysie des banques et des caisses de retraite qui amèneraient vite, panique, drames quotidiens à grande échelle, émeutes, etc.

Plusieurs scenarii avancent la thèse possible d’attaques coordonnées sur les bourses, les banques, voire la manipulation d’élections, provoquant ainsi des crises sociopolitiques d’importance. D’autres évoquent la possibilité de prise de contrôle de systèmes de réseaux de transport, trains, avions ou de distribution de l’eau.

Il est clair que la menace cyber-terroriste est peut-être la plus pressante de nos jours car, sous différentes formes, fut-elle mafieuse, elle est déjà en œuvre.

L’autre aspect sur lequel il convient d’être particulièrement vigilant est le domaine de l’analyse prédictive par l’AI. Qu’elle soit utilisée de bonne foi ou à des fins malveillantes, l’AI sous la forme de système automatisé de prise de décision est une arme à double tranchant. Nous l’avons évoqué ci-dessus avec les effets militaires des systèmes d’armes intelligents qui « décident » seuls de l’ouverture du feu. Nous l’avons évoqué sous la forme d’aides à la décision qui tend également à s’automatiser, l’intelligence humaine n’intervenant, au mieux, que pour nuancer l’analyse de la machine, au pire seulement pour l’entériner. Cela se retrouve déjà dans les domaines financiers et économiques. Cela approche dans celui du politique et pourquoi pas bientôt dans celui du judiciaire. La manipulation, la mauvaise programmation ou l’auto évolution d’un algorithme pourraient aisément classifier et catégoriser la population par exemple.

Comme nous le constatons, les possibilités de scénarii catastrophe sont nombreux et variés, dans leurs causes et dans leurs effets. C’est la contrepartie d’un immense progrès possiblement détourné de son objectif initial. Comme font les militaires, il ne faut pas se priver des avancées technologiques. Il faut néanmoins conserver la possibilité d’agir en mode dégradé.