Vertigineux ! Dès que l’on réfléchit à l’intelligence artificielle appliquée à la guerre, les drones, les missiles, les systèmes d’analyse et de décision, c’est toute notre conception du monde, du droit, de l’organisation sociale, de l’État, de la citoyenneté, de la place de l’homme en général qui part en sucette. Au centre de la réflexion de la spécialiste Laure de Roucy-Rochegonde (Ifri, Ceri, Sciences Po/CNRS), dans son livre « La guerre à l’ère de l’Intelligence artificielle », il y a les « SALA ».

Les SALA ? Habituez-vous rapidement à l’acronyme : ce sont « les armes létales autonomes » qui aujourd’hui pullulent sous toutes les formes : des batteries anti-missiles aux drones volants ou sous-marins, aux missiles, aux Shadow Riders, les véhicules sans pilote… Le sous-titre de son opus est explicite : « Quand les machines prennent les armes ».

Cicéron : « Les lois se taisent au milieu des armes »

Rappelons d’abord avec Roucy-Rochegonde, qui cite les meilleurs experts en armement et en IA mais aussi Kant, Camus et le grand juriste Alain Supiot, que l’étymologie de l’autonomie, c’est « ce qui se régit par ses propres lois ». Et que le propre des guerres, c’est précisément déjà de s’affranchir du Droit : « Les lois se taisent au milieu des armes » disait déjà Cicéron qui rappelait dans la foulée que « Nous sommes esclaves des lois pour pouvoir être libres. »

Question : que se passe-t-il quand sur un ou plusieurs volets de la mission d’un drone semi-autonome — sa trajectoire, sa cible, l’opportunité du tir —, l’autorité militaire « délègue » au SALA tout ou partie de la décision ? Sur quels critères l’IA arbitre-t-elle ? Sur quel système de valeurs ? Comment intégrer dans les algorithmes de la machine les grands principes du Droit de la Guerre : ceux de précaution, de responsabilité, de proportionnalité ou de distinction entre civils et militaires.

En 1139, le Concile de Latran avait prohibé l’usage de l’arbalète jugée trop meurtrière

Il fut déjà bien difficile de restreindre — un peu — les armes chimiques ou les mines antipersonnel, comment espérer pouvoir « réguler l’IA » et toujours assurer en dernière instance aux hommes le « contrôle de la force » ? Ce que souhaiterait ardemment Antonio Guterres, Secrétaire général de l’ONU, qui réunissait pour la première fois un Conseil de sécurité sur le sujet le 18 juillet 2023. On peut rêver. On doit même rêver si nous ne voulons pas, un jour, être les idiots utiles de nos propres créatures robotiques.

Roucy-Rochegonde a d’ailleurs raison de rappeler qu’en 1139, le Concile de Latran avait prohibé l’usage de l’arbalète jugée trop meurtrière ! En tout cas, l’auteur confesse un scepticisme certain sur le nécessaire encadrement des SALA, et a fortiori leur interdiction, eu égard à l’évolution des arsenaux mobilisés sur les champs de bataille ukrainiens ou moyen-orientaux. 

« Les SALA, explique-t-elle, ébranlent le principe même du contrôle humain de la force. »

Trois exemples pour comprendre les enjeux de la cession aux machines de l’usage de la force :

1. L’identification de l’ennemi : Est-on sûr que Lavender, le système de détection américain utilisé par Tsahal pour identifier et localiser les militants du Hamas — 37 000 individus — est tout à fait fiable ? D’un côté, on peut avancer que cette utilisation massive de toutes les datas — d’autres systèmes automatisés existent tels « Gospel » ou « Where’s Daddy ? » — permet un discernement dont une armée en campagne ne serait pas capable. D’un autre côté, observe Roucy-Rochegonde, « le personnel militaire se contente la plupart du temps d’approuver les choix de la machine/…/ tout en sachant que la machine commet des erreurs dans environ 10 % des cas… » C’est toute la difficulté, car du coup Lavender devient bien plus qu’un simple outil de renseignement. Non seulement la machine instruit l’accusation, mais elle se hisse de facto d’un statut de super détective au rang de tribunal spécial.

2. Un algorithme de la compassion ? Le livre rapporte aussi l’histoire d’une petite fille afghane qui, pendant la guerre, avait transmis aux talibans les positions d’un groupe de rangers américains. En principe, la petite fille aurait dû être neutralisée pour « participation directe aux hostilités ». Or les rangers ont eu honte ou pitié et ont préféré changer de campement plutôt que d’ouvrir le feu. Ce sursaut de compassion, l’IA pourrait-elle seulement l’envisager ?

3. À qui se fier quand l’apocalypse est en jeu ? L’histoire est connue. Le 27 octobre 1962, en pleine crise des Missiles entre URSS et États-Unis, un sous-marin russe conçu pour les eaux glaciales du pôle est en surchauffe dans les eaux des Caraïbes. Il avance trop vite face aux sous-marins américains et donne l’impression d’attaquer. Un sous-marin américain réplique par quelques tirs de sommation. Du coup, les commandants de la flotte russe peuvent penser qu’il s’agit du début d’une offensive générale. Deux commandants de la flotte sous-marine sur trois en sont convaincus. Et, conformément aux instructions, ils décident d’utiliser les missiles nucléaires sans en référer au Kremlin.

[...]

Les industriels de l’armement lorgnent l’autonomie des fonctions

Question : L’IA, eût-elle été capable de faire une analyse du contexte semblable à celle d’Arkhipov ? Ou aurait-elle appliqué la consigne de réplique immédiate telle que prescrite par le Kremlin ? Et ne faudrait-il pas alors appliquer aujourd’hui la procédure qui requiert l’unanimité collégiale avant d’agir aux machines elles-mêmes ! En exigeant le feu vert de trois machines IA et non une seule !

Certes, Laure de Roucy-Rochegonde rappelle au moins six ou sept fois dans son livre qu’un Robot Terminator tel qu’imaginé par James Cameron (1984), c’est-à-dire totalement indépendant des hommes de la conception à la réalisation de ses interventions, n’existe pas et ne devrait pas exister dans un délai bref.

Ce pourrait être rassurant si Rochegonde ne soulignait pas aussitôt : 

« La tendance à l’intégration de plus en plus marquée des fonctionnalités autonomes dans les systèmes d’armes. » « Afin de satisfaire, ajoute-t-elle, les demandes étatiques, les industriels tendent à autonomiser toujours plus de fonctions et confient volontiers : « Autonomy is everywhere ». »

[...]

« Enchaîner le Titan pour ne pas déchaîner le chaos »

L’autonomie est parfois très large : c’est le cas du robot sentinelle sud-coréen SGR-AI installé sur la zone démilitarisée séparant les deux Corées. SGR-AI surveille, repère le cas échéant ses cibles et décide d’ouvrir le feu à une vitesse telle que l’ennemi ne puisse réagir. Et c’est tant mieux, car chaque seconde compte.

Mais c’est tant pis pour le contrôle humain qui alors entérine plutôt qu’il ne dirige.

Bref, on sort du livre de Roucy-Rochegonde à cran. On comprend bien qu’il faut garantir de l’humain, du contrôle… Mais ce qui est déjà difficilement envisageable pour les États classiques le sera encore davantage pour les organisations terroristes ou les États voyous que l’auteure n’évoque pas.

Une certitude : la régulation est une nécessité impérative si l’on veut éviter d’amplifier les risques d’épidémies « autonomes » de conflits majeurs.

>Lire l'article sur le site de Challenges.

Commander le livre de Laure de ROUCY-ROCHEGONDE « La guerre à l'ère de l'intelligence artificielle » sur le site de PUF.