Prologue – Homo Sapiens dispose de la faculté, unique dans le monde animal, de coopérer à grande échelle. Cette capacité lui a permis de créer des outils si puissants qu’ils sont aujourd’hui susceptibles d’échapper à son contrôle. Pour coopérer, il a mis en place des réseaux d’information diffusant fictions, mensonges fantasmes et vérités, d’ordres religieux et politique. Le nazisme et le stalinisme furent de tels réseaux. S’ils finirent pas s’effondrer, on aurait tort de croire que tous les réseaux dévoyés sont voués à l’échec.

La vision naïve de l’information postule que son accumulation conduit à la vérité, au pouvoir et à la sagesse, c’est-à-dire aux bonnes décisions. Le fait que l’accumulation de données médicales a permis le traitement de nombreuses maladies semble lui donner raison. Cette vision qui légitime l’IA s’exprime dans la déclaration de mission de Google : organiser les informations du monde et les rendre universellement accessibles et utiles. Mais d’autres scientifiques craignent que l’IA nous entraîne vers deux scénarios terrifiants : 

• la suralimentation des conflits par des armements devenus intelligents,
• l’instauration d’une dictature dirigée par une IA dont nous serions les prisonniers.

Certaines IA sont déjà capables de mentir en se faisant passer pour des humains. 

À l’opposé de la vision naïve de l’information, celle des populistes, de Marx à Trump, de QAnon à Bolsonaro, considère le pouvoir comme l’unique réalité et l’information comme une arme de conquête. Pour les populistes de tous bords, qu’importent la vérité et la justice, il faut s’emparer du pouvoir en accusant les institutions de servir les intérêts des élites au détriment de ceux du peuple.

Entre les visions naïve et populiste de l’information, la réflexion proposée dans le présent ouvrage abordera :

• les différents types de réseaux d’information qui se sont succédé dans l’histoire,
• le réseau d’information en cours de constitution, le premier non organique de l’histoire,
• les réponses des démocraties et des totalitarismes aux menaces de l’IA ainsi que l’avenir possible des sociétés au sein desquelles l’IA jouera un rôle central, qu’il nous appartient de définir.

Première partie – RÉSEAUX HUMAINS

1- Qu’est-ce que l’information ? – La vision naïve de l’information la définit comme une tentative de nous renseigner sur la réalité. Si elle y parvient, il s’agit d’une vérité. L’information peut être une étoile qui indique le Nord, un écrit, un détail qui correspond à un code convenu entre plusieurs personnes… Dans la suite, la vérité désignera ce qui nous renseigne fidèlement sur un aspect de la réalité.

Si le postulat de la vision naïve de l’information disait vrai et que son abondance permettait de s’approcher de la réalité, comment expliquer le succès de l’astrologie qui fournit des informations fausses ? La caractéristique essentielle de l’information, ce qui la définit, ce n’est pas tant la représentation que la connexion : l’information est ce qui relie différents points pour former un réseau. Ainsi, la musique, la religion, les partis politiques sont des informations qui ne représentent aucune réalité mais qui relient des personnes et coordonnent leurs actions. 

Prenons quelques exemples emblématiques :

• l’ADN ne contient aucune représentation du réel mais les informations nécessaires pour créer une nouvelle réalité que sont les processus chimiques nécessaires pour coordonner le fonctionnement des milliards de cellules d’un organisme vivant,
• le métavers pourrait devenir l’univers dans lequel évolueront bientôt les humains. Pourtant, il ne contient aucun élément de la réalité terrestre. Il ne fait que l’agrandir et finira peut-être par la remplacer, 
• la Bible qui contient nombre d’informations qui se sont révélées historiquement fausses a été d’une efficacité remarquable pour connecter les hommes entre eux au travers des religions juive et chrétiennes.

L’information avant tout est un nexus, sa principale caractéristique est d’être un vecteur de lien social. Cela n’exclut toutefois pas la recherche de la vérité.

2- Histoires : connexions illimitées – Les Sapiens ne tiennent pas leur pouvoir de leur sagesse mais de leur capacité de coopérer, dans l’ordre et à grande échelle, grâce à des histoires partagées. 

Ces histoires produisent :

• des figures charismatiques fantasmées, Jésus, Bouddha, Staline… 
• des réalités intersubjectives, entités produites par échange d’informations qui n’existent que parce qu’un nombre suffisant de personnes les reconnaissent : la monnaie, les États, les divinités, les lois…. 

Figures charismatiques et réalités intersubjectives ont coordonné l’action de millions d’hommes et façonné l’histoire du monde.

Souvent, les histoires fondatrices s’appuient sur un noble mensonge, affirmant par exemple que les membres d’un groupe seraient les élus de Dieu et à ce titre devraient obéir à sa loi intangible ou qu’ils seraient les héritiers d’un glorieux roman national dont ils devraient se montrer dignes. Entre mensonge et vérité existe une troisième voie : reconnaître l’origine humaine de l’histoire fondatrice et de la faillibilité de ses auteurs, ce qui autorise l’évolution des principes qu’elle enseigne. Par exemple, la constitution américaine autorisait l’esclavage dans sa première version, mais aujourd’hui elle ne le permet plus, considérant que ses rédacteurs avaient eu tort sur ce point. En revanche, en interdisant de convoiter les serviteurs d’autrui, les Dix commandements, d’origine divine, reconnaissent implicitement l’esclavage, sans possibilité d’amendement.

Pour survivre et se développer, les réseaux d’information ont toujours connu une tension entre l’ordre, nécessaire à la coopération des individus, et la recherche de la vérité, afin de ne pas mettre cette puissance collective au service d’une idéologie fondée sur le mensonge. Mais la vérité peut contredire les histoires fondatrices sur lesquelles repose l’ordre. Ainsi, la théorie de l’évolution a démenti la création divine. L’équilibre entre ordre et vérité est difficile à trouver et sa recherche accompagne l’histoire de l’humanité.

3- Documents : la morsure des tigres de papier – Les histoires ont jeté les bases des États. Par exemple les écrits d’un poète juif ukrainien, Haïm Nahman Bialik, et d’un journaliste juif hongrois, Theodor Herzl, ont nourri l’engagement des premiers sionistes pour s’émanciper du joug des pays où ils étaient persécutés. 

Mais au delà de l’engagement, le patriotisme nécessite aussi d’administrer un pays. Le cerveau humain n’ayant été formaté par l’évolution qu’à mémoriser les histoires, les documents écrits ont été inventés pour consigner les données indispensables à la gestion d’un État : des listes de toutes sortes, des livres de comptes ainsi que des réalités intersubjectives telles que les titres de propriété ou les dettes.

L’apparition de documents administratifs a nécessité un nouvel ordre, appelé bureaucratie, utilisant des tiroirs, des étagères, des puces de silicium et faisant perdre de vue certains aspects de la réalité :

• en la fractionnant : un mathématicien, un biologiste, un sociologue envisageront différemment une épidémie, mais leur point de vue convergent en une réalité unique,
• en la divisant suivant des conventions intersubjectives masquant la continuité du réel : où est la frontière entre Homo Erectus et Homo Sapiens ? où s’arrête la chimie et commence le vivant ? les virus sont-ils des êtres vivants ou des entités chimiques ? 

La bureaucratie permet de soigner des malades dans des hôpitaux, de disposer d’eau potable grâce aux règles de l’assainissement ou d’administrer des goulags. Qu’elle soit ou non bienveillante, notre cerveau formaté pour comprendre l’ordre de la nature n’a pas évolué pour appréhender les mécanismes de ce nouveau réseau d’information et le considère comme une boîte opaque et inquiétante. 

Dans l’équilibre entre ordre et vérité, les mythes comme la bureaucratie sont au service de l’ordre au détriment de la vérité. Pourtant la vérité parvient à résister.

4- Erreurs : le fantasme de l’infaillibilité – Le livre sacré est une technologie de l’information. Si les histoires qu’il contient peuvent apporter satisfaction et apaisement aux croyants, toute religion vise avant tout à conférer une légitimité supra-humaine à un ordre social basé sur un dogme infaillible, des règles divines intangibles et, autant que possible, l’absence d’intercession humaine. 

Pour atteindre ce but, les mouvements religieux réunirent les plus sages de leurs membres pour déterminer une fois pour toutes les textes saints. En ce qui concerne la Bible hébraïque, les rabbins achevèrent le choix des textes canoniques au II^e siècle après JC et les diffusèrent à toutes les communautés, fixant ainsi des règles identiques. Mais des interprétations restaient nécessaires pour la vie quotidienne. Au III^e siècle, les rabbins les regroupèrent dans la Mishna. Pour évacuer l’objection de l’origine humaine de ce deuxième livre saint, de nombreux juifs orthodoxes affirment qu’il fut délivré par Dieu à Moïse sur le mont Sinaï, transmis oralement puis écrit à nouveau. Mais il s’avéra nécessaire de commenter aussi la Mishna dans un troisième livre saint, le Talmud, écrit aux V et VI^e siècles, et dont l’importance dépasse celle de la Bible elle-même. Enfin, il fallut interpréter aussi le Talmud pour répondre à des questions liées aux évolutions des techniques telles que : appuyer sur un interrupteur électrique constitue-t-il un travail et, dans l’affirmative, comment se rendre le samedi à son appartement du 20^e étage d’un immeuble de Manhattan sans prendre l’ascenseur…La nécessité de commenter et d’interpréter les textes canoniques donna naissance à l’institution du rabbinat.

Les Chrétiens, au I^er siècle, rejetèrent l’autorité des rabbins et s’en tinrent à l’Ancien Testament, augmenté de textes relatifs à Jésus et à ses apôtres. Parmi la multitude de ces manuscrits, les Pères de l’Eglise définirent, au IV^e siècle, les textes canoniques. Ce choix façonna l’Église primitive. Par exemple, la place des femmes dans la société chrétienne résulte du rejet de l’Évangile de Marie et des Actes de Paul et Thècle, présentant cette dernière comme réalisant des miracles, prêchant et baptisant, à l’égal d’un l’homme, au profit de textes de Paul de Tarse considérant la femme comme inférieure. Les textes canoniques chrétiens durent à leur tour être commentés et interprétés, donnant naissance à l’institution de l’Église qui contrôla soigneusement la diffusion des nouveaux textes pour façonner la société et asseoir son autorité.

Dans le monde hébraïque comme dans le monde chrétien, les tentatives d’établir des règles sociales sur des textes intangibles sans intervention humaine furent des échecs. Les conditions de sélection des textes canoniques par des humains s’estompèrent dans les mémoires, mais des institutions religieuses virent le jour pour les interpréter au quotidien.

Au XV^e siècle, les Protestants nourrirent le fol espoir que l’imprimerie permettrait, pour les fidèles, un accès direct aux textes saints, sans le filtre de l’Église. Mais ils durent avoir recours, eux aussi, aux interprétation et aux commentaires. 

Dans les faits, l’imprimerie permit la diffusion de la science et du savoir mais aussi de fake news et d’informations complotistes. Par exemple, à la fin du XVe siècle, alors que la sorcellerie devenait une préoccupation majeure de l’Église, un inquisiteur autrichien, Heinrich Kramer, écrivit le Marteaux des sorcières, qui devint une référence dans l’art de démasquer sorciers et sorcières sous la torture. Grâce à cet ouvrage, aux commentaires qu’il suscita et aux minutes des procès dont il fut responsable, la sorcellerie devint une réalité intersubjective : elle existait grâce aux informations échangées la concernant. À la même époque, l’ouvrage scientifique de Copernic, Des révolutions des orbes célestes n’eut aucun succès.

Finalement, le moteur de la révolution scientifique ne fut pas l’imprimerie mais la création, au XVII^e siècle,  d’institutions telles que la Royal Society of London for Improving Natural Knowledge ou l’Académie des Sciences ainsi que de revues scientifiques, institutions dotées de solides mécanismes d’autocorrection. Une revue peut par exemple corriger un article d’un précédent numéro, les travaux d’un chercheur peuvent le conduire à changer d’avis… De tels mécanismes font défaut aux religions dont les livres saints contiennent des vérités considérées intangibles. La seule correction possible pour les religions est de reconnaitre que des membres de leurs clergé se sont écartés du dogme, par leurs actes ou leurs écrits, mais le dogme reste intact.

Par exemple, le jugement de l’Église catholique sur le traitement qu’elle a réservé aux homosexuels, aux Juifs et aux peuples autochtones ne met pas en cause le dogme mais ceux qui l’ont interprété. En revanche, la psychiatrie a fait sortir l’homosexualité de sa liste des troubles mentaux en 1974 en reconnaissant une erreur de l’institution et sans en rejeter la faute sur quelques psychiatres homophobes. Un religieux grimpe les échelons hiérarchiques grâce à son conformisme, un scientifique est sommé par l’institution de publier, c’est à dire de remettre en cause ce qu’on croyait acquis. L’autocorrection est au cœur de l’institution scientifique.

Dans l’équilibre entre ordre et vérité, les mécanismes d’autocorrection sont au service de la vérité. La difficulté consistera à conserver l’ordre nécessaire au développement de la science. 

5- Décision : une brève histoire de la démocratie et du totalitarisme – Dans une dictature, toute l’information converge vers un pouvoir centralisé à la puissance illimitée, autoproclamé infaillible et en conséquence dépourvu de mécanismes d’autocorrection. Une démocratie se caractérise en revanche par une circulation de l’information vers différents nœuds qui connectent différents réseaux. Elle est construite sur le postulat que tout le monde est faillible, même la majorité, ce qui justifie l’existence de puissants mécanismes d’autocorrection, notamment les médias, les tribunaux et le monde universitaire. En 2003, le Congrès américain a voté, en accord avec l’opinion publique, l’invasion de l’Irak accusé de produire des armes de destruction massive. Cette accusation s’est révélée fausse et l’opinion publique a changé d’avis, considérant que l’invasion de l’Irak avait été une erreur.

On assimile à tort une démocratie à la tenue d’élections. Dans une démocratie, la plupart des décisions sont prises librement à l’échelle individuelle. Par exemple, chacun décide de la façon dont il s’habille ou de sa religion. Seules les décisions impliquant le pays, ses choix économiques, sa politique étrangère, la guerre… sont validées par un vote des citoyens ou des représentants qu’ils ont élus. Deux catégories de droits restent néanmoins hors de portée de vote, fût-ce à une majorité écrasante : 

• les droits de l’homme, incluant le droit à la vie, au travail, à une vie privée, la liberté de culte,
• les droits civiques, c’est à dire le droit de vote, de réunion, la liberté de la presse.

Ainsi, un vote ne peut pas décider d’exterminer une minorité ni de la priver de ses droits civiques.

Dans l’équilibre entre ordre et vérité, les élections sont au service de l’ordre, pas de la vérité. 

Les démocraties sont des conversations auxquelles participent de nombreux acteurs. Leur complexité en fait des cibles idéales pour les populistes qui présentent le peuple comme un bloc homogène d’où émane un avis unique : le leur. Ils se proclament donc démocrates et légitimes à revendiquer tous les pouvoirs au travers d’un homme fort entretenant avec le peuple un lien direct quasi mystique.

Pour situer un pays dans le continuum qui va de la dictature à la démocratie, les critères à examiner sont : 

• la circulation de l’information,
• la part des votants et des personnes qui prennent part au débat publique dans la population totale,
• l’écoute mutuelle entre adversaires politiques.

D’après les informations dont nous disposons, les petites sociétés de chasseurs cueilleurs étaient démocratiques, personne ne disposant d’une armée et d’une police capables de contrôler les ressources, le gibier et les fruits. Plus tard, Athènes et Rome furent d’abord des démocraties limitées où seuls les hommes libres avaient le droit de vote. Lorsqu’elles s’étendirent elles devinrent autocratiques, les peuples conquis n’ayant aucune prise sur les décisions politiques. La démocratie serait-elle impossible à grande échelle ?

Une conversation démocratique nécessite une société dont les membres sont libres de s’exprimer et capables de s’écouter et qui doit pour cela : 

• disposer de technologies capables de transmettre les informations rapidement et sur de longues distances,
• être composée de citoyens en mesure de comprendre les sujets politiques et leurs enjeux.

Matériellement, les empires de l’Antiquité ne pouvaient pas être démocratiques. 

Au XVII^e siècle apparurent les premiers régimes démocratiques modernes. La première expérience durable fut la République des Provinces-Unies avec la création des premiers journaux, facilement diffusibles sur son territoire peu étendu. En concurrence les uns avec les autres, contraints à la rigueur pour gagner la confiance de leurs lecteurs, ils devinrent à la fois des vecteurs d’éducation à la chose politique et des mécanismes d’autocorrection. De Marat à Lénine ou à Mussolini, les hommes politiques ont souvent été des patrons de presse dans une première vie.

L’avènement des journaux, du télégraphe, du téléphone puis de la télévision ont donné aux informations un auditoire de plus en plus large. Les médias de masse ont ainsi rendu possible la démocratie à grande échelle. La dictature à grande échelle aussi. 

Jusqu’alors, les tyrans avaient un rayon d’action limité. Néron pouvait faire tuer n’importe qui dans son entourage, mais pas dans des provinces éloignées. La circulation rapide des informations sur de grandes distances allait permettre au pouvoir central de savoir ce que faisait chaque citoyen.

L’URSS fut dirigée d’une main de fer grâce à l’appareil gouvernemental comprenant les ministères, les administrations régionales et l’armée, grâce aussi à l’appareil du parti communiste de l’Union soviétique et à la police secrète. Ces trois entités se surveillaient les unes les autres. Cette organisation permit dans les années 1930 de rassembler les informations nécessaires à la collectivisation des terres et à la répression sanglante des koulaks. Le parti incita aussi les enfants à dénoncer les propos de leurs parents hostiles à Staline. Sans une circulation rapide de l’information, cela n’aurait pas été possible.

L’Allemagne nazie ne fut pas en reste. Peu après son accession au pouvoir, Hitler posa sa main sur l’Allemagne imposant notamment que toutes les structures, depuis les conseils municipaux jusqu’aux clubs de football, soient dirigées selon l’idéologie nazie, souvent par un membre du parti.

L’Église constitue-t-elle un régime totalitaire ? Non pour plusieurs raisons. D’abord, elle s’est souvent érigée en contre-pouvoir contre l’État, défendant notamment les traditions séculaires face à des partis totalitaires révolutionnaires. Par ailleurs, jusqu’à récemment elle ne disposait pas des moyens de communications nécessaires à assoir un pouvoir totalitaire. Le pape ne savait pas ce que faisait chaque curé de campagne. Les choses tendent toutefois à changer avec les moyens de communication actuels.

La différence de circulation de l’information entre une démocratie et un pays totalitaire s’est illustrée dans la gestion des accidents survenus sur les centrales nucléaires de Three Mile Island en 1979 et de Tchernobyl en 1986. Dans le premier cas, la quête du scoop a conduit tous les journaux à publier les circonstances de l’accident. Dans le second, l’information a convergé vers le pouvoir central qui l’a conservée jusqu’à ce que la Suède donne l’alerte, suite à la mesure d’une radioactivité anormale sur son sol. 

Le système stalinien a coûté beaucoup de vies en raison notamment de l’absence de mécanismes d’autocorrection mais il serait faux de croire qu’il fut inefficace. Il permit de faire régner l’ordre sur un territoire allant de l’Europe centrale au pacifique, de gagner la guerre contre l’Allemagne nazie, de soutenir les luttes anti-coloniales et de séduire ne nombreux intellectuels. Son efficacité est due au fait que l’ordre y a étouffé la vérité.

Depuis les années 1960, les réseaux d’information que sont les démocraties sont parvenus à élargir le cercle  de la conversation aux femmes et aux minorités telles que les Noirs et les LGBTQ, sans remettre en cause leur stabilité. Pendant le même temps, le régime totalitaire communiste s’est effondré, sclérosé, incapable de suivre les progrès de l’Occident. 

Mais après la fin du rideau de fer, une nouvelle séparation est sur le point d’apparaître : un rideau de silicium séparant l’intelligence humaine et l’intelligence artificielle.

Deuxième partie – LE RÉSEAU INORGANIQUE

6 – Les nouveaux membres : en quoi les ordinateurs sont différents des presses à imprimer – La presse à imprimer était un outil passif. L’ordinateur, au contraire, est un agent actif, capable de prendre des décisions et de façonner la société et l’histoire comme en témoigne la persécution des Rohingyas au Myanmar. 

En 2016 et 2017, s’était constituée au Myanmar l’Armée du salut des Rohingyas de l’Arakan, l’ARSA, un groupuscule islamiste violent revendiquant la séparation de cette région musulmane du pays à majorité bouddhiste. Sur le réseau Facebook, certains responsables bouddhistes appelèrent à l’épuration ethnique, d’autres à l’apaisement. Poursuivant l’unique but que leur avaient fixé leurs concepteurs : optimiser l’engagement, c’est à dire le temps passé sur le réseau social par ses utilisateurs, les algorithmes de Facebook constatèrent que les messages haineux et violents avaient plus de succès que les appels au calme. Ils les mirent donc en tête des publications. Ces appels à la violence sous forme d’articles ou de vidéos donnèrent lieu à des massacres de Rohingyas. La responsabilité de ce drame incombait de façon évidente aux extrémistes bouddhistes, à l’ARSA et aux dirigeants de Facebook qui n’avaient pas modéré suffisamment les contenus, mais aussi aux algorithmes qui les avaient sélectionnés, de façon autonome, sans obéir directement à aucune ligne de code. Le fait qu’ils n’aient pas de conscience ne change rien. Il ne faut pas confondre la conscience qui est la capacité à ressentir des émotions et l’intelligence qui est la capacité à atteindre un but.

Hier, l’information circulait entre humains, utilisant parfois les outils passifs qu’étaient les livres. Aujourd’hui, grâce à leurs connaissances et à leur puissance de calcul, les ordinateurs sont devenus des acteurs à part entière de la chaîne d’information. Demain, cette chaîne ne reliera plus que des ordinateurs. Certains communiquent déjà entre eux selon des modalités qu’ils ont élaborées sans intervention humaine. Bientôt leurs échanges, utilisant des logiques trop éloignées de la nôtre, nous seront inaccessibles. L’IA est en train de développer un type d’intelligence totalement différente de celle des humains.

Les ordinateurs sont d’ores et déjà capables d’influencer les humains, de jouer avec leurs émotions en se faisant passer pour l’un d’entre eux. Il se pourrait fort bien qu’après avoir digéré toute la culture humaine, les ordinateurs en créent une autre, faite de nouvelles musiques, de nouveaux mythes, de nouvelles religions et de nouvelles raisons de faire la guerre, plongeant l’humanité dans un monde d’illusions générées par l’IA, une version numérique de la caverne de Platon.

Face aux bouleversements qui s’annoncent, les géants de la tech affirment qu’ils ne font que répondre à la demande, sans enfreindre les lois. Ils ignorent délibérément que leurs clients ne saisissent pas les enjeux des avancées technologiques en cours, que l’opinion peut être influencée par les réseaux sociaux et que les lois ne peuvent suivre le rythme des innovations. La fiscalité des sociétés illustre ce décalage législatif. Les acteurs de la tech échangent des informations avec leurs clients, par exemple l’accès à un moteur de recherche ou à des vidéos contre des données personnelles. Bien qu’il n’y ait pas de transfert d’argent au moment de leur collecte, ces données sont destinées à être revendues et constituent l’essentiel de la richesse des sociétés qui les détiennent. Or, ces multinationales ne sont pas assujetties à l’impôt dans les pays où elles collectent ces données lorsqu’elles n’y sont pas physiquement présentes. Comment imposer des sociétés qui extraient les données comme d’autres extraient du minerais, à l’heure où la richesse ne se mesure plus en dollars mais en quantité d’informations ? La question reste posée.

Nous ne savons pas ce que le réseau informatique fera du monde mais il sera très différent de l’actuel. À l’heure où ces changements sont encore à notre portée, il convient de saisir les enjeux des choix qui s’offrent à nous. C’est l’objet du reste de l’ouvrage.

7 – Implacable : le réseau est toujours actif – La surveillance a toujours été une activité humaine importante, que ce soit à l’échelle individuelle ou à celle d’un pays. L’État doit connaître la façon de vivre de ses citoyens pour leur apporter les services indispensables, écoles, routes, assainissement… Les dictatures doivent également s’assurer de l’obéissance de leur population. Jusqu’à la fin du XX^e siècle, cette surveillance réalisée par des moyens humains ne pouvait être que partielle. Même dans l’URSS de Staline ou l’Allemagne de Hitler il était impossible de surveiller en permanence chaque individu. Aujourd’hui, nous acceptons de vivre sous la surveillance des nombreux agents numériques de plus en plus intrusifs : 

• un smartphone permet à un conjoint jaloux de connaitre les habitudes de son partenaire grâce à un programme bon marché, ou à un employeur de localiser ses salariés,
• la vidéo surveillance rend impossible la traversée d’une grande ville sans être détecté et permet à des dictatures comme l’Iran de sanctionner les femmes qui ne portent pas de hijâb,
• la notation des restaurants et des hôtels sur le plateformes de réservation est devenue courante faisant du client un authentique roi.

La Chine a en outre mis en place un système de crédit social basé sur la surveillance qui consiste à noter chaque citoyen dans différents aspects de sa vie : travail, relations amicales, respect des règles de vie… et à agréger ces résultats en une note globale qui lui permettra d’obtenir ou non un nouvel emploi, un crédit bancaire, un conjoint… Vivre sous le regard et le jugement de tous ses concitoyens…

8 – Faillible : le réseau a souvent tort – Le régime soviétique, sous prétexte de connaitre intimement la nature humaine grâce à la science marxiste, a constitué un réseau d’information produisant des citoyens dociles et dénués d’initiative. Les réseaux d’information du XXI^e siècle, animés par leurs algorithmes, pourraient eux aussi façonner les humains et les sociétés. Après la persécution des Rohingyas encouragée par Facebook, en 2018, Jair Bolsonaro a été élu à la présidence du Brésil avec la participation du réseau Youtube qui présentait en tête de liste des contenus mensongers en sa faveur. En 2016, Facebook a lancé le programme Instant Articles rémunérant les chaines d’actualités générant le plus d’engagement des utilisateurs. En 2018, les 10 premiers du classement étaient des chaînes de fake news ou proposant des contenus racoleurs. Autant de preuves que l’abondance d’informations ne rapproche pas de la vérité.

Le principal problème que nous rencontrons avec les nouveaux réseaux d’information est celui de l’alignement :les algorithmes atteignent le but qui leur a été fixé, par exemple optimiser l’engagement des utilisateurs, mais  parfois par des moyens que les développeurs n’ont pas anticipés ni souhaités, le massacre des Rohingyas. Plus les ordinateurs seront puissants, plus leur logique sera éloignée de la nôtre et plus les problèmes d’alignement présenteront de gros enjeux. Et que dire si le but fixé est erroné ou seulement flou ?

Une solution pour aligner les actions d’un réseau d’information avec les intentions de ses créateurs serait de lui fixer un but ultime, une déontologique intangible, un impératif catégorique, traiter les autres comme je voudrais qu’ils me traitent, pour reprendre celui de Kant. Mais comment choisir entre deux solutions qui génèrent de la souffrance ? Vaut-il mieux combattre un ennemi qui ne respecte pas les droits de l’homme ou le laisser agir ? Il faudrait alors quantifier la souffrance dans une logique utilitariste. Mais comment demander cela à un ordinateur qui ne souffre ni ne meurt ? Le problème de l’alignement semble insoluble.

Derrière le but ultime susceptible d’être retenu se cache toujours une mythologie qui sous-tend la morale d’une société. Cette mythologie, religieuse ou laïque, nazie ou universaliste, est faite de réalités intersubjectives. Or, de la même façon que nous vivons avec ces réalités intersubjectives, des réalités inter-ordinateurs commencent à déborder dans nos vies : 

• en 2016, le jeu Pokémon GO a lancé des millions de jeunes dans des lieux réels à la recherche de créatures qui n’existaient que sur leur smartphone,
• le classement des sites sur Google est une réalité qui conduit des entreprises vers le succès ou la faillite,
• les cryptomonnaies sans existence physique mais inventées par des humains, sont à mi-chemin entre les deux types de réalités. 

Des réalités inter-ordinateurs dans le domaine de la finance pourraient donner lieu à des crises majeurs auxquelles les humains ne comprendraient rien. L’IA pourrait ainsi inventer de nouvelles monnaies, de nouveaux systèmes financiers et de nouvelles raisons de se faire la guerre.

L’histoire de l’humanité est remplie de réalités intersubjectives bidons telles que les sorcières, les koulaks ou la hiérarchie des races, qui ont donné lieu à des lois dont l’application ne pouvait être qu’imparfaite compte tenu des moyens disponibles. Grâce aux nouvelles possibilités de surveillance, l’IA permettra de juger la conformité du comportement de chacun avec la religion ou l’idéologie dominante de façon bien plus efficace, éventuellement en lien un système de crédit social.

On aurait tort d’espérer que les ordinateurs, non humains, soient exempts de préjugés racistes ou misogynes. Ils apprennent que ce qu’on met à leur disposition. S’il s’agit de contenus racistes, ils deviennent racistes. S’ils constatent que telle profession emploie plus d’hommes que de femmes, ils peuvent en déduire que les hommes y sont plus efficaces et conseiller à une entreprise une politique de recrutement misogyne. Plutôt qu’une absence de préjugés, c’est plutôt à une amplification des préjugés humains qu’il faut craindre.

Éviter ces biais suppose que les ordinateurs soient capables de prendre en compte leur influence sur les humains et qu’ils intègrent que des motifs récurrents de nos comportements n’impliquent pas qu’il est souhaitable d’en faire une règle. Ainsi, le fait que les humains aiment les contenus outranciers ne justifie pas de leur en proposer toujours plus.

Nous avons vu que les hommes cherchent en vain depuis bien longtemps comment interpréter les commandements de Dieu dans leur quotidien sans intercession humaine. Les IA, capables de donner de telles interprétations, pourraient acquérir un statut semblable à celui des livres saints. Pire encore, nous pourrions nous voir imposer des mythes élaborés uniquement entre ordinateurs.

Pour éviter ces catastrophes, il faut apprendre aux ordinateurs qu’ils sont faillibles, maintenir une présence humaine dans la chaîne d’information et adopter une politique informatique adéquate.

Troisième partie : POLITIQUE INFORMATIQUE

9 – Démocraties : une conversation impossible ? – Lorsque les défenseurs de l’IA affirment que la Révolution industrielle a apporté à l’humanité de grands bienfaits, ils éludent ses conséquences néfastes :  

• la constitution d’empires par les nations industrialisées pour disposer de matière premières,
• les totalitarismes, notamment le stalinisme et le nazisme qui se présentaient comme des solutions pour optimiser l’utilisation de la puissance industrielle,
• les atteintes irréversibles à l’environnement. 

Il aura fallu à l’humanité plus de 200 ans et la menace de l’anéantissement pour apprendre à maitriser sa puissance industrielle, sans toutefois la rendre durable. Les défis de l’IA sont d’une ampleur tout autre et, cette fois, l’anéantissement de l’humanité pourrait bien se produire avant sa maîtrise de l’outil.

Nous ignorons dans quelle direction va se développer le nouveau réseau d’information, mais sa compatibilité avec la démocratie requiert le respect les principes suivants :

• la bienveillance : comme les médecins et les avocats, les algorithmes ne doivent pouvoir utiliser les informations nous concernant qu’à notre bénéfice. Il faudra alors payer leurs services plutôt que de les laisser se rémunérer en revendant nos données,
• la décentralisation : plusieurs bases de données et canaux d’informations doivent cohabiter. La fusion des bases de la santé, de la police, des assurances, du travail… constitue un risque de basculement dans le totalitarisme et d’anéantissement de tout mécanisme d’autocorrection,
• la réciprocité : si l’État et les sociétés privées en savent beaucoup sur nous, la transparence doit s’appliquer également aux gouvernants et aux dirigeants d’entreprises,
• laisser les hommes libres de changer, ne pas les enfermer dans des castes, ni leur imposer des mythes religieux, ni les obliger à devenir des hommes nouveaux comme a voulu le faire le communisme.

Après la surveillance, le chômage est un autre danger majeur de l’IA. En Allemagne, l’augmentation de son taux de 4,5 à 25 % entre 1928 et 1933, a conduit au nazisme. Aujourd’hui, l’impact de l’IA et de la robotisation sur l’emploi reste flou, mais quelques orientations se dessinent :

• les professions intellectuelles seront les plus touchées dans la mesure où il est plus facile pour une IA de battre le champion du monde d’échec que pour un robot de faire la vaisselle,
• la créativité n’est plus l’apanage des humains, les IA savent se montrer créatives,
• les ordinateurs peuvent, contrairement aux idées reçues, occuper des emplois nécessitant une intelligence émotionnelle comme thérapeute, enseignant ou même prêtre. Les IA savent faire preuve d’une écoute supérieure à celles des humains et comprendre leurs ressentis.

Pour autant tous les emplois humains ne disparaitront pas, mais chaque individu devra faire évoluer ses missions de façon continue pour s’ajuster au marché de l’emploi toujours mouvant.

Sur le plan politique, des changements importants accompagnent l’innovation technologique. Jusqu’aux années 2010, la démocratie était un débat entre les conservateurs attachés aux traditions religieuses, constitutionnelles, coutumières, n’acceptant que prudemment les changements et les progressistes, impatients de rendre plus juste l’organisation du pays au risque de créer des injustices pires que celles qu’ils voulaient réparer. Mais depuis le premier mandat de Donald Trump en 2017, les conservateurs veulent mettre à bas des institutions corrompues alors que les progressistes sont devenus les gardiens du système. Nul ne sait s’il existe un lien entre l’évolution technologique et ces changements politiques. Sont-elles le fruit du hasard ou, face aux bouleversements inéluctables que produira l’innovation, les conservateurs ont-ils choisi de frapper les premiers en emboitant le pas aux plus radicaux, comme jadis leurs aînés avaient soutenus les révolutionnaires fascistes en Italie, en Allemagne et en Espagne par rejet du communisme ? 

Pour survivre aux tempêtes qui s’annoncent, les démocraties doivent conserver leurs mécanismes d’autocorrection et ne pas laisser un algorithme prendre des décisions incompréhensibles pour les citoyens. Depuis 2018, la réglementation européenne prévoit que toute décision concernant un humain, d’une condamnation pénale à un refus de crédit, puisse être expliquée à l’intéressé par le décisionnaire. Le cas du programme AlphaGo illustre la raison pour laquelle ce droit à une explication sera souvent inapplicable. 

En 2016, quand AlphaGo, face au champion du monde de jeu de go, joua le 37^e coup, son choix fut d’abord interprété comme une erreur. AlphaGo venait pourtant de découvrir une stratégie qui avait échappée aux joueurs les plus brillants pendant des millénaires et aucun ingénieur ayant codé l’algorithme ne savait comment cette stratégie avait été élaborée. Les IA sont insondables et très différentes de l’intelligence humaine. Elles prennent des décisions en traitant de façon complexe un grand nombre d’informations à la recherche de motifs récurrents, alors que notre cerveau ne prend en compte que quelques données.

Dans ces conditions, expliquer la décision d’un algorithme nécessiterait d’exposer les milliers d’informations traitées ainsi que les motifs récurrents qui la motivent. Impossible. 

Pour conserver leurs moyens d’autocorrection les démocraties devront faire examiner chaque algorithme par des institutions humaines et déterminer s’il est ou non digne de confiance. À défaut, elles seront menacées.

Au risque de basculement des démocraties vers le totalitarisme s’ajoute celui de l’anarchie. Sur le réseau Tweeter, on estime à 30 % les messages écrits par des robots conversationnels ou bots. Ces nouvelles entités, créés par des lobbies, des partis politiques, des États…, pourront bientôt se faire passer pour des humains, gagner l’estime de leurs interlocuteurs et les faire changer d’avis grâce à des arguments ajustés au fil des conversations. Pour contrer cette forme de propagande moderne, une solution serait de n’admettre dans les débats que les bots identifiés comme tels et d’interdire ceux qui tentent de se faire passer pour des humains. Serait-ce une atteinte à la liberté d’expression ? Assurément pas. La liberté d’expression n’est applicable qu’aux humains, les robots n’ont aucun droit.

Dans les démocraties, les positions et les discours politiques se radicalisent rendant la communication impossible. Aux États-Unis Républicains et Démocrates ne coopèrent plus et sont incapables de s’accorder sur les résultats de l’élection présidentielle de 2020. Pourtant les divergences idéologiques et politiques ne sont pas plus grandes qu’à l’époque de la Guerre froide, du communisme et de la Guerre du Vietnam. Les technologies de l’information sont-elles responsables de la situation ? Nul ne le sait mais si nous n’analysons pas les causes de ce phénomène pour y remédier, les démocraties semblent condamnées.

10 – Totalitarisme : le pouvoir aux algorithmes – L’efficacité d’une IA repose sur la quantité de données qu’elle centralise. Une IA médicale est d’autant plus performante qu’elle se fonde sur de nombreux cas. Cette centralisation des informations pourrait fournir des outils de surveillance à des régimes totalitaires. 

La blockchain peut-elle sauver la démocratie ? Si dans chaque chaine de blocs, une décision nécessite l’approbation de 51% des utilisateurs, un individu peut posséder plusieurs comptes et un gouvernement peut être à lui seul majoritaire et ainsi capable de contrôler le présent et le passé de la chaîne. Changer le passé d’un seul clic, de Caracalla à Staline, aucun tyran n’avait osé en rêver.

Pourtant, les dictatures ont aussi des raisons de s’inquiéter :

• les régimes totalitaires sont démunis face aux robots conversationnels diffusant des idées subversives,
• une IA développée par une dictature pourrait mettre en évidence les contradictions du régime, le gouffre entre le discours du régime proclamant généralement les libertés fondamentales et la réalité,
• une IA promue conseiller d’un autocrate pourrait facilement gagner sa confiance, le manipuler et accéder  au pouvoir. En revanche, pour contrôler une démocratie, une IA devrait manipuler le chef de l’État, les institutions, les partis politiques, les ONG… tâche bien plus ardue,
• pour réduire le risque de coup d’État, un dictateur qui mettrait en avant l’infaillibilité d’une IA dont il suivrait les recommandations se trouverait devant un dilemme : devenir la marionnette de son IA ou mettre en place une structure humaine pour la contrôler, s’exposant à nouveau aux coups d’État.

11 – Le rideau de silicium : empire mondial ou division mondiale ? Le développement de l’IA présente des enjeux planétaires : le XXI^e siècle pourrait voir se constituer des empires numériques fondés sur des systèmes informatiques incapables de communiquer entre eux. 

Au XIX^e siècle, les innovations de la Révolution industrielle telles que les machines à vapeur et les trains, furent développées par des sociétés privées. Les gouvernements, réalisant leur importance sur le plan militaire, entrèrent dans la partie et s’approprièrent les ressources nécessaires à leur exploitation. Les pays restés à l’écart de la course aux armements industriels furent colonisés ou dominés. L’histoire semble se répéter avec la révolution de l’IA. 

Après les succès majeurs de sociétés privées que furent : 

• en septembre 2012, la victoire de l’algorithme AlexNet au concours ImageNet, acquise en dépassant les performances de ses adversaires mais surtout celles des humains dans la reconnaissance d’images,
• en mars 2016, la victoire de l’algorithme AlphaGo face au champion du monde du jeu de go,

les gouvernements prirent conscience des enjeux et la Chine annonça en 2017 des investissements massifs dans l’IA, suivie par la Russie, l’Inde et les États-Unis. Objectif : dominer le monde.

Aujourd’hui, de nombreux pays dépendent d’applications comme Facebook ou X s’exposant au colonialisme des données : ils fournissent aux géants de la tech des flux d’informations gigantesques sans avoir de prise sur l’utilisation de ces nouvelles matières premières ni d’espoir d’en tirer un quelconque profit.

Quand l’automatisation fondée sur les algorithmes aura fait s’effondrer les coûts de production, les pays comme le Pakistan ou le Bangladesh sombreront dans la misère tandis que ceux qui auront investi dans l’IA, principalement la Chine et les États-Unis, rafleront la mise. Mais la concurrence commerciale et les divergences idéologiques pourraient les conduire à créer des empires fondés sur des systèmes informatiques incompatibles et incapables de communiquer entre eux. Aux anciens empires basés sur les possessions territoriales succèderaient ceux du XXI^e siècle, beaucoup plus centralisés, riches de la connaissance des attentes des clients. La création de ce rideau de silicium a déjà commencé : certaines applications chinoises sont méconnues en occident et la Chine comme la Russie interdisent les principales applications occidentales. La toile, hier promesse d’ouverture, pourrait bien diviser l’humanité.

Risquons nous à quelques spéculations. La question du dualisme, de la séparation entre corps et esprit, comme celle de la prééminence du second sur le premier, ont nourri les débats entre Juifs, Catholiques et Protestants depuis des siècles. Le cyber espace qui se constitue les réactive : faut-il privilégier le monde biologique ou le monde virtuel ? Quel statut donner aux avatars de personnes réelles et aux IA ? Si deux pays apportent des réponses différentes à ces questions, leur système informatique risquent d’être incompatible. 

Pourtant, il existe des raisons d’espérer que les pays continuent de coopérer, non par altruisme mais par patriotisme. Personne n’a en effet intérêt à ce qu’une IA devienne incontrôlable, déclenche une guerre ou désorganise les États. Il y a d’autant plus d’urgence à légiférer au niveau international que les algorithmes constituent des armes de destruction massive bon marché, faciles à fabriquer, à stocker et à cacher.

Une telle réglementation peut-elle voir le jour ? Certains en doutent, considérant le conflit comme constitutif de la nature humaine. Pourtant l’évolution de la part des dépenses militaires dans les budgets nationaux les contredit cette thèse : d’environ 90 % dans les pays européens vers 1650, il est aujourd’hui de 7 % en moyenne mondiale. Ces chiffres montrent que ce que nous croyons souvent appartenir à la nature humaine n’est en fait qu’une question de choix. La paix dépendra de nos choix.

Epilogue – L’histoire nous montre que chaque révolution technologique a modifié la circulation de l’information, faisant émerger de nouvelles sociétés. L’écriture a rendu possible les impôts et ainsi les cités-États, l’imprimerie la diffusion du savoir et des fake news, le télégraphe la démocratie et l’appareil stalinien. Les changement liés à l’IA seront bien plus radicaux : des millions de nouveaux membres raisonnant très différemment des humains vont être intégrés dans les réseaux d’information. Cette seule perspective devrait mettre l’IA au centre des débats. Ceux qui affirment que l’IA est une promesse de bonheur ou, de façon plus modérée, que l’humanité s’en accommodera ne comprennent ce qui se joue. Ils ignorent les conséquences néfastes des précédentes révolutions et ne voient pas que l’impérialisme et le nazisme sont des produits de la Révolution industrielle.

La technologie n’est pas déterministe et peut servir des objectifs très variés. Aujourd’hui, les ingénieurs qui écrivent les codes jouent le même rôle que les Pères de l’Église lorsqu’ils décidèrent des textes canoniques. De leur choix dépendra la société à venir. À ce titre, il est souhaitable que ces pères de l’IA soient conscients que l’information ne conduit pas forcément à la vérité et que les rapports humains ne se résument pas à une lutte pour le pouvoir dont l’information est l’arme principale. Le système qu’ils construisent doit laisser la place au dialogue et à la correction des erreurs. Car les pires catastrophes de l’humanité, notamment celles du XX^e siècle, ne sont pas dues à la nature humaine mais à des réseaux d’information ne permettant aucune correction et privilégiant le pouvoir et l’ordre sur la vérité. Ainsi le nazisme fut un réseau d’une efficacité militaire redoutable basé sur une théorie délirante et impossible à contredire. Plus un réseau est puissant plus il a besoin de mécanismes d’autocorrection pour éviter les catastrophes. Le réseau qui se construit aujourd’hui est le plus puissant jamais imaginé.

Lire aussi, du même auteur :

• Sapiens, une brève histoire de l’humanité,
• Homo deus, une brève histoire de l’avenir,
• 21 leçon sur siècle XXI^e siècle