Chronique n° 468 parue initialement dans France Catholique – N° 2223 – 22 septembre 1989
Copier le lien
Les progrès vertigineux de l’informatique et de la robotique finiront-ils par rendre caduque toute activité humaine ?1
Nous avons tous vu dans la presse et à la télévision quelques-unes des photos neptuniennes transmises par Voyager II, assorties d’explications vertigineuses. Des années de voyage. Des milliards de kilomètres. Des mondes si froids que l’azote est glacé.
Un détail surtout laisse pensif : la petite machine a transmis des connaissances auxquelles ses constructeurs n’avaient jamais pensé ; elle a répondu à des questions formulées par les astronomes longtemps après son départ, comme si entretemps elle avait acquis des pouvoirs nouveaux. Des pouvoirs qui semblent non plus mécaniques, mais humains2.
Ce miracle atteste les progrès de l’informatique, plus importants pour notre destinée que l’exploration d’une planète invisible à l’œil nu.
L’informatique évolue si vite qu’une des recherches les plus importantes de l’industrie des ordinateurs s’efforce d’évaluer le temps de validité de toute machine imaginable. Il ne suffit pas en effet qu’une machine soit capable de ceci ou cela : il faut d’abord savoir pendant combien de temps ses capacités resteront vendables. Souci vénal si l’on veut, mais aux prolongements métaphysiques, comme on va voir.
Le travail de l’ordinateur consiste à manipuler de l’information, quantité dénombrable. L’information mesure n’importe quelle opération logique, mathématique, numérique. Elle mesure l’ordre. Dans un livre récent qu’a bien voulu me signaler un éminent informaticien3 j’ai trouvé une intéressante figure. L’auteur porte en hauteur (ordonnées) la puissance des machines ayant successivement occupé le marché depuis le début de l’informatique jusqu’à ce jour ; en largeur (abscisses), de gauche à droite, il porte les dates. On constate que la date est le logarithme de la puissance, c’est-à-dire que, quand la date augmente de dix ans, la puissance est multipliée par dix : 1,2,3… unités de temps correspondent à 10, 100, 1000…
Sur la même figure on peut lire la variation du prix de l’information en fonction de la date. Là encore la variation est logarithmique mais dans l’autre sens : à chaque changement de date le prix est divisé par un nombre constant. À 1, 2, 3… correspondent 10, 1, 0,1…4
Résumé de la figure : la puissance ne cesse de se multiplier en même temps que le prix de se diviser.
Et voici où apparaît la métaphysique. L’ordinateur peut actionner un robot qui fait des choses d’autant plus complexes que l’ordinateur est plus perfectionné. Si le robot multiplie son habilité comme on vient de le voir en fonction du temps pour une dépense de plus en plus faible, il y a sur le marché une machine aux performances à peu près invariables qui tôt ou tard sera périmée par le robot : c’est l’homme5.
Le temps vient (et l’auteur du livre calcule une date) où le robot fera pour presque rien ce que l’homme ne pourra faire pour tout l’or du monde, parce que cela dépassera ses capacités. L’homme périmé ? (a)6
L’homme est déjà formidablement périmé7 pour le calcul – tout calcul, y compris et même surtout s’il implique des mathématiques compliquées – et pour la logique. Curieusement, ce qui en l’homme tient mieux la concurrence, c’est son corps. Mais l’auteur, lui-même chercheur en robotique à l’Institut Carnegie-Mellon, pense que les robots vont très bientôt se répandre dans le monde comme la télévision ou l’automobile. En prolongeant sa figure sur la droite il croit pouvoir déterminer la date où nulle activité humaine ne vaudra plus rien : vers l’an 2030. C’est demain.
Naturellement cette prophétie est révoltante. On n’y croit pas. À cela l’auteur répond qu’on peut ne pas y croire : la courbe, fait-il remarquer, n’en continuera pas moins de monter vers la droite en 2040, 2050… La descendance du robot, qui sera peut-être un environnement unifiant la planète, puis l’espace proche (quo non ascendam8), s’en ira multipliant toujours ses performances. De plus, dit-il, même s’il se trompe, c’est de peu, puisque la date n’est que le logarithme de la performance, qui double périodiquement. Bref, je ne vois aucune faille dans sa prédiction : elle ressemble à l’avenir de quelqu’un qui, en parfaite santé, serait en train de tomber d’un dixième étage9.
Tout en regardant défiler les étages, on peut continuer à réfléchir.
Quand il dit que les performances du robot doublent inexorablement avec les ans, par exemple tous les dix ans (les spécialistes disent plutôt tous les cinq ans ou même moins), de quelles performances s’agit-il ? Écrire le Bateau ivre, est-ce une performance ? Peut-on calculer la quantité d’information d’un Ave ? du chagrin de l’orphelin ? de la vision de Pascal ? L’éminent informaticien qui m’a signalé ce livre veut bien, depuis des années, discuter avec moi de ces questions. Maintes fois nous nous sommes rappelé le propos de Turing, l’un des pères fondateurs de l’informatique, interrogé sur ce que ne pourrait jamais faire un robot « il ne pourra jamais manger une tarte aux fraises »10.
Turing voulait dire non point la manger, mais y prendre plaisir. Turing posait le problème de la conscience ; le robot qui nous périmera pensera-t-il vraiment ?
À mon avis il pensera autant qu’un fer à repasser, mais cet avis n’est plus celui de l’auteur du livre. Page 180, il a dessiné un Descartes proférant sa célèbre « bulle » Cogito ergo sum, avec ce commentaire : « Un Descartes simulé (par la machine) déduit correctement son existence personnelle. Peu importe par qui ou quoi est faite la simulation, le monde simulé est complet en lui-même », affirmation qu’il juge inutile de démontrer11.
Plutôt que de discuter sans contradicteur l’idée de Moravec et de la plupart de ses collègues, j’en laisserai le soin au lecteur en précisant qui il est. Son curriculum donne une idée de qui pense quoi en 1989 sur la question de l’identité de l’homme.
Le Dr Hans Moravec dirige un des plus renommés départements de robotique américains à l’Institut Carnegie-Mellon. Il a collaboré et collabore encore à de nombreux programmes, notamment au Bureau de Recherche Navale (Office of Naval Research). L’un de ses programmes réalise des machines reproduisant les gestes du corps humain, surtout du bras et de la main.
« L’homme est intelligent parce qu’il a une main », disait Anaxagore de Clazomènes. Les robots de Hans Moravec sont très « intelligents ». Ils remplaceront avantageusement l’homme dans l’espace vers la fin du siècle, tant mieux pour nous. Naturellement ils sont capables de réaliser en un temps record d’innombrables tâches encore réputées naguère être le propre de l’homme.
« Que nul n’entre ici s’il n’est géomètre », avait écrit Platon au fronton de sa porte. Les fers à repasser pensants de Moravec12 auraient franchi la porte de Platon en se jouant, avec un sourire de fer à repasser. Je crois pourtant que le jardinier de Platon, interdit d’entrer, eût goûté le sel de la situation avec plus d’humour que les merveilleuses machines du Dr Moravec (a). Car « rire est le propre de l’homme ».
Et aussi révérer, espérer, aimer et tous les autres mouvements du cœur, dont on ne saurait se décharger sur aucun système expert13.
Aimé MICHEL
(a) Hans Moravec : Mind Children, the Future of Robot and Human Intelligence, Harvard University Press, Cambridge, Massachusetts, 1988.
Un mot de Carl Sagan peut être rappelé ici. On lui demandait s’il croyait que l’intelligence existât sur d’autres planètes : « Sur d’autres, je n’en sais rien. Sur celle-ci d’ailleurs non plus ».
Chronique n° 468 parue initialement dans France Catholique – N° 2223 – 22 septembre 1989
Notes de Jean-Pierre ROSPARS du 27 mai 2019
Comme le résume le chapeau éditorial, cette chronique traite d’un sujet troublant : le caractère bientôt caduc de toute activité humaine, euphémisme qui cache en fait la fin prochaine de l’humanité telle que nous la connaissons. La mise en ligne de cette chronique coïncide à quelques jours près avec le centenaire de la naissance d’Aimé Michel le 12 mai 1919. Cette coïncidence est heureuse parce que le sujet dont traite cette chronique est non seulement au cœur des méditations de son auteur mais aussi d’une grande actualité.
Depuis les années cinquante Aimé Michel n’a cessé de s’interroger sur la pensée humaine et non humaine, qu’elle soit infrahumaine (telle qu’on peut l’observer chez les animaux), suprahumaine (qu’on peut tenter d’appréhender par extrapolation du connu et, peut-être, par l’observation de faits de psychologie exceptionnelle, comme les calculateurs prodiges ou les expériences mystiques) ou parahumaine (qui est le domaine de l’intelligence artificielle). C’est ce dernier thème qui est illustré ici par la recension d’un ouvrage écrit par un roboticien américain de quarante ans, alors inconnu en dehors d’un cercle restreint de spécialiste. A. Michel fut sans doute le seul à en parler à l’époque en France. À la fin des années 80, époque déjà si lointaine, le sujet dont il traitait, le futur de l’intelligence des robots et des hommes, n’avait encore ni nom, ni statut. En France, il n’intéressait pas grand-monde : c’était, tout juste un thème de science-fiction, genre mineur méprisé des élites littéraires. Pourtant, Aimé Michel en parlait régulièrement depuis plusieurs années déjà et, dans plusieurs chroniques, soulignait son importance pour le futur matériel et spirituel de l’humanité.
Aujourd’hui, trente ans plus tard, l’ouvrage qu’il commentait est reconnu comme un classique. Son sujet porte le nom de « transhumanisme », et, depuis une dizaine d’années, tous les intellectuels s’en sont emparés. Ils ont multiplié les articles et les livres pour le présenter et le commenter sur tous les tons, de l’enthousiasme au dédain. Malgré tout, même si la plupart reconnaissent les possibilités offertes, il est bien rare qu’ils parlent de manière aussi claire et pertinente des promesses et de limites de l’intelligence artificielle. Aimé Michel avait le don très particulier de discerner parmi les tout premiers les faits porteurs d’avenir tout en évitant de tomber dans des conclusions faciles et prématurées. Cette seconde facette n’est pas moins remarquable que la première et je la développerai dans certaines des notes qui suivent. Je me limiterai au thème principal de cette chronique, l’intelligence et la conscience artificielles (ce sera l’objet des notes 10, 11 et 13), en laissant de côté les nombreux et passionnants problèmes posés par l’homme augmenté (voire immortalisé) et la superintelligence dont rêvent également les transhumanistes.
La sonde Voyager 2 lancée douze ans auparavant, le 20 août 1977, a survolé Neptune le 24 août 1989. Elle est entrée dans l’espace interstellaire en novembre dernier et se trouve à une distance de 115 unités astronomiques (UA, la distance Terre-Soleil). Deux heures après être passée au plus près de Saturne, le 25 août 1981, la plate-forme orientable supportant les instruments s’était bloquée. L’origine de la panne avait été comprise par les équipes responsables de la mission au Jet Propulsion Laboratory (JPL) et une solution trouvée impliquant une mise-à-jour du logiciel de bord. Mais, même sans panne aussi grave, de constantes adaptations sont nécessaires. Ainsi, Voyager 2 fonctionne toujours mais avec de moins en moins d’instruments actifs car il faut économiser l’énergie fournie par son générateur électrique. Cela pose des problèmes d’optimisation qui ne peuvent être résolus que par les équipes du JPL.
Le logiciel de bord initial écrit en langage machine aurait compté 3000 lignes de code (à titre de comparaison celui de la sonde MRO, l’orbiteur de reconnaissance de Mars, de 2005 en compte 545 000), logées dans les 4 Ko de la partie inférieure de la mémoire vive disponible (apparemment 64 Ko) (https://softwareengineering.stackexchange.com/questions/328608/code-development-process-for-voyager-mission). Les mises-à-jour de ce logiciel ont été constantes et effectuées tous les trimestres. La dernière d’importance a été faite en 1990, peu de temps après le survol de Neptune. Il s’agissait de rendre Voyager 2, ainsi que sa compagne Voyager 1, les plus autonomes possibles en raison de la difficulté de communiquer avec elles. Aujourd’hui, seule l’antenne de Canberra, la plus grande du « réseau de l’Espace profond » de la NASA, peut encore leur envoyer des messages.
En 2015, la NASA a annoncé le départ à la retraite de Larry Zottarelli, le dernier des ingénieurs informaticiens en charge depuis le début du programme Voyager au JPL. En conséquence, un poste était à pourvoir, mais avec une spécificité en apparence peu banale : il devait bien connaître des langages informatiques des années 50 à 70 comme le Fortran, le Cobol et les langages machine, peu utilisés de nos jours où ils ont été remplacés par C, Python et autres ! (En fait, le problème ne concerne pas que les vieilles machines comme Voyager, mais aussi les nouvelles, comme celles des banques dont les logiciels contiennent quantité de sous-programmes dont plus personne ne sait comment ils fonctionnent dans le détail). (https://www.popularmechanics.com/space/a17991/voyager-1-voyager-2-retiring-engineer/)
Cette figure du livre de Hans Moravec est effectivement très intéressante. Elle est fondée sur une comparaison détaillée des performances d’un échantillon de 67 calculateurs et ordinateurs aux technologies très diverses (mécanique, électromécanique, tube à vide, transistor, puce hybride, circuit intégré, microprocesseur) qui se sont succédé de 1900 à la fin des années 1980. Cette comparaison est difficile à faire, surtout pour des machines (la plupart) qu’on ne peut plus voir en fonctionnement. Moravec a dressé un tableau donnant pour chacune d’elles : sa date de production, son prix (exprimé en dollars constants de 1988) et ses quatre caractéristiques principales : la longueur des « mots » qu’elle utilise (en nombre de bits, 0 ou 1), la taille de sa mémoire (en nombre de mots), la durée d’une addition et celle d’une multiplication. Par ailleurs, il a établi une formule approximative qui résume ces quatre caractéristiques en un seul nombre, la puissance de la machine, à savoir le nombre de bits qu’elle est capable de traiter par seconde. Par exemple, un homme peut traiter 0,2 bits/s, les calculateurs mécaniques traitent 0,07 (1891, 100 000 $) à 0,8 (1938, 90 000 $) bits/s, ceux à tubes à vide vont de 60 kilobits/s (ENIAC, 1946, 3 millions $) à 1 mégabit/s (IBM 704, 1955, 8 millions $), un Apple II (1976, 6000 $) 2 Mbits/s, un IBM-PC (1982, 3000 $) 5 Mbits/s, un Sun-4 (1987, 10 000 $) 0,2 Gbits/s et un Cray-3 (1989, 10 millions $) 100 Gbits/s.
Plus intéressante est la puissance divisée par le prix (bits/s/$) des diverses machines car leurs points représentatifs se situent sur une courbe unique de forme exponentielle (qui devient une droite si on en prend le logarithme de la puissance). Sachant que la puissance par dollar passe de 10–6 bits/s/$ en 1920 à 1000 en 1980, un rapide calcul montre qu’elle a doublé tous les deux ans. On aura reconnu une loi empirique devenue classique sous le nom de loi de Moore (Aimé Michel en parlait déjà en 1971, voir chronique n° 50, mais avec un doublement tous les 5 ans seulement). Toutefois, la loi originelle formulée par Gordon Moore en 1965 portait sur la complexité des composants électroniques d’entrée de gamme, transformée par la suite en nombre de transistors par microprocesseur (cf. note 1 de la n° 50). Le calcul de Moravec est donc fort différent, et, bien sûr, beaucoup plus intéressant pour l’utilisateur.
Sur cette base, Moravec extrapole sa courbe jusqu’en 2030, en supposant que le doublement de puissance tous les deux ans se poursuivra au moins jusqu’à cette date. Qu’en est-il ? Pour le savoir, il suffit de rechercher une mise à jour de ses données. Celle-ci nous est obligeamment fournie par Max Tegmark dans un livre de 2017 (voir note 5). Malheureusement, elle utilise une unité de puissance différente, non les bits/s mais les flops, c’est-à-dire le nombre d’opérations en virgule flottante par seconde (en plus, l’année de référence pour la valeur du dollar n’est pas la même), ce qui rend difficile une comparaison directe des valeurs. Toutefois, la courbe de Tegmark montre clairement que le doublement de puissance tous les deux ans s’est maintenu de 1990 à 2015. Dans ces conditions, la prévision de Moravec en 1988, presque trente ans plus tôt, n’est pas un succès, c’est un triomphe !
Aux dernières nouvelles cependant, la loi de Moore accuserait un sérieux ralentissement ces dernière années, du moins en entrée de gamme, celle qui compte pour le prix calculé par Moravec. Certains disent qu’elle ne s’applique déjà plus (https://www.zdnet.fr/actualites/50-ans-de-la-loi-de-moore-l-industrie-va-t-elle-perdre-sa-roadmap-fetiche-39818586.htm). La taille des gravures est actuellement de 20 nanomètres (nm) et les physiciens ont calculé qu’en dessous de 5 nm, cela ne fonctionnerait plus à cause de l’effet tunnel, du moins avec du silicium. Mais d’autres matériaux permettraient de descendre à 1 nm, ce qui pourrait prolonger la validité de la loi de Moore. On verra bien…
Ici se situe un autre calcul de Hans Moravec, au moins aussi intéressant que le précédent : la détermination de la puissance de calcul du cerveau humain. Évidemment, il s’agit d’une tâche bien plus difficile que de comparer des ordinateurs entre eux, ce qui n’est déjà pas simple, tant sont grandes les différences entre un ordinateur et un cerveau. Malgré tout, Moravec propose une méthode pour y parvenir. Prenons, dit-il, comme référence une partie du cerveau dont on comprend suffisamment le fonctionnement pour être capable d’en estimer la puissance de calcul, puis extrapolons à l’ensemble du cerveau : on devrait obtenir un ordre de grandeur de la puissance de calcul du cerveau humain.
Comme fragment de cerveau, il prend la rétine de l’œil (ne soyez pas surpris : embryologiquement c’est bien une extension du cerveau). Il s’agit d’un réseau de neurones fort complexe formé de 100 millions de cellules photoréceptrices en entrée et d’un million de cellules ganglionnaires en sortie, interconnectées par des dizaines de millions de neurones intermédiaires. Ce réseau assure un premier traitement de l’image (détection de bords et de mouvements) dont le résultat est envoyé au cerveau proprement dit par le nerf optique. La partie centrale de la rétine, la fovéa, peut être assimilée à un capteur optique de 500 x 500 pixels capable de suivre des variations de luminosité se produisant jusqu’à 50 fois par seconde mais de distinguer des images seulement 10 fois par seconde. Moravec sait, par ses travaux en vision artificielle, que le type de traitement effectué par la rétine nécessite 100 opérations par pixel, donc 1000 opérations par pixel par seconde ou encore un milliard d’opérations par seconde (109) pour l’ensemble de la rétine (puisqu’il y a un million de neurones dans le nerf optique).
Le cerveau contient 1000 fois plus de neurones que la rétine dans un volume 100 000 fois plus grand. Moravec retient un rapport de complexité intermédiaire de 10 000 (104). Il en déduit que le cerveau entier peut réaliser 109 × 104 = 1013 opérations par seconde. Dans un article plus récent (2008, https://www.scientificamerican.com/article/rise-of-the-robots), il préfère le rapport le plus élevé (105), ce qui conduit à 1014 opérations par seconde, soit approximativement 1014 flops, ou encore en utilisant une unité mieux adaptée à ces grands nombres, 0,1 pétaflops (les informaticiens utilisent aussi le téraflops, 1012 flops et l’exaflops, 1018, en attendant le zettaflops, 1021). D’autres auteurs aboutissent à des estimations un peu plus élevées : 10 pétaflops (Kurzweil en 2005 dans son livre La Singularité est proche) ou 1 exaflops (Sandberg et Bostrom en 2008, http://www.fhi.ox.ac.uk/brain-emulation-roadmap-report.pdf).
Quoiqu’il en soit, la prédiction de Moravec qu’un superordinateur d’une puissance comparable à celle du cerveau humain serait atteinte dès 2010 (et dès 2030 pour un ordinateur personnel) n’est pas complètement invalidée. L’ordinateur le plus puissant du moment (mis en service à Oak Ridge en novembre 2018) atteint les 200 pétaflops. Autrement dit, il serait capable de simuler le fonctionnement du cerveau de 20 personnes selon Kurzweil et 2000 selon Moravec ! Pour autant a-t-on entendu parler d’un superordinateur à Oak Ridge ou ailleurs capable de se faire passer pour un humain ? Pas vraiment, ce qui montre pour le moins que la puissance de calcul brute n’est pas tout. Il est facile de comprendre pourquoi : il ne suffit pas d’être capable d’exécuter des calculs très nombreux et très vite, il faut aussi et surtout faire les bons ! Peut-être sera-t-il possible de réaliser un jour un robot de niveau humain avec un ordinateur de 1 pétaflops ou moins, mais nul ne sait quand. Bien d’autres recherches seront nécessaires pour utiliser intelligemment cette puissance de calcul.
Aimé Michel ne s’est pas trompé : Enfants de l’esprit. L’avenir de l’intelligence robotique et humaine est devenu un classique. Traduit en français sous le titre Une vie après la vie en 1992 chez Odile Jacob, il vient d’être réédité, preuve de sa durable influence, chez le même éditeur sous le titre L’avenir des robots et l’intelligence humaine, qui est à peu près le sous-titre de l’édition américaine. Je l’ai lu à l’époque, grâce à A. Michel, avec plus d’intérêt que de surprise car ce thème de l’ordinateur intelligent était depuis longtemps un lieu commun popularisé par des auteurs de science-fiction comme Isaac Asimov, Clifford Simak (n° 237, note 3), Arthur Clarke (n° 50, note 2) et des futurologues comme Robert Jastrow (n° 390 de 1984). Le principal mérite de Hans Moravec est de traiter le sujet de manière plus systématique, plus détaillée et plus étendue (il le lie aux interrogations sur les intelligences extraterrestres, sur l’avenir de l’intelligence à très long terme, etc.). Ce roboticien né en Autriche en 1948, ayant fait ses études au Canada, de nationalité canadienne mais résidant à Pittsburgh où il a créé une entreprise de robotique en 2003, est considéré comme un des inspirateurs des mouvements transhumaniste, posthumaniste et singulariste. Bien que les définitions varient suivant les auteurs, disons que les transhumanistes visent à augmenter les capacités physiques et mentales des humains, voire à les rendre immortels ouvrant ainsi la voie à une posthumanité. Quant aux singularistes, ils attendent la mise au point de l’Intelligence Artificielle Générale IAG de niveau humain, « la dernière invention que l’homme aura besoin de faire » selon le mathématicien britannique I. J. Good car elle se hâtera de s’améliorer elle-même sans limite (n° 50 de 1971) selon un processus qualifié d’« explosion de l’intelligence » et que les successeurs de Good comme Ray Kurzweil appellent la « Singularité ».
Les réflexions de Moravec ont été largement reprises et développées par la suite et nous en avons déjà abondamment parlé ici. Le physicien Frank Tipler a tiré les ultimes conséquences de cette artificialisation de l’intelligence en proposant sa Théorie du Point Oméga, inspirée de Teilhard de Chardin, où l’IA du lointain futur prend le contrôle de l’univers entier et atteint l’immortalité, l’omniscience et l’omnipotence (n° 424 et 425, note 5). Cette vision cosmique, dont la dimension religieuse est assumée et discutée, retourne cul-par-dessus-tête la théologie chrétienne et en réinterprète tous les termes, y compris le Dieu à venir (l’IA ultime) et la résurrection des hommes (car ils seront simulés à nouveau dans la quête d’omniscience de l’IA ultime). Ces mêmes accents eschatologiques se retrouvent chez Kurzweil, le prophète de la Singularité, par ailleurs membre de l’équipe dirigeante de Google, lui aussi matérialiste athée, du moins au départ, puisqu’au final existera un dieu dont l’homme sera un lointain ancêtre. Une partie de ces idées a été popularisée par Yuval Noah Harari, professeur à l’université hébraïque de Jérusalem, dans deux livres qui ont été des succès planétaires : Sapiens. Une brève histoire de l’humanité (Albin Michel, Paris, 2015) et surtout Homo deus. Une brève histoire de l’avenir (2017). Harari annonce l’apparition imminente d’une nouvelle espèce suprahumaine (Homo deus) aux pouvoirs augmentés et quasi-immortelle, mais comme seuls les plus riches des Homo sapiens pourront se payer ces améliorations, cela sapera tous les fondements de notre monde actuel. Une période transitoire s’ouvrira sous le signe de la cohabitation, d’une part de la nouvelle espèce humaine et de l’ancienne, et d’autre part des humains et de l’IAG, bien que Harari semble pencher pour la disparition à terme d’H. sapiens.
Pendant longtemps ces idées ont été ignorées des gens sérieux qui les tenaient pour de la pure science-fiction mais, depuis 2010 environ, les choses ont commencé à changer. Cette prise de conscience résulte sans doute de l’intrusion des technologies de l’information dans la vie courante, des succès de l’IA, de la convergence des nanotechnologies, biotechnologies, informatique et sciences cognitives (NBIC) annoncée dès 2002 par la National Science Foundation américaine, de l’influence croissante des transhumanistes sur les recherches menées aux États-Unis, notamment dans la Silicon Valley (par exemple, Google a fondé en 2013 Calico, une société de biotechnologie dont la mission est de « Tuer la Mort »). Il en est résulté une floraison de livres et d’articles (une recension de 2015 cite une vingtaine d’ouvrages, https://iatranshumanisme.com/wp-content/uploads/2015/11/la_croix_1375477-comment-le-transhumanisme-percute-la-foi-chrc3a9tienne.pdf) amplifiée par l’extraordinaire bouche-à-oreille qui a assuré le succès des livres d’Harari en France et dans le monde.
Aimé Michel, s’il avait vécu assez longtemps pour la voir, se serait certainement réjoui de cette évolution et s’en serait fait l’écho pour au moins deux raisons. La première est que les idées ainsi véhiculées, importantes sinon vitales pour l’avenir de l’humanité, demeuraient confinées à des cercles restreints à l’époque où il en parlait, dans les années 1970-1990, alors qu’elles intéressent aujourd’hui un large public. La seconde est que cette évolution manifeste avec éclat le « retour en force des grandes questions » philosophiques et métaphysiques (« Ces problèmes sont clairement ressentis comme étant de nature philosophique ou même religieuse par les savants qui n’hésitent pas à le dire et à l’écrire. » écrivait-il en 1971, n° 26), ce qu’il saluait d’autant plus que ces grandes questions avaient été alors abandonnées par la plupart des philosophes et des théologiens.
Les choses ne semblent guère avoir changé depuis trente ans puisque le philosophe Vincent Citot, enseignant à l’université Paris IV, relève, dans une excellente recension d’Homo deus, que « l’ouvrage ne se trouve pas au rayon philosophie, n’est pas (peu) recensé dans les revues de philosophie, ne fait pas (peu) l’objet de débats au sein de la communauté des philosophes institués. Bref, tout porte à croire qu’il n’intéresse pas ces derniers » alors qu’il s’agit d’un livre de philosophie qui « devrait, par sa qualité, être au cœur des débats philosophiques contemporains » car il est « une belle occasion de voir reformulées d’une façon originale quantité de vieilles questions philosophiques : comment penser le vivant et la singularité de l’homme ? Celui-ci est-il libre ? Quelles sont les conditions dans lesquelles le régime démocratique est viable ? Faut-il préférer le bonheur et/ou le plaisir à l’autonomie individuelle ? Et bien d’autres interrogations d’importance concernant l’essence du phénomène religieux et sa différence avec la recherche spirituelle, la possibilité d’une dissociation conscience-intelligence, le caractère métaphysique des “droits de l’homme” et de la sacralisation de la nature humaine, les illusions relatives à l’unicité de l’individu conscient, les limites de la réflexivité pensante, le sens de l’histoire, la menace totalitaire, le sens de la vie, etc. » (http://www.implications-philosophiques.org/actualite/recension-homos-deus-de-harari/).
Vastes sont les questions posées et rares les auteurs capables de les discuter avec la hauteur de vue nécessaire dans un monde, comme le dit Vincent Citot « où la culture scientifique reste indigente chez nombre d’intellectuels et de décideurs et où l’avenir est sacrifié aux impératifs du court terme » (op. cit.). Dans l’abondante littérature sur le transhumanisme que j’ai lue ou feuilletée, outre les livres que j’ai déjà cités, deux ont plus particulièrement retenu mon attention. Le premier, du physicien Max Tegmark, La vie 3.0. Être humain à l’ère de l’intelligence artificielle (trad. J. Bambaggi, Dunod, Paris, 2018), est le point de vue d’un acteur du domaine. Il fait le point de ce qui s’est passé depuis Moravec et offre un panorama assez complet de l’état de l’art en matière d’intelligence artificielle (IA), de ses bases scientifiques (il tient compte des travaux des neurobiologistes mais beaucoup moins des psychologues expérimentaux), des conditions de l’accession de l’IA à la conscience, et des opinions et débats qui prévalent à ce sujet chez les spécialistes concernés. Il présente les espoirs et les craintes que suscite une IA capable de bouleverser l’économie et la société, et surtout une IAG consciente susceptible d’échapper à la volonté de l’homme et de poursuivre ses propres fins. Tegmark ne nourrit guère de doute sur l’avènement prochain de l’IAG mais il exerce un recul critique de bon aloi, tout en sous-estimant, à mon avis, les difficultés techniques de réalisation d’une IAG de niveau humain et plus encore les incertitudes métaphysiques relatives à une IAG consciente (je m’en explique ci-dessous).
Le second livre utile pour réfléchir à ces questions, Humain. Une enquête philosophique sur ces révolutions qui changent nos vies (Flammarion, Paris, 2012) par la journaliste Monique Atlan et le philosophe Roger-Pol Droit, est complémentaire du précédent. Cette « vue de l’extérieur », construite autour d’entretiens avec cinquante personnalités de tous pays et de toutes disciplines, a le mérite de préciser la genèse historique des idées transhumanistes, d’en fournir une synthèse claire et bien informée, et de les accompagner d’une réflexion critique.
C’est le thème de la chronique n° 438, Vers l’homme périmé. Rappelons à ce propos que le titre de l’avant-dernier chapitre du livre Profil du futur d’Arthur Clarke (Encyclopédie Planète, Retz, Paris, 1964, l’édition originale est de 1962) s’intitule « Désuétude de l’homme ». On y trouve à peu près toutes les prophéties des transhumanistes (mais, bien sûr, pas tous leurs arguments) et leur lyrisme prométhéen : « Aucun individu n’est éternel ; pourquoi vouloir que notre espèce soit immortelle ? L’homme, disait Nietzsche, est une corde tendue au-dessus de l’abîme, entre l’animal et le surhomme. Ce sera là un noble but à atteindre. » (p. 245) ou encore à propos de nos descendants : « Ils ne seront pas semblables à des dieux, car aucun dieu enfanté par notre esprit ne posséda jamais les pouvoirs qu’ils auront. Mais à cause de cela même ils nous envieront peut-être, car nous avons connu l’Univers dans son printemps. » (p. 250).
Où ne monterai-je pas ? comme la sentence latine vise les excès de l’ambition, elle est à prendre au propre et au figuré.
Cette comparaison se trouve déjà dans la chronique n° 91, La fin de la nature humaine ? – Un avenir impensable : l’homme va changer de nature et devenir un autre être (1972) : « Nous sommes comme le maladroit qui, dégringolant d’un gratte-ciel et constatant que jusque-là tout va bien, pense : “Pourvu que ça dure !” »
Dès ses premières chroniques dans FC, Aimé Michel parle des travaux d’Alan Turing, de son fameux test, et de ce qu’il appelle le « paradoxe de Turing » à savoir qu’un ordinateur « imitant l’intelligence humaine ne pourrait donner l’illusion complète de cette imitation qu’au prix d’un mensonge, puisqu’elle devrait s’affirmer consciente d’elle-même, ce que nous saurions pertinemment être faux. Elle mentirait, mais nous ne pourrions jamais le démontrer ! » (n° 38 de 1971). Il s’ensuit qu’un ordinateur ne pourrait en aucun cas apprécier vraiment une tarte aux fraises même si on la munissait de tous les capteurs nécessaires (n° 181 de 1974). Il est revenu plusieurs fois sur ces deux points : le mensonge et l’impossibilité de le prouver, tant il donnait à cet argument une place centrale : n° 26 (mars 1971, note 3), 27 (avril 1971), 102 (juillet 1972, note 2), 126 (janvier 1973), 234 (janvier 1976), 255 (septembre 1976), 273 (février 1977, note 5), 278 (mars 1977, notes 1 et 3), 397 (février 1985), 400 (avril 1985).
En fait, Turing mentionne cette objection des fraises à la crème dans un de ses articles fondateurs mais ne s’y arrête pas, même s’il reconnait qu’il existe un mystère de la conscience (voir discussion en note 5 de la n° 181). Ses successeurs font de même, mais sans concéder le mystère. Ainsi, selon une hypothèse que nous avons déjà évoquée (note 5 de n° 234), Max Tegmark admet que la conscience apparait (« émerge ») dans tout système physique capable de traiter suffisamment d’informations de manière intégrée et indépendante du reste du monde. « Je pense, écrit-il, que la conscience est la façon dont l’information ressent quand elle est traitée selon certaines modalités » (p. 366, c’est moi qui souligne). Le substrat physique de la conscience est secondaire. Il existe d’autres exemples de structures indépendantes du substrat physique, comme les ondes, les mémoires et les calculs. Par exemple, « la simulation future d’un esprit ou le personnage d’un jeu vidéo n’ont aucun moyen de savoir s’ils fonctionnent sous Windows, Mac OS, Android ou sous quelque autre système d’exploitation, parce qu’ils sont indépendants de leur substrat. Ils ne sauraient pas plus dire si les fonctions logiques de leur ordinateur sont faites de transistors, de circuits optiques ou de tout autre hardware. Ils n’auraient également pas la moindre idée de ce que sont les lois fondamentales de la physique – elles pourraient être n’importe quoi permettant la construction d’ordinateurs universels. » (p. 365).
Pourquoi pas ? Seulement voilà : ce n’est qu’une hypothèse, et ni Tegmark ni personne ne propose de moyen de la vérifier. Moravec évoque brièvement ce point dans son article du Scientific American cité plus haut : « La question fondamentale, note-t-il, est de savoir si la structure et le comportement biologiques résultent entièrement des lois physiques et si, de plus, les lois physiques sont calculables, c’est-à-dire peuvent être simulées par ordinateur. Mon point de vue est qu’il n’y a aucune preuve scientifique valable pour nier l’une ou l’autre de ces propositions. Au contraire, il y a des indications convaincantes que les deux sont vraies. » L’argument est intéressant mais ne peut démontrer l’hypothèse de l’équivalence de la conscience avec un traitement de l’information.
L’affirmation « Peu importe par qui ou quoi est faite la simulation » (on aura reconnu l’hypothèse de Tegmark présentée dans la note précédente) n’est effectivement pas démontrée, ce qui parait difficile à faire. Malgré tout, Moravec détaille une expérience de pensée qui joue peut-être ce rôle (pp. 109 et suivantes). Elle postule qu’il est possible, d’une part, d’imiter parfaitement le fonctionnement des neurones du cerveau à l’aide de micromachines comme les nanotechnologies en produiront bientôt, et d’autre part, d’analyser avec suffisamment de précision le fonctionnement des neurones, par exemple en termes d’entrées synaptiques et de sortie axonique, pour pouvoir les remplacer par leurs équivalents artificiels. Dans l’opération décrite par Moravec, le remplacement est fait progressivement, si bien que le patient est à même de vérifier à chaque étape que la substitution des neurones artificiels aux neurones originaux se produit sans altération de sa conscience. À la fin de l’opération, le cerveau est éliminé et le corps aussi : « votre esprit a été retiré du cerveau et transféré à la machine » et vous voilà dans « un nouveau corps brillant du style, de la couleur et du matériau de votre choix » !
Même si cette opération est totalement irréalisable dans l’état actuel de nos connaissances, il ne fait guère de doute que nombre de scientifiques n’ont pas d’objections de principe à lui opposer. Dire cela c’est admettre implicitement l’hypothèse de Moravec que le neurone ne met en œuvre que des lois physiques connues et celle de Tegmark et autres sur l’équivalence de la conscience avec une information circulant de manière appropriée. Par là même, c’est admettre également la possibilité de transférer son esprit sur un disque dur. Sous cette forme, l’hypothèse a au moins un avantage : elle devient vérifiable, (du moins en principe), pour l’individu qui consent à l’opération, si du moins elle marche !
Toutefois il ne faut pas négliger l’hypothèse alternative, à savoir que l’opération ne marche pas pour la simple raison que les neurones artificiels utilisés se révèlent incapables d’imiter correctement le fonctionnement cérébral. Cela signifierait que les neurones biologiques ont d’autres propriétés que celles prises en compte dans leurs imitations et fonctionnent suivant des principes encore en partie inconnus.
Qu’est-ce que cela change, objectera-t-on : comme le cerveau est un objet matériel, ne finira-t-on pas par en découvrir tôt ou tard tous les principes encore inconnus et par en fabriquer une imitation parfaite, au même titre qu’un rein ou un cœur ? J’admets l’objection, mais prouve-t-elle que la conscience n’est que de l’information traitée dans le cerveau ? Pas vraiment, car elle laisse encore ouverte la possibilité que la conscience ne soit pas créée par le cerveau (par simple traitement et circulation de l’information) mais reçue ou transformée par celui-ci. On sortirait alors du cadre physicaliste, seul envisagé par Moravec et Tegmark, pour entrer dans un tout autre cadre métaphysique.
L’expression « fers à repasser pensants » est déjà utilisée dans la chronique n° 434, Ce que dit le fer à repasser.
Pour les partisans de l’intelligence artificielle forte, comme Moravec, Kurzweil, Tegmark et autres, l’intelligence et la conscience émergent l’une et l’autre d’un traitement adéquat de l’information. On peut admettre (à une réserve près que je vais indiquer) que l’intelligence repose sur des fondements purement logiques et qu’elle est en principe, simulable par une machine, mais cela n’a rien d’évident pour la conscience (les « mouvements du cœur » dit A. Michel), dont la nature est différente et d’un autre ordre, Aimé Michel est souvent revenu sur ce point (n° 234, note 5 ; n° 278, note 1 ; n° 395, note 7). La conscience est mystérieuse, même si le recours à l’« émergence » par les partisans de l’IA forte tend à le masquer.
La distinction de l’intelligence et de la conscience n’est pas nouvelle. On la trouve notamment chez Pascal, un des penseurs qu’Aimé Michel a le plus médités. Un texte cité et commenté par Francis Volle dans son article « Cœur et raison chez Pascal » (https://www.france-catholique.fr/Coeur-et-raison-chez-Pascal.html), où Pascal appelle l’intelligence « raison » et la conscience « cœur », explique bien ce dont il s’agit : « Nous connaissons la vérité, non seulement par la raison mais encore par le cœur ; c’est de cette dernière sorte que nous connaissons les premiers principes, et c’est en vain que le raisonnement, qui n’y a point de part, essaye de les combattre. (…) Le cœur sent qu’il y a trois dimensions dans l’espace, et que les nombres sont infinis ; et la raison démontre ensuite qu’il n’y a point deux nombres carrés dont l’un soit double de l’autre. Les principes se sentent, les propositions se concluent ; et le tout avec certitude, quoique par différentes voies. (…) Plût à Dieu (…) que nous connussions toute chose par instinct et par sentiment ! Mais la nature nous a refusé ce bien ; elle ne nous a donné au contraire que très peu de connaissances de cette sorte ; toutes les autres ne peuvent être acquises que par raisonnement. » (Le Guern, 101 ; http://www.penseesdepascal.fr/Grandeur/Grandeur6-moderne.php).
L’intelligence n’est ni tout entière dans la raison ni absente du cœur, car, comme l’écrit Jacques Chevalier cité par Francis Volle, le cœur est « la partie la plus haute » de l’intelligence. Si cette vue est exacte, si le cœur est d’un autre ordre que la logique, si l’intelligence humaine n’est pas une fonction purement logique mais une combinaison indissociable de raison et de cœur, alors le super-ordinateur de la Singularité, transcendant l’homme en matière de pure logique et de traitement de l’information, restera un infirme, incapable de rire et de pleurer, d’espérer et d’aimer, tant il est clair que ces sentiments relèvent d’abord de la conscience, bien que la logique n’en soit pas absente. Bien sûr, il sera toujours possible de mimer les sentiments par des opérations algorithmiques puisqu’on connait leurs conditions d’apparition et leurs manifestations chez l’homme ; il sera même possible de boucler en retour ces manifestations extérieures pour modifier en quelque manière les opérations algorithmiques qui leur ont donné naissance, peut-être au point de tromper des observateurs avertis. Mais sans conscience, c’est-à-dire sans la contrepartie éprouvée de plaisir et de peine, de crainte du danger et de peur de la mort, il n’y aura là que simulacre et le cœur de l’IAG restera désespérément vide.
Cette idée a une conséquence intéressante : se pourrait-il que, malgré ces simulacres, le comportement de l’IAG manifeste des faiblesses visibles qui trahiront son manque d’intériorité, en termes d’autonomie et de finalité notamment ? Tegmark consacre tout un chapitre à examiner la question des buts. Il y explique que « l’origine du comportement orienté vers un but [observé chez les organismes vivants] remonte aux lois de la physique qui semblent doter les particules de l’objectif de s’organiser pour extraire l’énergie de leur environnement aussi efficacement que possible » (il fait allusion ici à un résultat récent de la thermodynamique). De même, selon lui, les machines peuvent avoir des comportements orientés vers un but « puisque nous les avons conçues ainsi ». Finalement, « l’intelligence étant la capacité à réaliser des objectifs, une IA superintelligente y sera, par définition, bien plus efficace que nous (…). Si vous voulez vérifier tout de suite en quoi une machine peut réaliser ses objectifs mieux que vous, téléchargez la version dernier cri d’un logiciel de jeu d’échecs et essayez donc de le battre : vous n’y parviendrez jamais (…) » (p. 314). Est-il légitime d’assimiler le but (inconscient) poursuivi par un missile à tête chercheuse ou par un programme d’échecs au but poursuivi par une conscience humaine ? Il y a ici un exemple de plus d’assimilation subreptice d’une expérience subjective à une propriété objective (voir note 8 de n° 434 ). Il est donc légitime de douter qu’une IA supposée de niveau humain ou supérieur mais dépourvue de conscience puisse avoir des buts propres, autres que ceux que nous lui aurons assignés ou qui s’en déduisent. Cela dit, je ne reproche pas à Tegmark de réfléchir au scénario inquiétant de la machine se retournant contre son créateur (comme dans 2001, Odyssée de l’espace) car cela pourrait se produire pour des raisons de pure logique (sans conscience donc), si bien que le problème « d’aligner les buts de l’IA sur les nôtres » se pose en tout état de cause.
Admettons un instant que la conclusion soit qu’on ne puisse pas avoir d’objectifs sans conscience. Alors s’ouvrirait la possibilité de mettre en défaut le test de Turing car la machine finirait peut-être au bout d’un certain temps par manifester son absence de finalités propres (personnelles). Ce serait une avancée d’autant plus intéressante qu’elle serait susceptible de poser à frais nouveaux le problème des bases physiques de la conscience chez l’espèce humaine et, très probablement, bon nombre d’autres espèces, et à terme la réalisation de « machines » conscientes mais qui ne seront pas fondées sur la seule logique.
Elle aurait également une autre conséquence, au moins transitoire, contraire aux attentes des Singularistes qui pensent pouvoir se passer rapidement des hommes : celle de justifier une symbiose ou une coévolution des machines intelligentes et des hommes, ces derniers seuls pouvant proposer des buts véritables.
