On connaîtra la Loi de Croissance des aigles

Raymond Kurzweil (né en 1948) n'aurait sans doute été qu'un ingénieur et inventeur assez mineur (il a surtout développé des machines de reconnaissance optique de caractères) s'il ne s'était converti en Technomessie du Progrès cybernétique en lançant (à peu près en même temps que le mathématicien et auteur de science fiction Vernor Vinge, et à la suite du statisticien britannique Irving John Good) le concept de la Singularité, progrès exponentiel de l'Humanité qui s'accélérerait notamment quand les objets techniques (les machines) pourraient s'améliorer par elles-mêmes.

Le mois dernier, le Paresseux à trois orteils s'est amusé sur le critère de "La" Singularité comme Point d'inflexion, qui selon le critère est prévu pour La Décennie Prochaine (Kurzweil annonce maintenant les années 2020) ou bien comme ayant déjà eu lieu il y a plus d'un siècle avec la Révolution Industrielle (sans doute depuis que Samuel Butler a extrapolé un algorithme d'évolution vers les machines dès 1863 !).

Tout le courant "singularitarianiste", "transhumaniste" (et "extropien") continuait à ma connaissance à ne pas intéresser vraiment la plupart des philosophes universitaires de profession alors qu'il attire tout un fatras philosophique ou idéologique parfois assez hétéroclite (une alliance d'un scientisme pragmatique et d'une sorte de millénarisme gnostique où la Technique prométhéenne va nous arracher à ce monde matériel). Des philosophes qui s'y adonnent comme "FM 2030" (né Fereidoun Esfandiary), "Max More" (né Max O'Connor...), David Pearce (qui base tout son utilitarisme sur la finalité d'éradiquer toute souffrance), Nick Bostrom ou Russell Blackford peuvent donner l'impression d'une "idéologie" quasi-religieuse, d'un discours ou d'une croyance pleine d'espérance qui ne relève pas entièrement d'une analyse proprement philosophique (si on croit que la philosophie religieuse est en réalité un "cercle-carré" et qu'on peut à peu près séparer un critère pour les deux catégories de discours).

Mais cela pourrait commencer à changer avec ce symposium sur la Singularité organisé par le néo-dualiste David Chalmers autour de son propre long article The Singularity: A Philosophical Analysis (56 pages), avec quelques philosophes célèbres dans les réponses (dont le fonctionnaliste Block, le matérialiste Churchland, Dennett ou l'adversaire de l'IA Dreyfus).

David Chalmers a une position particulière dans le débat puisque il croit que la Conscience ne peut pas être réduite à un processus physique qui l'accompagne (Dualisme des propriétés) mais qu'il est naturaliste (la Conscience est quand même une propriété "naturelle" sui generis, et non celle d'une autre substance séparée soustraite à l'étude de toutes nos sciences) et qu'il défend même le programme fort en IA (que les Machines pourront un jour penser et être intelligentes). D'habitude, la plupart des adversaires du physicalisme étaient aussi opposés à cette idée d'Intelligence artificielle, matérialisme et "mécanisme" étant liés.

Ici, Chalmers classe surtout les arguments disponibles et les diverses objections possibles, même s'il ne cache pas sa sympathie pour la possibilité réelle de la Singularité. Chalmers a un véritable talent pour la taxonomie et il est sans doute le meilleur pour faire un bilan "dialectique" au sens aristotélicien de ce terme (c'est-à-dire de recenser toutes les options et sous-arguments).

Les effets éthiques et pratiques de la Singularité sont particulièrement fascinants. Si Kant avait raison que la rationalité doit nécessairement conduire à un ensemble de valeurs pratiques (une même loi universelle de l'Universalité), alors les IA ultraintelligentes devraient aussi demeurer dans un cadre moral. Mais si ce n'est pas le cas et que Hume a raison de penser (comme le consensus éthique anti-cognitif actuel) que la rationalité est indépendante des motivations morales, ces Nouveaux Dieux sortis des machines seraient aussi "post-moraux" et amoraux (ce qui n'est pas nécessairement désastreux ou lovecraftien s'ils nous délaissent ensuite pour aller contempler d'autres objets plus dignes de Leur intérêt). La seule précaution possible serait que ces IA+ aient reçu des contraintes morales ad hoc (comme les trois Lois de la Robotique asimovienne, par exemple), mais je ne vois pas bien comment ils y seraient limités dès qu'ils peuvent se modifier.

Un des arguments les plus amusants du point de vue "pratique" est ce que Chalmers appelle la "Singularité hermétique" (Leakproof Singularity). Il s'agirait du projet de confiner d'abord des Ultra-IA dans une réalité virtuelle pour simuler leur comportement avant de les autoriser dans la réalité. Je ne comprends pas comment cela règle des problèmes d'amorçage (bootstrap) pour émuler cette IA virtuellement sans une ultra-IA réelle. Et à l'inverse, il admet qu'il paraît impossible d'éviter qu'elle ne s'évade ensuite de ce monde virtuel (cela aurait d'ailleurs été une fin bien meilleure pour Matrix en y repensant : Neo découvre qu'il n'est pas un humain asservi par le réseau mais une IA virtuelle sur laquelle on était en train de faire une expérience). Il propose un scénario minimal où une IA supérieure serait confinée dans un monde cartésien à la physique rudimentaire mais avec plus d'accès transparent que nous à son propre fonctionnement cognitif (pour qu'elle puisse mieux s'analyser et éventuellement modifier sa propre architecture). Ce serait alors une sorte d'hypothèse du Mauvais Génie inversée où nous serions les trompeurs qui abusons cette res cogitans pour comprendre comment elle ferait évoluer sa pensée autonome.

La suite est surtout consacrée à l'avenir de l'humanité elle-même face à son dépassement et sa propre obsolescence post-Singularité. Chalmers défend que l'humanité pourrait trouver la Singularité désirable en considérant qu'elle ne sera pas seulement dépassée mais qu'elle sera "étendue", en s'intégrant elle-même dans ce processus. Il en revient alors au problème du "Uploading" de l'esprit, où nous trouverions notre immortalité indirectement dans ces descendants virtuels de notre continuité psychologique, dans des doubles immortels simulés par les IA.

Je suis curieux de voir les réponses prévues pour ce Symposium le mois prochain.

On s'attend déjà à ce que Dreyfus dise que de toute manière l'IA simple est impossible en dehors d'un réseau de neurones biologiques (et a fortiori encore moins pour une ultra-IA++) mais il a peut-être évolué. Daniel Dennett sera sans doute enthousiaste mais trouvera bien quelques expériences de pensée pour justifier sa différence. Paul Churchland, qui considère que le dualisme de propriété de Chalmers est un délire pseudo-scientifique, sera peut-être plus surprenant. Block est aussi assez imprévisible comme il a été souvent une bonne machine à trouver des objections, y compris pour les thèses qu'on lui attribuait.