rapport établi au nom de l'office, sur les nouveaux développements de l'intelligence artificielle

1. Synthèse
2. Avant-propos
3. Première partie : Comprendre les technologies d’intelligence artificielle
4. I. Histoire de la notion d’intelligence artificielle
5. A. La préhistoire de l’intelligence artificielle
6. et ses représentations culturelles
7. 1. De la mythologie antique aux machines à calculer
8. 2. Un thème traditionnel de la science-fiction
9. B. Les avancées depuis un siècle : du baptême de 1956
10. à la confirmation de 2017
11. 1. L’école d’été de Dartmouth de 1956, le moment fondateur de la définition de l’IA
12. 2. Printemps et Hivers de l’IA
13. 3. Les années 2010 : une décennie d’innovations et de progrès spectaculaires
14. 4. « L’intelligence artificielle n’existe pas » : la question de la « frontière » de l’IA
15. C. La summa divisio de l’IA : intelligence artificielle symbolique et intelligence artificielle connexionniste
16. 1. L’intelligence artificielle symbolique
17. a) Principes généraux des IA symboliques
18. b) Quelques illustrations de ces technologies
19. c) Des limites sémiotiques qui les éloignent de l’intelligence
20. 2. L’intelligence artificielle connexionniste
21. a) Cadre et définition de ces « superstatistiques »
22. (1) À l’origine de tous ces systèmes : les classifieurs linéaires
23. (2) La pierre angulaire théorique : le théorème d’approximation universelle
24. b) Les réseaux de neurones artificiels : aux origines de l’apprentissage profond ou Deep Learning
25. (1) Les premières théories dans les années 1940
26. (2) Les premiers perceptrons
27. (a) Les perceptrons monocouches
28. (b) Les perceptrons multicouches (MLP) et les réseaux de neurones à propagation avant (FNN)
29. (3) La rétropropagation du gradient (Back-propagation)
30. (4) Les réseaux de neurones convolutifs (CNN)
31. (5) Les réseaux de neurones récurrents (RNN)
32. (6) Les réseaux de neurones à mémoire court et long terme (LSTM)
33. c) Les autres systèmes d’apprentissage
34. (1) Les machines à vecteurs de support (SVM)
35. (2) Les modèles markoviens ou « chaînes de Markov »
36. (3) La contribution des réseaux bayésiens à l’IA
37. (4) L’apport de la « régularisation statistique » de Vapnik
38. II. Les IA génératives : principale innovation technologique en intelligence artificielle depuis 2017
39. A. les principales avancées en matière de génération de contenu ces dernières années
40. 1. « Attention is all you need » : la technologie Transformer inventée en 2017
41. a) La « tokenisation » : découper préalablement les mots
42. b) Le plongement lexical : vectoriser les tokens
43. c) Le mécanisme d’attention : intégrer le contexte
44. d) Un apprentissage auto-supervisé et des données synthétiques
45. 2. Distinguer les « modèles de fondation » des systèmes d’intelligence artificielle
46. a) La notion de « modèle de fondation » et ses ambiguïtés
47. b) Le « fine-tuning » : passer du modèle de fondation aux applications
48. c) Pourquoi les IA deviennent-elles « woke » ?
49. 3. D’autres innovations récentes que la technologie Transformer en matière d’IA générative
50. a) La Génération par diffusion : une innovation de pointe pour la création de contenus visuels
51. b) Générer du contenu avec des réseaux de neurones convolutifs : les auto-encodeurs variationnels (VAE)
52. c) Les réseaux génératifs antagonistes (GAN)
53. d) La dernière innovation de 2024 : l’architecture Mamba et son association avec un Transformer dans le modèle Jamba
54. B. Les grandes questions technologiques
55. et les possibles évolutions à venir
56. 1. Les problématiques technologiques de l’intelligence artificielle
57. a) L’IA « boîte noire » : le double défi de l’explicabilité
58. b) Des biais à plusieurs niveaux : données réelles ou synthétiques ainsi que choix de programmation
59. c) Les erreurs graves ou « hallucinations »
60. 2. Les tendances de la recherche et les principales perspectives technologiques
61. a) Moins halluciner : la « Retrieval Augmented Generation » (RAG)
62. par les « Retrieval Augmented Transformers » (RAT)
63. b) Manipuler en entrée et en sortie des données de nature variée :
64. les IA génératives multimodales
65. c) Faire des systèmes d’IA des interfaces devenant la principale plateforme d’accès aux services numériques
66. d) Aller vers plus d’autonomie : le défi de l’agentivité
67. e) Faire plus avec moins : vers une IA frugale et efficace
68. f) L’exemple de la méthode « Mixture of Experts » (MoE)
69. 3. Synthèse et articulations entre les modèles d’IA
70. a) Des technologies enchâssées et souvent conjuguées
71. b) Les Arbres de pensées ou Trees of Thought (ToT) :
72. l’IA « symboliconnexionniste »
73. c) La fécondité des hybridations IA symboliques/IA connexionnistes, notamment pour doter ces systèmes d’une représentation du monde réel
74. d) La variété des domaines de l’intelligence artificielle
75. III. Le grand marché de l’IA : une chaîne de valeur étendue des matières premières aux consommateurs
76. A. Du silicium aux applications : la chaîne de valeur complexe de l’intelligence artificielle
77. 1. Un schéma souvent simplifié en quatre étapes
78. 2. La complexité de la dizaine d’étapes de la chaîne
79. a) L’amont : du silicium aux microprocesseurs
80. b) La couche multiforme des infrastructures
81. c) L’étape de définition des modèles : de leur architecture au réglage fin
82. d) L’aval : les applications
83. B. La multiplication des modèles proposés au grand public
84. 1. Une domination nette de l’IA générative par la Big Tech américaine
85. 2. Le marché très évolutif des grands modèles de langage (LLM)
86. 3. Les autres modèles d’IA générative disponibles sur le marché
87. 4. Des modèles plus ou moins ouverts : la question de l’open source
88. Deuxième partie : Les enjeux de l’intelligence artificielle
89. I. Des problématiques politiques préoccupantes,
90. surtout à l’heure de l’ia générative
91. A. Une souveraineté de plus en plus menacée :
92. Les enjeux géopolitiques de la chaîne de valeur de l’IA
93. 1. Tirer les conséquences du fait que l’IA est d’abord américaine
94. 2. La France et l’Europe, « colonies numériques », ont-elles déjà complètement perdu la course mondiale à l’IA ?
95. 3. Une souveraineté française qui peut encore être défendue en tant que puissance intermédiaire
96. B. Des risques de manipulations politiques voire de déstabilisation
97. 1. Désinformation au carré
98. 2. Hypertrucages réalistes (« deepfakes »)
99. 3. Cybersécurité et risque d’attaques à grande échelle
100. a) La typologie des usages malveillants de l’IA générative
101. b) Comment répondre à ces nouveaux risques en matière de sécurité
102. face à l’essor de l’IA générative aujourd’hui ?
103. C. La singularité et le risque existentiel : de l’IAG aux scénarios à la Terminator
104. 1. Que sont l’intelligence artificielle générale (IAG) et la Singularité ?
105. a) La perspective possible mais pas certaine de l’intelligence artificielle générale rend la singularité et le risque existentiel encore moins probables
106. b) L’hypothèse des lois d’échelle ou scaling laws
107. c) Quelques jalons sur les évolutions en cours : des capacités croissantes
108. et la probabilité de plateaux
109. 2. L’espace des positions face à l’intelligence artificielle générale et au risque existentiel
110. a) Les techno-pessimistes : l’IA est un risque existentiel et l’alternative un moratoire ou le transhumanisme
111. b) Les pessimistes modérés : l’IA est une menace, les mesures de prévention une solution
112. c) Les techno-optimistes : l’absence de menace, la poursuite du développement tranquille de l’IA avec un encadrement pragmatique
113. II. Des effets globalement positifs pour la société
114. malgré des impacts économiques contrastés
115. A. Des améliorations pour le Bien-être et la santé
116. grâce à l’intelligence artificielle
117. 1. De nombreux outils pour la vie quotidienne
118. 2. De meilleurs systèmes de soins
119. 3. Des effets cognitifs à surveiller dans une économie de l’attention
120. B. Un impact sur la croissance incertain
121. 1. Des études divergentes, très optimistes ou très mesurées
122. 2. Le retour du « paradoxe de Solow » ?
123. 3. Des besoins d’énergie considérables et croissants laissant planer la menace de risques environnementaux
124. C. Une transformation considérable du marché du travail
125. 1. Les études quantitatives sur la base des tâches et des compétences
126. 2. Les études qualitatives sur la base d’observations et d’entretiens
127. 3. Des effets encore incertains mais qui appellent un dialogue social
128. III. Des défis sans précédent pour la sphère culturelle
129. et le monde scientifique
130. A. De la domination culturelle anglo-saxonne à l’uniformisation cognitive
131. 1. L’IA est américaine et pas que sur un plan économique
132. a) Une domination par les données
133. b) Une domination par la culture et la langue
134. c) Ne pas donner notre langue à ChatGPT ! Pour la diversité linguistique et culturelle
135. 2. Le danger de l’uniformisation cognitive plus encore que culturelle
136. a) De nouvelles structures mentales
137. b) Vers une civilisation de poissons rouges ?
138. c) Éduquer à l’IA, éduquer par l’IA
139. B. La création au défi de l’impact de l’Intelligence Artificielle sur la propriété intellectuelle et les droits d’auteur
140. 1. Des régimes de propriété intellectuelle fragilisés
141. 2. Des risques contentieux
142. 3. Le modèle économique de la création artistique par l’IA
143. 4. L’avenir de la création artistique
144. C. Des bénéfices considérables pour la recherche
145. 1. La fertilisation des autres disciplines scientifiques par l’IA
146. 2. Les cas emblématiques de l’analyse du repliement des protéines en 2018
147. et de la génomique en 2024
148. 3. Les jumeaux numériques et le perfectionnement des simulations
149. 4. Adapter nos politiques de recherche aux perspectives ouvertes par l’IA
150. Troisième partie : La gouvernance et la régulation de l’intelligence artificielle
151. I. Les dispositifs nationaux ou régionaux
152. A. Une politique française de l’intelligence artificielle
153. en demi-teinte
154. 1. La stratégie nationale en faveur de l’IA depuis 2017 : un retard à l’allumage
155. 2. Le bilan critique de la stratégie et son évaluation par la Cour des comptes
156. 3. Les perspectives de relance de la politique nationale de l’IA
157. B. D’autres dispositifs nationaux dans l’Union Européenne
158. 1. L’Allemagne : le pays le plus proche du nôtre
159. 2. L’Italie : une stratégie de soutien et de vigilance
160. 3. L’Espagne : un cadre complet avec un riche volet culturel
161. 4. Les Pays-Bas : une coalition public-privé efficace et une régulation précoce
162. 5. L’Estonie : un état numérique préoccupé par la sécurité de l’IA
163. 6. La Finlande : une stratégie tournée vers l’appropriation de l’IA et l’éducation
164. C. La gouvernance européenne de l’intelligence artificielle
165. 1. Le travail préparatoire conduit par les institutions européennes entre 2018 et 2020
166. a) La communication de la Commission européenne d’avril 2018
167. b) Le groupe d’experts de haut niveau sur l’IA
168. c) Le Livre blanc de la Commission européenne sur l’IA
169. 2. De la proposition de règlement du 21 avril 2021 à la juxtaposition de deux dispositifs à la suite des amendements adoptés
170. a) Le volet issu du projet initial d’AI Act en 2021 : une régulation des usages selon leurs risques plutôt qu’une régulation de la technologie elle-même
171. b) Le volet ajouté par les co-législateurs : la régulation des modèles de fondation assortie d’un régime spécifique pour les modèles les plus puissants,
172. dits « à risque systémique »
173. c) Les autres aspects de l’AI Act : une polysynodie institutionnelle, une portée extraterritoriale, un calendrier très complexe et une normalisation désinvestie
174. 3. Une gouvernance européenne de l’IA à compléter
175. a) Mobiliser les entreprises et élaborer de la Soft Law : l’AI Pact et les bonnes pratiques
176. b) Deux projets de directive complémentaires à l’AI Act : l’intelligence artificielle comme produit sur le marché unique
177. c) Le soutien européen à la recherche et à l’innovation en IA
178. au-delà du dispositif EuroHPC
179. D. Panorama d’autres régulations nationales dans le reste du monde
180. 1. Aux États-Unis, une régulation inachevée
181. a) Au niveau fédéral : de la stratégie de 2016 à l’Executive Order présidentiel d’octobre 2023
182. b) Au niveau des États : plusieurs projets à commencer par celui de la Californie
183. 2. En Chine, un développement rapide et centralisé de l’IA et de sa régulation
184. a) La politique chinoise en faveur d’une IA maîtrisée depuis 2017
185. b) Un encadrement strict et assez exhaustif des IA génératives
186. c) Un rival sérieux des États-Unis intéressé par l’AI Act
187. 3. Quelques autres initiatives intéressantes
188. a) Le Canada
189. b) Le Brésil
190. c) Le Japon
191. d) La Corée du Sud
192. e) L’Inde
193. f) Le Royaume-Uni
194. g) Israël
195. h) L’Arabie Saoudite
196. i) Les Émirats arabes unis (EAU)
197. II. Une dizaine de projets de gouvernance internationale non coordonnés
198. A. La réflexion technique la plus aboutie : les principes, recommandations et métriques de l’OCDE
199. 1. Les principes, les recommandations et la classification des systèmes
200. 2. La méthodologie des métriques
201. 3. L’Observatoire des politiques publiques de l’IA
202. B. Le cadre multilatéral en construction
203. 1. La contribution multiforme mais encore inachevée de l’Organisation des Nations unies (ONU)
204. 2. Le travail spécifique de l’Organisation des Nations unies pour l’éducation, la science et la culture (Unesco)
205. 3. Les Principes pour l’IA du G20
206. C. Les forums fermés du G7, du partenariat mondial sur l’intelligence artificielle et du CONSEIL DU COMMERCE ET DES TECHNOLOGIES UE-ÉTATS-UNIS
207. 1. Le G7 et son « processus d’Hiroshima »
208. 2. L’expertise du Partenariat mondial sur l’intelligence artificielle (PMIA) ou Global partnership on artificial intelligence (GPAI)
209. 3. Le Conseil du commerce et des technologies (CCT) UE-États-Unis
210. D. Les initiatives non occidentales
211. 1. La Proposition chinoise de gouvernance mondiale de l’IA
212. 2. Le travail des BRICS
213. 3. La stratégie de l’Union africaine
214. E. Les autres projets de gouvernance mondiale :
215. Conseil de l’Europe, Forum économique mondial,
216. initiatives émanant du secteur privé…
217. 1. La Convention-cadre sur l’IA du Conseil de l’Europe
218. 2. L’Alliance pour la gouvernance de l’IA proposée par le Forum économique mondial
219. 3. Des principes et bonnes pratiques proposés par les entreprises au Partnership on AI lancé en 2016 par sept géants de l’IA
220. 4. Le Forum sur les modèles de pointe ou Frontier Model Forum et les autres initiatives
221. F. Le cadre en construction des sommets pour la sécurité de l’intelligence artificielle et des instituts de sécurité de l’IA
222. 1. Un réseau international d’agences pour la sécurité de l’intelligence artificielle
223. 2. Du sommet de Bletchley Park au rapport de Yoshua Bengio
224. 3. Un sommet en France les 10 et 11 février 2025
225. III. Les propositions de l’Office
226. A. Les propositions à soutenir dans le cadre du futur sommet de l’IA
227. 1. Faire reconnaître le principe d’une approche transversale de l’IA et renoncer à l’approche exclusivement tournée vers les risques
228. 2. Proposer de placer la gouvernance mondiale de l’IA sous l’égide d’une seule organisation internationale
229. 3. Initier le cadre d’une régulation globale et multidimensionnelle de l’IA en s’inspirant des travaux de l’OCDE et de l’UE
230. 4. Annoncer un programme européen de coopération en IA, associant plusieurs pays dont au moins la France, l’Allemagne, les Pays-Bas, l’Italie et l’Espagne
231. 5. Associer le Parlement à l’organisation du sommet
232. B. Les propositions visant à fonder une véritable politique nationale de l’IA
233. 6. Développer une filière française ou européenne autonome sur l’ensemble de la chaîne de valeur de l’intelligence artificielle
234. 7. Mettre en place une politique publique de l’IA avec des objectifs, des moyens et des outils de suivi et d’évaluation
235. 8. Organiser le pilotage stratégique de la politique publique de l’intelligence artificielle au plus haut niveau
236. 9. Former les élèves de l’école à l’Université, former les actifs et former le grand public à l’IA
237. 10. Accompagner le déploiement de ces technologies dans le monde du travail et la société, notamment par la formation permanente
238. 11. Lancer un grand dialogue social autour de l’intelligence artificielle et de ses enjeux
239. 12. Mobiliser et animer l’écosystème français de l’IA
240. 13. Reconduire le programme « Confiance.ai » ou mettre en place un projet équivalent
241. 14. Soutenir la recherche publique en intelligence artificielle selon des critères de transversalité et de diversification des technologies
242. 15. Relever le défi de la normalisation en matière d’intelligence artificielle
243. 16. S’assurer du contrôle souverain des données issues de la culture française et des cultures francophones et créer des jeux de données autour des cultures francophones
244. 17. Préparer une réforme des droits de propriété intellectuelle dont le droit d’auteur pour les adapter aux usages de l’IA générative
245. 18. Confier à l’OPECST le suivi et l’évaluation régulière de la politique publique conduite par le Gouvernement en la matière
246. Examen du rapport par l’Office
247. Liste des personnes entendues
248. Annexes
249. Lettre de saisine de l’Office par le Bureau de l’Assemblée nationale
250. Lettre de saisine de l’Office par le Bureau du Sénat

Synthèse

ChatGPT, et après ?

Bilan et perspectives de l’intelligence artificielle

Un spectre hante le monde, le spectre de l’intelligence artificielle. Il alimente des angoisses irrationnelles autant que des attentes démesurées. Les technologies d’IA semblent à la fois omniprésentes et insaisissables, pourtant leur diffusion reste encore toute relative et leurs contours sont assez connus des spécialistes. L’IA devient un phénomène de plus en plus politique qui appelle une maîtrise démocratique. Le futur président des États-Unis, Donald Trump, a même déclaré le 28 novembre 2024 qu’il comptait nommer un « tsar de l’intelligence artificielle » qui siègerait à ses côtés à la Maison-Blanche. Aussi, faire le point sur ces technologies et leurs enjeux apparaît aujourd’hui indispensable.

Saisi en juillet 2023 par les bureaux de l’Assemblée nationale et du Sénat pour étudier les nouveaux développements de l’intelligence artificielle dans le contexte de la révolution de l’IA générative, l’Office présente un rapport qui tente, à la fois, de dresser un bilan des technologies d’intelligence artificielle et d’anticiper les tendances qui se dégagent. Ce rapport retrace les développements technologiques des différents modèles d’IA et le détail de leur fonctionnement, identifie leurs enjeux politiques, économiques, sociétaux, culturels et scientifiques, et aborde les questions de régulation, comparant la stratégie nationale française en IA à près de 20 autres, six dans l’Union européenne et onze dans le reste du monde, et en analysant une dizaine de projets de gouvernance mondiale de l’intelligence artificielle. Il propose en conclusion 18 recommandations, dont cinq à soutenir dans le cadre du Sommet pour l’action sur l’IA qui se tiendra à Paris les 10 et 11 février 2025.

I. Comprendre les technologies d’intelligence artificielle

A. Une brève histoire de l’intelligence artificielle

Dans le prolongement du rapport de l’Office de mars 2017, ce nouveau rapport revient sur l’histoire et même la préhistoire de l’intelligence artificielle ainsi que sur sa présence forte dans la science-fiction, qui explique pourquoi l’IA suscite à la fois des espoirs excessifs et des craintes pas toujours justifiées.

L’IA n’est pas nouvelle. Elle est liée à la naissance de l’informatique, il s’agit d’ailleurs d’un domaine de l’informatique, une sorte d’informatique avancée dont la frontière fluctue avec le temps. Sa naissance officielle a lieu en 1956 lors d’une école d’été du Dartmouth College.

John McCarthy y introduit le concept d’intelligence artificielle et la définit comme une science visant à simuler les fonctions cognitives humaines. Marvin Minsky précise qu’il s’agit de construire des programmes capables d’accomplir des tâches relevant habituellement de l’intelligence humaine. Depuis, l’IA a connu des périodes de grands espoirs, comme les premières découvertes des années 1960 ou les systèmes experts des années 1980, chacune de ces périodes étant suivie de phases de désillusions, les « hivers de l’IA ».

On distingue deux grandes approches : l’IA symbolique, caractérisée par l’utilisation de règles logiques pour résoudre des problèmes, simulant un raisonnement déductif, et l’IA connexionniste, qui se fonde sur une analyse probabiliste de données, simulant un raisonnement inductif.

B. Les progrès de l’apprentissage profond dans les années 2010 et l’architecture Transformer

Un nouvel essor de l’IA a lieu depuis les années 2010 grâce aux progrès de l’apprentissage profond ou Deep Learning. L’apprentissage est dit « profond » car ses algorithmes reposent sur des réseaux de neurones artificiels composés de couches multiples. Chaque neurone représente une unité de calculs mathématiques qui correspond à une fonction d’activation. L’efficacité de ces modèles d’IA se développe dans les années 2010 grâce à trois éléments : la mobilisation de ces algorithmes, des corpus de données de taille inédite grâce à Internet, et une puissance de calcul des ordinateurs en augmentation rapide.

Depuis 2017, deux innovations majeures ont accéléré la mise en œuvre de l’IA :

l’architecture Transformer : cette innovation ajoute à l’apprentissage profond un meilleur traitement du contexte, grâce à un procédé appelé « mécanisme d’attention » ;

l’application de cette architecture à la création de systèmes d’IA générative accessibles à tous. Ceci a donné naissance à des « modèles larges de langage » ou LLM comme ChatGPT mais aussi à des outils permettant de créer d’autres contenus : images, sons, vidéos, etc. Ces systèmes exploitent des milliards de données et mobilisent des centaines de milliards voire des milliers de milliards de paramètres de calcul pour générer du contenu. Certains systèmes d’IA générative se basent sur d’autres architectures mais ils ne donnent pas d’aussi bons résultats, sauf à être hybridés à l’architecture Transformer, par exemple selon une méthode dite du mélange d’experts (Mixture of Experts ou MoE). Ces systèmes donnent alors des résultats d’une précision inédite.

C. Les questions technologiques et les perspectives d’avenir

Quels sont les avantages et limites de ces technologies ? Et quelles perspectives s’ouvrent pour le futur ? Côté avantages, les applications sont innombrables, côté limites, les IA génératives doivent encore relever plusieurs défis technologiques. L’entraînement des modèles nécessite d’abord des ressources considérables, en infrastructures de calcul comme de stockage des données mais pas seulement : l’IA nécessite en effet des apports considérables d’énergie tout au long de son cycle de vie. Les modèles peuvent générer des erreurs appelées « hallucinations ». Leur production est sujette à des biais présents dans les données ou introduits au stade de leur programmation humaine ; certains ont d’ailleurs dénoncé des IA woke. Enfin, ces modèles continuent de poser les problèmes d’opacité déjà rencontrés pour les anciennes générations de Deep Learning : ces systèmes fonctionnent comme des « boîtes noires », rendant leur explicabilité complexe.

Ces défis nécessitent des efforts de recherche pour améliorer la fiabilité des résultats et réduire la consommation énergétique de ces systèmes. Faire plus avec moins : l’objectif est d’aller vers des IA frugales et efficaces. L’architecture Mamba, alternative aux Transformers repose sur les modèles en espace d’états structurés et articule plusieurs types d’IA. C’est une piste intéressante. Les perspectives pour l’IA seront donc sa frugalité mais aussi sa multimodalité et son agentivité.

Les IA multimodales traitent déjà des données variées (texte, image, son, etc.) et en traiteront bientôt davantage encore, en entrée comme en sortie, pour des usages de plus en plus diversifiés et intégrés. En 2024, GPT-4o (avec un « o » pour omni) a ajouté aux textes et aux images le traitement d’instructions vocales et même des interactions vidéo. La société xAI a ajouté à son modèle Grok 2 la génération d’images en septembre 2024 puis la compréhension d’images en octobre 2024.

L’agentivité est la capacité des systèmes à être autonomes et proactifs. La principale innovation en 2024 est celle des Agentic Workflows, IA basées sur des LLM et générant une série d’actions permettant une automatisation des tâches en s’adaptant en temps réel à la complexité des flux de travail. Ces outils devraient être particulièrement utiles pour les entreprises.

Les IA vont aussi devenir des interfaces et les principales plateformes d’accès aux services numériques. Ces interfaces rendront les interactions homme-machine plus fluides et pourraient devenir le point d’appui des smartphones et des ordinateurs, agrégeant les fonctionnalités de l’interface du système d’exploitation, des navigateurs web, des moteurs de recherche, des logiciels bureautiques, des réseaux sociaux et d’autres applications. Il est probable qu’à l’avenir les systèmes d’IA deviennent les colonnes vertébrales de contrôle des ordinateurs, à partir desquelles s’articuleront plusieurs services logiciels.

Des solutions technologiques sont également attendues pour faire face à la tendance des LLM à « halluciner », c’est-à-dire à générer des propos dénués de sens ou des réponses objectivement fausses sans émettre le moindre doute. La génération augmentée de récupération (Retrieval Augmented Generation ou RAG) constitue par exemple un moyen d’adjoindre une base de données à un LLM, qui, à l’aide d’un récupérateur, utilise les données de cette base en lien avec l’instruction de l’utilisateur.

D. La conjugaison entre la logique de l’IA symbolique et l’efficacité de l’IA connexionniste

Les technologies d’IA peuvent être enchâssées les unes dans les autres et conjuguées pour produire de meilleurs résultats. Combiner l’IA connexionniste avec des modèles logiques ou des modèles de représentation du monde réel sera indispensable. L’espace-temps reste en effet inconnu des meilleures IA génératives.

On peut se rapprocher de telles articulations avec les Arbres de pensées ou Trees of Thoughts (ToT). Sans relever directement de l’IA symbolique, cette technique s’en rapproche par son recours à des étapes formelles de raisonnement, les idées venant s’articuler logiquement les unes par rapport aux autres. L’IA devient alors neuro-symbolique car empruntant à la fois des réseaux neuronaux et des raisonnements symboliques. Cette méthode peut être appliquée directement à tous les grands modèles de langage actuels grâce à une instruction décomposée en plusieurs phases de raisonnement. On parle pour ces techniques de prompt engineering. À l’avenir, outre cet art du prompt, on trouvera de nombreuses façons de combiner et d’hybrider les technologies, notamment les deux branches de l’IA, afin que les systèmes se rapprochent de nos raisonnements logiques.

E. La longue et complexe chaîne de valeur de l’IA

La chaîne de valeur de l’IA comporte une dizaine d’étapes. Tout commence avec l’énergie et les matières premières : les semi-conducteurs en silicium permettent la fabrication des puces, des logiciels permettent de concevoir ces microprocesseurs et des machines lithographiques gravent le silicium à l’échelle moléculaire. Nvidia est devenu, pour le moment, l’acteur dominant de ce premier maillon de la chaîne.

Le deuxième maillon, celui des infrastructures, se subdivise en de nombreuses couches :

- la collecte et le nettoyage de données ;

- le stockage de données dans de vastes data centers ;

- l’informatique en nuage (cloud) pour les calculs ;

- lors de la phase de développement des modèles, le recours spécifique à des supercalculateurs.

La multiplication de ces infrastructures entraîne des coûts très élevés et des impacts environnementaux considérables. Nvidia devra, par exemple, réaliser un chiffre d’affaires de 600 milliards de dollars pour lui permettre un retour sur investissement.

L’étape suivante est celle de la définition des modèles d’IA, elle-même subdivisée en plusieurs phases :

- la conception de l’architecture du modèle ;

- l’entraînement du modèle de fondation à l’aide des infrastructures et d’algorithmes ;

- le réglage fin par des apprentissages supervisés et une phase d’alignement.

Les modèles de fondation s’intercalent donc entre la définition de l’architecture du modèle et le fine-tuning, ce qui permet aux systèmes d’IA d’être déployés pour des applications spécifiques ou d’être diffusés auprès du grand public.

La dernière étape est celle des utilisateurs, les applications caractérisant l’aval. Les systèmes d’IA ne deviennent accessibles aux utilisateurs qu’à travers une couche de services applicatifs, dont les fameux LLM d’OpenAI, comme ChatGPT, conçu à partir du modèle de fondation GPT-4.

II. Les enjeux politiques, économiques, sociétaux, culturels et scientifiques

Trois grandes catégories d’enjeux sont présentées : les problématiques politiques de l’intelligence artificielle, les transformations socio-économiques, et les défis culturels et scientifiques. L’IA est devenue une technologie incontournable, qui transforme nos sociétés et nos économies, mais aussi les rapports de force politiques et géopolitiques.

A. Les problématiques politiques

La géopolitique de l’IA

La recherche en IA est dominée par la recherche privée, principalement américaine. Les États-Unis, grâce à leurs géants technologiques – les GAFAM, devenus les MAAAM désignant, dans l’ordre, Microsoft, Apple, Alphabet, Amazon et Meta – dominent l’écosystème global de l’IA, avec Nvidia en sus, qui fournit toutes les entreprises en processeurs graphiques. Outre son impact économique, l’IA devient en elle-même un levier de pouvoir géopolitique.

En parallèle, la Chine aspire à devenir leader mondial d’ici 2030, investissant toute la chaîne de valeur, notamment les semi-conducteurs. Ces derniers sont devenus un enjeu de premier plan qui dépasse la seule filière de l’IA. Alors que les deux tiers des puces sont à ce jour fabriquées à Taïwan, les autorités américaines et chinoises cherchent à attirer une part croissante de cette production sur leur sol.

Pour l’Europe, et notamment la France, le défi est celui de la souveraineté numérique, afin d’éviter de devenir une pure et simple « colonie numérique ». L’Union européenne mise aujourd’hui sur la régulation de l’IA, mais cela reste insuffisant face à la taille et à l’avance des puissances américaine et chinoise. La souveraineté numérique contre la domination de la Big Tech américaine appelle au développement d’acteurs français et européens puissants.

Les risques de manipulations politiques

L’IA génère de nouveaux risques, notamment à travers la désinformation et les hypertrucages (deepfakes). Les fausses informations ou les trucages ont toujours existé, mais l’IA fait changer d’échelle.

Ces technologies permettent de produire instantanément et massivement des contenus falsifiés réalistes, capables d’influer sur les élections ou de ternir la réputation d’une personnalité publique. Des régulations imposant des filigranes sur ces contenus constituent une réponse, mais elles seront difficiles à appliquer.

Les menaces pour la sécurité et le risque existentiel

L’IA facilite les attaques à grande échelle, à travers la création de logiciels malveillants ou la capture de données sensibles. Ces risques appellent des mesures de sécurité renforcées : sécurisation des modèles, analyse des risques et formation en cybersécurité des développeurs.

L’intelligence artificielle générale (IAG) qui dépasserait les capacités humaines reste une hypothèse incertaine. Bien qu’elle suscite des débats passionnés, ses bases scientifiques comme les lois d’échelle (scaling laws) restent fragiles. Certains craignent que cette IAG fasse courir un « risque existentiel » à l’humanité, comme Elon Musk qui prône même une hybridation homme-machine pour « rivaliser » avec l’IA tandis que d’autres, comme Yann LeCun, estiment que l’IA actuelle demeure très loin du tournant de la Singularité, n’ayant toujours pas de sens commun ou de capacités autonomes réelles.

B. Les impacts sociétaux et économiques

Santé et bien-être

L’IA améliore déjà la vie, à travers une multitude d’outils pour nous aider au quotidien. Elle optimise nos parcours de transport et surveille notre rythme cardiaque grâce des applications de santé. À l’avenir, diagnostics, dépistages précoces et traitements seront optimisés grâce à l’IA, la recherche médicale sera accélérée et des capteurs permettront d’anticiper des urgences médicales, comme des crises cardiaques. En dépit de tous ces avantages pour la santé, l’utilisation massive de l’IA pourrait aussi avoir des conséquences négatives sur la santé psychologique.

Un impact économique incertain

Les travaux qui tentent de prédire l’impact de l’intelligence artificielle sur la croissance ou son potentiel en termes de gains de productivité divergent. L’IA peut stimuler certains secteurs, mais son impact global sur la croissance reste incertain dans un contexte de faible diffusion des technologies. La direction générale du Trésor (DGT) estime qu’il est encore trop tôt pour pouvoir estimer des prévisions chiffrées. Le paradoxe de Solow (« on voit des ordinateurs partout sauf dans les statistiques de productivité ») pourrait se confirmer pour l’IA. Il est vrai que la diffusion de l’innovation est toujours difficile à observer et encore plus à quantifier.

Le coût énergétique de l’IA conduit à un impact environnemental considérable et grandissant : ces systèmes ont une empreinte carbone et un impact sur la ressource en eau élevés, qui ne font que croître car les besoins en énergie de l’IA explosent. Le développement de l’IA menace donc l’atteinte des objectifs climatiques.

Une transformation du marché du travail

Il est difficile d’évaluer précisément l’impact de ces technologies sur le marché du travail. Un consensus semble cependant se dégager : plus qu’un remplacement des emplois par l’IA, on va assister à une transformation des tâches et des métiers par ces technologies. L’ampleur et les modalités de ces transformations ne sont cependant pas mesurées de la même façon par toutes les études. Même si ces effets restent encore incertains, ils appellent un dialogue social pour accompagner les transitions. L’IA pourrait augmenter la productivité et parfois exacerber les inégalités, cela appelle une certaine vigilance.

Elle nécessite la mise en place de politiques publiques de formation initiale et de formation continue, dans le but d’anticiper les évolutions et d’accompagner les travailleurs. Des politiques de requalification ambitieuses sont indispensables.

C. Les défis culturels et scientifiques

Une uniformisation cognitive

L’IA, dominée par des acteurs anglo-saxons, risque d’accentuer fortement l’hégémonie culturelle des États-Unis. Ce phénomène d’uniformisation culturelle appauvrit la diversité culturelle et linguistique, mais crée aussi une uniformisation cognitive. Le capitalisme cognitif qui repose sur la conjugaison des écrans et de l’IA conduit à une « économie de l’attention » préoccupante, notamment car elle enferme l’utilisateur des technologies dans des bulles de filtres. Cet enfermement informationnel polarise les visions de chacun dans des croyances subjectives. Ce sont autant de prisons mentales qui se déclinent à l’échelle individuelle. Cette tendance n’est que d’apparence paradoxale : on assiste, dans le même temps, à une polarisation marquée des opinions et des identités (selon les variables de la culture américaine, avec une forte dimension émotionnelle) et à une uniformisation culturelle doublée d’une uniformisation cognitive.

Ces conséquences de l’IA, des écrans et du numérique sur la cognition doivent nous mobiliser, surtout en direction des jeunes générations et des petits enfants, particulièrement victimes de ces impacts cognitifs, et ce de manière irréversible. L’éducation au numérique en général et à l’IA en particulier est une urgence impérieuse pour la cohésion de nos sociétés et la santé de chacun.

La France doit défendre sa langue et ses spécificités culturelles face à des systèmes d’IA comme les grands LLM qui privilégient l’anglais et la culture américaine sur un plan linguistique et culturel. Nous ne devons pas donner notre langue à ChatGPT ! Il faut conserver la diversité linguistique et culturelle de l’humanité. La France a besoin de modèles d’IA les plus souverains possibles, reflétant sa culture, entraînés avec des données qui la reflètent fidèlement et qui mobilisent des sources issues de son riche patrimoine culturel et linguistique.

Par ailleurs, si les raisonnements par induction, probabilistes, sont prometteurs et donnent souvent des résultats impressionnants, ils tendent à faire oublier le grand intérêt des raisonnements déductifs, sur lesquels s’est construite la plus grande partie des connaissances scientifiques. La généralisation de cas particuliers sous l’effet des données massives traitées par l’IA connexionniste est devenue la règle, or le résultat d’une inférence suivant un raisonnement inductif, même fondé sur des milliards d’exemples, peut toujours être démenti par un ou plusieurs contre-exemples.

Les deux formes de raisonnement – déductif et inductif – doivent continuer à cohabiter de manière plus équilibrée sans quoi cette ère de l’IA et du Big Data va conduire tous les habitants de la planète à penser selon le même mode, non seulement, sans le savoir, avec les mêmes cadres en termes de références culturelles, mais aussi selon les mêmes structures cognitives, tournées vers l’induction.

Propriété intellectuelle et création artistique

L’IA mobilise des données protégées par le droit d’auteur ou par le copyright. Les artistes et les créateurs sont confrontés à des questions inédites relatives aux droits d’auteur et à leurs modèles économiques. Par exemple, les œuvres générées par IA peuvent brouiller les frontières entre originalité et imitation, remettant en question les régimes traditionnels de protection de la propriété intellectuelle. Une réflexion doit s’ouvrir sur le sujet de la propriété intellectuelle et de la création artistique à l’heure de l’intelligence artificielle. Dans ce contexte d’incertitudes, les risques contentieux sont de plus en plus grands, qu’il s’agisse de l’utilisation d’œuvres protégées pour entraîner les modèles, de la protection des œuvres générées par des systèmes d’IA ou de tout autre litige qui pourrait émerger. En l’absence de règles claires, il reviendra aux juges de trancher les litiges. Le rôle de la jurisprudence sera donc central et laisse les artistes, les entreprises et les utilisateurs dans un flou juridique anxiogène, avec des risques financiers potentiellement non négligeables. C’est pourquoi une clarification de ces enjeux et des régimes juridiques applicables est indispensable.

Une révolution scientifique

Dans le domaine scientifique, l’IA fertilise les autres disciplines et ouvre des perspectives immenses, comme en témoignent les exemples de la génomique, de la modélisation du repliement des protéines ou de la création de jumeaux numériques. Ces avancées permettront de résoudre de plus en plus de problèmes complexes et d’accélérer les découvertes. Il n’est pas anodin que les prix Nobel 2024 de Physique et de Chimie soient l’un et l’autre revenus à des chercheurs en IA. Les bénéfices potentiels de ces technologies nécessitent une adaptation de nos politiques de recherche.

Si l’intelligence artificielle est porteuse d’immenses opportunités, elle implique aussi de relever des défis complexes. L’IA soulève plusieurs questions éthiques, ce qui renvoie au thème de son alignement : comment garantir que l’IA s’aligne sur nos valeurs, respecte les droits de l’homme et les principes humanistes ? Il est à cet égard crucial de partager des bonnes pratiques, d’élaborer des cadres réglementaires, de renforcer la souveraineté technologique, et surtout d’éduquer nos sociétés aux enjeux de ces technologies. Ces perspectives nécessitent une gouvernance internationale pour encadrer les développements en cours et anticiper d’éventuels risques.

III. La gouvernance et la régulation de l’intelligence artificielle

Plusieurs initiatives ont été prises en matière de régulation de l’IA, à l’échelle de chaque pays à travers des stratégies nationales en IA, ainsi qu’au niveau international.

A. Une stratégie nationale pour l’IA en demi-teinte

Depuis 2017, la France a tenté de structurer une stratégie nationale mais le plan « France IA » lancé en janvier 2017 a été rapidement abandonné.

Un an plus tard, sur la base d’un rapport émanant de l’ancien président de l’Office, Cédric Villani, le Président de la République a annoncé le 29 mars 2018 une « stratégie nationale et européenne pour l’intelligence artificielle », qui visait à faire de la France un leader mondial en IA.

Cette stratégie a permis la labellisation de quatre Instituts Interdisciplinaires en Intelligence artificielle (3IA), le financement de chaires et de doctorats ainsi que l’investissement dans des infrastructures de calcul comme les supercalculateurs Jean Zay, inauguré en 2019, et Adastra, inauguré en 2023, et dont les performances atteignent respectivement 36,85 pétaflops et 74 pétaflops (Jean Zay devrait toutefois atteindre 125,9 pétaflops à la fin de cette année).

À titre de comparaison, l’entreprise d’Elon Musk xAI qui développe le système Grok s’est dotée du supercalculateur Colossus développant 3,4 exaflops, composé de 100 000 processeurs Nvidia Hopper 100. Sa taille devrait doubler d’ici quelques mois pour atteindre 200 000 processeurs. Le supercalculateur Jean Zay, après son extension prévue d’ici la fin de l’année 2024, sera quant à lui doté de 1 456 puces Nvidia Hopper 100.

D’autres limites de cette stratégie nationale en IA sont notamment relevées par la Cour des comptes dans un rapport d’avril 2023 qui fait apparaître :

- des résultats insuffisants, la France ayant continué à décrocher au niveau international depuis 2018 ;

- une coordination interministérielle insuffisante.

Le pilotage de la stratégie nationale en IA reste toujours défaillant en 2024 : le coordinateur rattaché initialement à la direction interministérielle du numérique et des systèmes d’information et de communication (DINSIC), puis à la direction générale des entreprises (DGE) du ministère de l’économie, est sans autorité réelle sur la stratégie et sa mise en œuvre. L’instabilité du titulaire de cette fonction et les vacances répétées du poste témoignent d’une mauvaise définition du rôle de ce coordinateur national. La stratégie demeure en réalité sans pilote, évoluant au gré des annonces de l’exécutif et des événements organisés autour de l’IA.

La Commission de l’intelligence artificielle a proposé en 2024 un investissement massif de 27 milliards d’euros sur cinq ans pour la formation, la recherche, et le développement d’un écosystème robuste en IA. La mise à disposition de sommes aussi conséquentes pour la stratégie nationale en IA semble peu probable. Lors du rassemblement des plus grands talents français de l’IA à l’Élysée le 21 mai 2024, le Président de la République a annoncé un plan d’investissement de 400 millions d’euros pour financer neuf pôles d’excellence en IA, comprenant les quatre anciens Instituts 3IA, l’objectif étant de passer de 40 000 à 100 000 personnes formées à l’IA par an. Il pourrait être judicieux de commencer par reconduire le programme Confiance.ai, peu coûteux pour les finances publiques (3,75 millions d’euros par an).

B. Les comparaisons internationales et les projets de gouvernance mondiale de l’IA

Le rapport décrit près de vingt autres stratégies nationales, six mises en place dans l’Union européenne et onze dans le reste du monde.

La réglementation de l’Union européenne, complexe et peu propice à l’innovation, est analysée en détail dans le rapport. L’AI Act conjugue un dispositif régulant les usages de l’IA selon leur niveau de risque et un encadrement des modèles d’IA selon leur puissance.

Le rapport recense également toutes les initiatives ayant pour objet une gouvernance mondiale de l’IA. On en compte une dizaine, ce qui n’est pas efficace : les projets de l’ONU, de l’Unesco, de l’OCDE, du Conseil de l’Europe, du G20, du G7, du Partenariat mondial sur l’intelligence artificielle (PMIA) (ou Global partnership on artificial intelligence – GPAI), du Conseil du commerce et des technologies (CCT) UE-États-Unis, du Forum économique mondial, des BRICS, de la Chine, etc., s’accumulent.

Ceci plaide pour une convergence autour d’une régulation internationale unique.

Le rapport met en évidence des efforts nationaux inégaux pour réguler l’IA, tout en soulignant le besoin d’une approche la plus coordonnée possible.

Le prochain sommet sur l’IA qui sera organisé par la France en 2025 sera une bonne occasion de promouvoir une gouvernance mondiale cohérente pour aborder les enjeux de l’IA dans leur globalité, sans se limiter au sujet de la sécurité.

L’Office a un rôle à jouer dans cette révolution technologique, pour aider le gouvernement à structurer sa propre stratégie, mais aussi pour contribuer à cette future gouvernance mondiale de l’IA.

IV. Les propositions de l’Office

Le rapport propose 18 recommandations, dont cinq sont consacrées à la préparation du futur sommet de l’IA qui se tiendra à Paris les 10 et 11 février prochain.

Les propositions à soutenir dans le cadre du futur sommet de l’IA

Faire reconnaître le principe d’une approche transversale de l’IA et renoncer à l’approche exclusivement tournée vers les risques

Cinq thèmes seront l’objet du sommet (l’IA au service de l’intérêt public avec la question des infrastructures ouvertes ; l’avenir du travail ; la culture ; l’IA de confiance ; et la gouvernance mondiale de l’IA). Il faudra que le sommet aille plus loin et permette d’inscrire solennellement le principe d’une approche transversale des enjeux de l’IA au sein d’une déclaration des participants. Les cinq thèmes retenus pour le sommet éludent deux dimensions qu’il faudrait prendre en compte de manière prioritaire :

- l’éducation, qui pourrait être ajoutée à la verticale culture avec pour intitulé « éducation et culture » ;

- la souveraineté numérique, qui pourrait être ajoutée à la verticale « l’IA au service de l’intérêt public » avec pour intitulé « souveraineté numérique et intérêt général ».

Proposer de placer la gouvernance mondiale de l’IA sous l’égide d’une seule organisation internationale

Le sommet doit être l’occasion de clarifier et rationaliser la dizaine de projets visant à créer une gouvernance mondiale de l’IA. Aussi, il est proposé de placer la gouvernance mondiale de l’IA sous l’égide d’une seule organisation internationale, à savoir l’ONU, seule organisation pleinement légitime sur le plan multilatéral.

Initier le cadre d’une régulation globale et multidimensionnelle de l’IA en s’inspirant des travaux de l’OCDE et de l’UE

L’approche de la régulation mondiale de l’IA doit être multidimensionnelle, afin de traiter la question de l’ensemble de la chaîne de valeur de l’IA et comme le montrent les travaux de l’OCDE et de l’UE.

Annoncer un programme européen de coopération en IA

Ce programme doit associer plusieurs pays dont au moins la France, l’Allemagne, les Pays-Bas, l’Italie et l’Espagne, ces pays partageant une vision similaire de l’IA et de ses enjeux.

Associer plus étroitement le Parlement à son organisation

Afin de garantir une plus grande légitimité du futur sommet, l’Office demande que le Parlement soit plus étroitement associé à son organisation. La présence d’un député et d’un sénateur au sein du comité de pilotage du sommet serait un gage de crédibilité. Elle marquerait l’attention portée par les pouvoirs publics à l’indispensable dimension démocratique d’un encadrement de l’IA à l’échelle internationale.

Les propositions en faveur d’une véritable politique nationale de l’IA

Développer une filière française ou européenne autonome sur l’ensemble de la chaîne de valeur de l’intelligence artificielle

Un objectif doit mobiliser les pouvoirs publics nationaux et locaux, les décideurs économiques, les associations et les syndicats : viser le développement d’une filière française ou européenne autonome sur l’ensemble de la chaîne de valeur de l’intelligence artificielle, même sans chercher à rivaliser avec les puissances américaine et chinoise.

En effet, mieux vaut une bonne IA chez soi qu’une très bonne IA chez les autres. Que ce soit au niveau européen, dans le cadre de l’UE ou avec une coopération renforcée entre quelques pays, ou directement au niveau national, la France doit relever ce défi de construire pour elle, en toute indépendance, les nombreux maillons de la chaîne de valeur de l’intelligence artificielle.

Mettre en place une politique publique de l’IA avec des objectifs, des moyens et des outils de suivi et d’évaluation

Pour être efficace, la stratégie nationale pour l’IA ne peut se passer d’objectifs clairement définis, de moyens réels dont une gouvernance digne de ce nom, et d’outils de suivi et d’évaluation. Ces éléments sont aujourd’hui cruellement absents des politiques publiques menées en France en matière d’IA. Plus largement, la politique de la Start-up Nation avec son bras armé la French Tech, trop élitiste et souvent inadaptée, est à abandonner au profit d’une politique de souveraineté numérique, cherchant à construire notre autonomie stratégique et à mailler les territoires.

Organiser le pilotage stratégique de la politique publique de l’IA au plus haut niveau

La stratégie nationale pour l’IA ne dispose pas d’une gouvernance digne de ce nom, il faudra mieux coordonner la politique publique nationale de l’intelligence artificielle et lui donner une réelle dimension interministérielle.

Former les élèves de l’école à l’Université, former les actifs et former le grand public à l’IA

Il est indispensable de lancer de grands programmes de formation à l’IA à destination des scolaires, des collégiens, des lycéens, des étudiants, des actifs et du grand public. Les politiques conduites en ce domaine par la Finlande sont des modèles à suivre. La démystification de l’IA est une première étape importante et nécessaire pour favoriser la diffusion de la technologie.

Accompagner le déploiement de ces technologies dans le monde du travail et la société, notamment par la formation permanente

S’il est difficile de prévoir l’impact précis que l’IA aura sur le marché du travail, il faut tout de même accompagner le déploiement de ces technologies, notamment l’IA générative, dans le monde du travail, en particulier par des programmes de formation permanente ambitieux. Des études qualitatives et quantitatives sur l’impact de l’IA sur l’emploi, le tissu social (dont les inégalités) et les structures cognitives devront également être régulièrement menées.

Lancer un grand dialogue social autour de l’intelligence artificielle et de ses enjeux

Le dialogue social par la négociation collective peut être renouvelé par l’introduction de cycles de discussions tripartites autour de l’IA et de ses enjeux. Une opération d’envergure nationale, comme un Grenelle de l’IA, pourrait également être organisée. Le dialogue social autour de l’IA devra se décliner dans les entreprises pour permettre une meilleure diffusion des outils technologiques et un rapport moins passionné à leurs conséquences.

Mobiliser et animer l’écosystème français de l’IA

Tous les acteurs de l’IA, la recherche publique et privée, les grands déployeurs de systèmes mais aussi l’ensemble des filières économiques doivent s’insérer dans une grande mobilisation générale. Le rapport préconise aussi des pôles d’animation régionaux. Des expériences étrangères peuvent être des sources d’inspiration comme la structure NL AI Coalition, créée par le gouvernement néerlandais, qui rassemble depuis cinq ans l’écosystème public et privé de l’IA aux Pays-Bas, avec le concours du patronat, des universités et des grands centres de recherche. Elle s’appuie sur sept centres régionaux.

Reconduire le programme « Confiance.ai » ou mettre en place un projet équivalent

Le programme « Confiance.ai » réunissait dans une logique partenariale de grands acteurs académiques et industriels français dans les domaines critiques de l’énergie, de la défense, des transports et de l’industrie et avait pour mission de permettre aux industriels d’intégrer des systèmes d’IA de confiance dans leurs process. Il ne coûtait pas cher et était efficace. Or il s’est interrompu en 2024. Il est proposé de le reconduire ou de mettre en place un projet équivalent.

Soutenir la recherche publique en intelligence artificielle selon des critères de transversalité et de diversification des technologies

La recherche privée en intelligence artificielle a pris beaucoup d’avance sur la recherche publique, mais cette dernière doit revenir dans la course. La soutenir davantage est un impératif. L’Office juge pertinent de l’orienter vers des activités transdisciplinaires et, plus globalement, transversales autour de « projets de recherche » en IA.

La diversification des technologies est également fondamentale : les avancées en IA se font par la combinaison et la recomposition de savoirs et de savoir-faire, pas par l’enfermement dans un modèle unique.

Par exemple, l’IA symbolique ne doit pas être abandonnée, elle peut s’hybrider avec les IA connexionnistes pour forger de nouvelles approches logiques, imbriquant le signifiant et le signifié, plus proches des raisonnements humains.

D’autres technologies permettant d’apporter plus de logique aux systèmes d’IA générative peuvent également inspirer de nouvelles perspectives pour la recherche, comme les modèles Mixture of Experts (MoE), des modèles de représentation du monde (World Models), la génération augmentée de récupération ou Retrieval Augmented Generation (RAG) ou encore les arbres de pensées ou Trees of Thoughts (ToT).

Pour paraphraser Rabelais qui écrivait que « Science sans conscience n’est que ruine de l’âme », on peut affirmer que « l’IA sans logique n’est qu’illusion d’intelligence ».

Relever le défi de la normalisation en matière d’intelligence artificielle

Il faut permettre à la France de défendre au mieux l’intérêt national ainsi que les intérêts de ses entreprises nationales en matière de normalisation de l’IA, ce qui implique de mobiliser davantage l’Afnor et le Cofrac.

La France doit également inviter ses partenaires européens à faire preuve d’une plus grande vigilance dans le choix de leurs représentants dans les comités responsables de la normalisation en IA : s’appuyer sur des experts issus d’entreprises extra-européennes, le plus souvent américaines ou chinoises, n’est pas acceptable.

S’assurer du contrôle souverain des données issues de la culture française et des cultures francophones et créer des bases de données autour des cultures francophones

Il s’agit d’un acte de résistance face à la domination linguistique et culturelle américaine, qui caractérise l’IA aujourd’hui et qui fait courir un risque grave d’uniformisation culturelle et d’appauvrissement linguistique. Les initiatives conduites par certains pays, en particulier l’Espagne, peuvent inspirer notre pays.

Préparer une réforme des droits de propriété intellectuelle, dont le droit d’auteur, pour les adapter à l’IA et surtout aux usages de l’IA générative

L’objectif d’une telle réforme sera à la fois de clarifier les régimes juridiques applicables, de protéger les ayants droit des données ayant servi à l’entraînement des modèles mais aussi les créateurs d’œuvres nouvelles grâce à l’IA.

Confier à l’OPECST le suivi et l’évaluation régulière de la politique publique conduite par le Gouvernement

Les aspects scientifiques et technologiques de l’intelligence artificielle ainsi que les enjeux qu’ils soulèvent appellent une expertise à la croisée des mondes politique et scientifique, ce qui est la mission de l’OPECST. C’est pourquoi, comme l’avait d’ailleurs proposé la commission des lois de l’Assemblée nationale dans un rapport, il semble judicieux de confier à l’OPECST le suivi permanent des questions relatives à l’intelligence artificielle.

Avant-propos

Le présent rapport répond à une saisine de l’Office par les bureaux de l’Assemblée nationale et du Sénat en juillet 2023, ce qui est exceptionnel[1]. Il s’agissait de manifester un soutien au plus haut niveau des deux assemblées aux travaux de l’OPECST à l’occasion de son 40e anniversaire. Quatre rapporteurs ont été désignés le 26 octobre 2023 dans une composition doublement paritaire : deux députés et deux sénateurs, deux femmes et deux hommes. Ils représentaient, de plus, la diversité de l’éventail politique national.

Le présent rapport n’est pas le premier travail de l’Office sur le thème de l’intelligence artificielle : en 2016 et 2017, nos anciens collègues Claude de Ganay et Dominique Gillot ont ainsi conduit des investigations très poussées sur ce sujet d’intérêt capital. Le rapport pionnier qu’ils ont rendu au nom de l’Office[2] a marqué l’histoire des analyses relatives à ces technologies et il y sera parfois renvoyé dans le cadre des développements du présent rapport.

Ce rapport exigeait, dans une modernité notable face à l’évolution rapide de ces techniques et du vocabulaire qui leur est associé, que l’ensemble de ces technologies soient en effet « maîtrisées, utiles et fassent l’objet d’usages conformes à nos valeurs humanistes »[3] : même si le fait de concevoir des machines réellement intelligentes restait surtout selon eux une préoccupation de long terme, la « question de savoir comment aligner les valeurs de ces machines avec les valeurs morales humaines mérite d’être posée dès aujourd’hui » disaient très sagement nos collègues.

Leur rapport a même apporté quelques réponses solides et argumentées à la question tout en précisant que ses préconisations devraient être « remises en débat au fur et à mesure des nouvelles découvertes scientifiques, de leurs transferts et de leurs usages ». Les deux rapporteurs tenaient surtout à ce que « le point d’équilibre qu’ils ont cherché à atteindre dans leur rapport puisse évoluer, en fonction des évolutions du contexte résultant du jeu de ces variables »[4].

Parmi les 15 propositions de ce rapport en mars 2017 figurait, par exemple, le fait de :

- favoriser des algorithmes et des robots sûrs, transparents et justes ;

- prévoir une charte de l’intelligence artificielle et de la robotique ;

- confier à un institut national de l’éthique de l’intelligence artificielle et de la robotique un rôle d’animation du débat public sur les principes éthiques qui doivent encadrer ces technologies ;

- encourager la constitution de champions européens en intelligence artificielle et en robotique ;

- redonner en IA une place essentielle à la recherche fondamentale et revaloriser la place de la recherche publique par rapport à la recherche privée ;

- mobiliser la communauté française de la recherche en intelligence artificielle ;

- accompagner les transformations du marché du travail en menant une politique de formation continue ambitieuse visant à s’adapter aux exigences de requalification et d’amélioration des compétences ;

- élargir l’offre de cursus et de modules de formation aux technologies d’intelligence artificielle dans l’enseignement supérieur et créer, en France, au moins un pôle d’excellence international et interdisciplinaire en IA ;

- former à l’éthique de l’intelligence artificielle et de la robotique dans les cursus spécialisés de l’enseignement supérieur :

- former à l’informatique dans l’enseignement primaire et secondaire ;

- former et sensibiliser le grand public à l’intelligence artificielle et à ses conséquences pratiques ;

- assurer une meilleure prise en compte de la diversité et de la place des femmes dans la recherche en intelligence artificielle.

Ces propositions, quand elles n’ont pas encore été traduites dans les faits, restent d’actualité.

Le dernier point a, par exemple, justifié l’organisation au Sénat d’une audition sur la place des femmes dans l’intelligence artificielle, le 7 mars 2024, au cours de laquelle on s’est demandé pourquoi on dénombrait si peu de femmes dans les métiers de l’IA[5].

Le présent rapport répond à une saisine assez précise puisqu’il s’agit de traiter des « nouveaux développements » de l’IA, ceux intervenus en particulier depuis le premier rapport de 2017.

Et de nouveaux développements, il y a eu. Les innovations s’accélèrent trimestre après trimestre. Depuis quelques années, on observe en effet que les cycles de révolution en IA sont en moyenne de trois mois.

En septembre 2017, quelques mois après la publication du rapport de l’OPECST, une nouvelle architecture d’intelligence artificielle était ainsi proposée par des chercheurs de Google : les Transformers. Ces algorithmes, comprenant des centaines de milliards voire des milliers de milliards de paramètres sont devenus des systèmes d’IA générative accessibles au grand public et ont notamment abouti à des applications populaires telles que ChatGPT, lancée en novembre 2022 et à laquelle le titre du rapport fait un clin d’œil appuyé en se demandant ce qui se joue au-delà de cette application en elle-même.

Ces technologies, capables de générer du texte, des images ou d’autres contenus en réponse à des commandes en langage naturel (ou prompts en anglais), représentent une nouvelle étape significative dans la longue histoire de l’intelligence artificielle et posent de nouvelles questions à nos sociétés.

Si c’est au milieu du XXe siècle, en même temps que l’informatique, que se développe et qu’apparaît formellement la notion d’intelligence artificielle, il ne fait aucun doute que les sept dernières années ont marqué une étape fondamentale dans les progrès de ces technologies. Ce constat valide près de 80 ans après le propos de Georges Bernanos placé en ouverture liminaire du présent rapport, qui nous rappelle avec un ton mi-positiviste, mi-nostalgique, que « le progrès n’est plus dans l’homme, il est dans la technique, dans le perfectionnement des méthodes capables de permettre chaque jour une utilisation plus efficace du matériel humain »[6]. À l’heure des IA génératives, cette phrase nous a semblé faire écho à la riche actualité de ces systèmes de plus en plus présents dans nos vies et dans nos sociétés.

Après le premier rapport de l’Office sur l’IA rendu public en mars 2017, il est nécessaire de remettre l’ouvrage sur le métier pour analyser le fonctionnement de ces nouvelles IA et leurs défis, sans chercher à récapituler tous leurs domaines d’application et leurs cas d’usage, qui sont innombrables.

Cette nécessité apparaît d’autant plus grande que très peu de travaux parlementaires sont consacrés à l’intelligence artificielle. Outre le rapport de l’Office précité, on peut relever un ensemble de travaux de la délégation à la prospective du Sénat[7] et le rapport d’information de la commission des lois de l’Assemblée nationale déposé le 14 février 2024 en conclusion des travaux de sa mission d’information sur les défis de l’intelligence artificielle générative en matière de protection des données personnelles et d’utilisation du contenu généré dont les rapporteurs étaient nos collègues députés Philippe Pradal et Stéphane Rambaud[8]. Deux autres rapports établis au nom de la commission des affaires européennes du Sénat et proposant des résolutions en réponse à la stratégie européenne pour l’intelligence artificielle de la Commission européenne en 2019[9] et à la proposition de règlement européen sur l’intelligence artificielle en 2023[10] peuvent aussi être mentionnés. En outre, la commission des lois du Sénat a mis en place une mission d’information sur le point de rendre un rapport sur l’impact de l’IA sur les professions du droit[11].

Vos rapporteurs ont voulu fournir des éléments de réponse à plusieurs interrogations. Comment fonctionnent ces technologies, en particulier les IA génératives ? Quels avantages et quels inconvénients présentent-elles ? Quels biais persistent dans l’usage des données et dans les programmations ? Posent-elles des difficultés en termes de souveraineté, de sécurité ou de régulation ? Quelles gouvernances nationales, européennes voire internationales sont mises en place ? Faut-il faire évoluer ces cadres de régulation ? Si oui, dans quelles directions ? Comment la France doit-elle se positionner par rapport à ces enjeux de gouvernance et par rapport aux évolutions technologiques et économiques en cours ? Et quelles perspectives la recherche permet-elle de dessiner pour le futur ? Va-t-on vers l’intelligence artificielle générale (IAG), voire vers une IA qui nous serait même supérieure ? Dans cette perspective, appelée singularité, devons-nous considérer que nous aurons à faire face à un risque existentiel ?

Première partie Comprendre les technologies d’intelligence artificielle

Vos rapporteurs ont jugé indispensable, pour traiter des nouveaux développements de l’IA depuis 2017, de retracer tout d’abord l’histoire de ces technologies, en mettant l’accent sur leur fonctionnement ainsi que sur le contenu et les contours du concept d’IA.

Avant même d’évoquer l’histoire de l’intelligence artificielle, il est proposé de reconstruire brièvement sa préhistoire.

Cette archéologie du savoir – pour reprendre la démarche de Michel Foucault – est utile en ce qu’elle permet d’identifier l’ensemble des représentations et des enjeux qui relèvent de ces technologies, en particulier d’un point de vue culturel. Ces perceptions traditionnelles de l’IA, qui peuvent être certes différentes de la réalité effective de ces technologies, influencent du reste la façon dont ces dernières sont conçues.

Ainsi que l’exprimait Marie Curie « dans la vie, rien n’est à craindre, tout est à comprendre », alors plutôt que de s’épouvanter en débattant des risques que ferait courir l’IA, il est en effet primordial en suivant l’invite de Marie Curie (un prompt dirait-on en anglais) de commencer par chercher à comprendre ce que recouvre exactement la notion d’intelligence artificielle et d’appréhender avec rigueur le fonctionnement de ces technologies complexes.

C’est là tout l’objet de cette première partie.

I. Histoire de la notion d’intelligence artificielle

A. La préhistoire de l’intelligence artificielle et ses représentations culturelles

En 2021, a été mis en place un séminaire pluridisciplinaire autour de l’histoire culturelle de l’intelligence artificielle[12], quelques années après le rapport précité de l’OPECST qui, en 2017, jugeait nécessaire, pour mieux comprendre les IA modernes, de les replacer dans le contexte des incarnations de l’intelligence artificielle qui ont jalonné notre longue histoire, qu’il s’agisse de mythes anciens ou de projets imaginés par des écrivains et des scientifiques[13].

Le Conseil d’État explique dans une étude sur l’IA[14] que « la très forte charge symbolique de l’expression intelligence artificielle, ainsi que l’absence de définition partagée et de consensus sur le contenu même de la notion, contribuent puissamment à la confusion et compliquent l’examen rationnel des avantages et des inconvénients de ce qui est, d’abord et avant tout, un ensemble d’outils numériques au service de l’humain ». Démystifier l’IA impose de déconstruire les apports culturels ayant produit la cristallisation de cette très forte charge symbolique.

1. De la mythologie antique aux machines à calculer

Il est fait mention dès l’Égypte ancienne de statues articulées, animées par la vapeur et par le feu, qui hochaient la tête et bougeaient les bras, véritables ancêtres des automates. Homère a décrit dans L’Iliade des servantes en or douées de raison : « Fabriquées par Héphaïstos, le dieu forgeron, elles ont, selon le poète, voix et force ; elles vaquent aux occupations quotidiennes à la perfection, car les immortels leur ont appris à travailler. Ce sont donc des robots, au sens étymologique de travailleurs artificiels » ainsi que le rappelle Jean-Gabriel Ganascia, entendu par vos rapporteurs. Ovide dans ses « Métamorphoses » crée la figure de Galatée, statue d’ivoire sculptée par Pygmalion et à laquelle Vénus, déesse de l’amour, accepte de donner vie. La Bible, par le Psaume 139:16, a fondé le mythe du Golem, cette créature d’argile humanoïde que l’on retrouve souvent dans la tradition cabalistique juive.

Parallèlement à ces développements mythologiques, la science tâtonne pendant des siècles mais pose tout de même des jalons concernant la future intelligence artificielle. Ces technologies d’IA sont filles des mathématiques et se basent sur des algorithmes[15].

Le mot algorithme est issu de la latinisation du nom du mathématicien Al-Khawarizmi, dont le titre d’un des ouvrages (« Abrégé du calcul par la restauration et la comparaison »), écrit en arabe entre 813 et 833, est également à l’origine du mot algèbre. Il est le premier à proposer des méthodes précises de résolution des équations du second degré, du type « ax² + bx + c =0 ».

La longue histoire des algorithmes est bien décrite par Serge Abiteboul et Gilles Dowek, dans leur ouvrage Le temps des algorithmes. Ils y rappellent que les algorithmes sont utilisés depuis des milliers d’années : Euclide a inventé en l’an 300 avant notre ère un algorithme de calcul du plus grand diviseur commun de deux nombres entiers. Pour se représenter au sens familier ce qu’est un algorithme, il faudrait penser à une sorte de recette de cuisine : en suivant une série d’instructions, un ensemble d’ingrédients (les inputs) permettent de parvenir à un plat précis (les outputs).

En 1495, en vue de festivités organisées à Milan, Léonard de Vinci imagine puis construit, bien que ce dernier point reste débattu, un « chevalier mécanique », sorte de robot automate revêtu d’une armure médiévale. Sa structure interne en bois, avec quelques parties en métal et en cuir, était actionnée par un système de poulies et de câbles.

Avec ses « animaux-machines », René Descartes proposa, quant à lui, dans la première moitié du XVIIe siècle, de reproduire artificiellement les fonctions biologiques, y compris la communication et la locomotion. Blaise Pascal à 19 ans réfléchit à la création d’une machine à calculer mécanique et, trois ans plus tard, aboutit à la création en 1645 de sa « machine d’arithmétique », initialement désignée ainsi puis dénommée roue pascaline et, enfin, pascaline. Projet qu’il abandonnera tout comme ses autres entreprises scientifiques pour se consacrer à l’étude de la philosophie et à la religion[16]. À la fin du XVIIe siècle, Gottfried Leibniz imagine ensuite une machine à calculer capable de raisonner. Il construit lui aussi un prototype de machine à calculer en 1694, basée sur un cylindre cannelé[17].

Pendant le siècle des Lumières, le philosophe français Julien de la Mettrie anticipe le jour où les progrès de la technique permettront de créer un homme-machine tout entier, à l’âme et au corps artificiels. L’abbé Mical et Kratzenstein imaginent une machine à parler en 1780, bientôt construite par le baron Von Kempelen grâce à une cornemuse à tuyaux multiples, aujourd’hui propriété du « Deutsches Museum » de Munich.

Au milieu du XIXe siècle, le logicien britannique George Boole appelle à mathématiser la logique en faisant du raisonnement déductif une série de calculs[18], l’économiste britannique William Stanley Jevons inspiré par Boole imagine puis construit un piano mécanique capable de raisonner selon des prémisses de logique pure[19] et, surtout, le mathématicien britannique Charles Babbage conçoit, avec sa « machine analytique », l’ancêtre mécanique des ordinateurs modernes[20] en associant les inventions de Pascal et de Jacquard : à savoir, d’une part, la machine à calculer, d’autre part, les programmes des métiers à tisser inscrits sur des cartes perforées. C’est sur cette machine, qu’à 27 ans, Ada Lovelace écrit en 1842 le premier véritable programme informatique[21], selon le calcul des nombres de Bernoulli, allant au-delà du simple calcul numérique. Celle que son père Lord Byron appelait, enfant, la princesse des parallélogrammes avait choisi, par passion pour les mathématiques, et dès ses 17 ans, de s’associer aux recherches de Babbage, dont elle travaillera à la promotion jusqu’à sa mort prématurée en 1852.

En 1870, dans son ouvrage ambitieux en deux volumes De l’Intelligence, Hippolyte Taine propose de traiter les facultés cognitives à travers des lois mathématiques comme on le ferait pour n’importe laquelle des sciences expérimentales, dont la physique. Pour lui, « la perception extérieure est une hallucination vraie » et « tous les problèmes concernant un être quelconque, moral ou physique, seraient au fond des problèmes de mécanique ».

2. Un thème traditionnel de la science-fiction

Dès 1818, Mary Shelley publie son roman « Frankenstein ou le Prométhée moderne », dans lequel elle imagine un savant capable de créer un être artificiel, le monstre Frankenstein. Jules Verne, dans son roman, La Maison à vapeur, paru en 1880, imagine un éléphant à vapeur géant capable de traverser l’Inde, sur terre, comme sur l’eau. Sa machine n’est cependant pas autonome.

Alors qu’Isaac Asimov affirmait que l’« on peut définir la science-fiction comme la branche de la littérature qui se soucie des réponses de l’être humain aux progrès de la science et de la technologie », force est de constater que l’intelligence artificielle est un thème de science-fiction particulièrement fécond pour la littérature, le cinéma et les jeux vidéo.

Dans le célèbre roman Erewhon de Samuel Butler, paru en 1872, en particulier dans les trois chapitres qui forment The Book of the Machines, les machines sont douées d’une intelligence comparable à celle des êtres humains et risquent de nous dépasser. Quelques années plus tôt, sous le pseudonyme de Cellarius, dans un article publié le 13 juin 1863 dans le journal néo-zélandais The Press et intitulé « Darwin among the Machines », il jugeait inéluctable qu’à long terme « les machines détiendront la réelle suprématie sur le monde et ses habitants, c’est ce qu’aucune personne d’un esprit vraiment philosophique ne peut un instant remettre en question »[22]. Il concluait en appelant à la destruction de toutes les machines dans cette guerre à mort.

En 1920, le terme « robot » apparaît avec la pièce de théâtre de science-fiction de Karel Čapek « R. U. R. Rossum’s Universal Robots », ce néologisme ayant été créé par son frère Josef à partir du mot tchèque robota qui signifie travail. Arthur C. Clarke met l’ordinateur CARL au centre de l’intrigue de ses romans La Sentinelle, en 1951, À l’aube de l’histoire, en 1953, et 2001, L’Odyssée de l’espace, en 1968.

L’un des pères fondateurs de l’IA, Marvin Minsky en l’occurrence, servit d’ailleurs de conseiller à Stanley Kubrick et à Arthur C. Clarke pour l’adaptation de ces romans au cinéma, avec l’une des premières apparitions de l’IA dans la culture populaire : l’ordinateur CARL rebaptisé HAL 9000, dans le film 2001 : l’Odyssée de l’espace, sorti en 1968. Dans ce film, la communication avec l’ordinateur passe par une interface de synthèse vocale qui permet d’interagir avec le système par le langage naturel. Son nom correspond à un rétrodécalage de chacune des lettres d’IBM et l’acronyme signifie Heuristically programmed ALgorithmic Computer, dont on serait à la version 9000.

Les nombreux ouvrages devenus des classiques d’Isaac Asimov et d’Arthur C. Clarke, mais aussi de Philip K. Dick, de William Gibson, de Frank Herbert, de Francis Rayer ou de Iain Banks, illustrent cet intérêt marqué de la science-fiction pour le thème de l’IA, intérêt qui se poursuit aujourd’hui comme en témoignent les romans de Becky Chambers ou d’Alain Damasio[23].

L’intelligence artificielle est aussi omniprésente au cinéma, et ce depuis 1927, avec de nombreux films, comme par exemple, chronologiquement : « Metropolis », « 2001 : l’Odyssée de l’espace », « Le Cerveau d’acier », « THX 1138 », « Mondwest », « Les Femmes de Stepford », « Les Rescapés du futur », « Génération Proteus », « Star Wars », « Blade runner », « Alien », « Tron », « Wargames », « Terminator », « Virtuosity », « Matrix », « L’Homme bicentenaire », « A.I. », « I, Robot », « Iron Man », « Wall-E », « Eva », « The Machine », « Transcendance », « Chappie », « Her », « Ex Machina », « Ghost in the Shell », « Interstellar », ou, encore, « Ready Player One ».

Des séries télévisées comme « Lost in Space », « Star Trek : La Nouvelle Génération », « Battlestar Galactica », « K 2000 », « Person of interest », « Emma », « Westworld », « Silicon Valley », « Better than us », « Star Wars : The Clone Wars » ou, surtout, « Black Mirror », « Real Humans » et « Humans » ont également exploité ce sujet.

Les thèmes de l’hostilité de l’intelligence artificielle ou des risques que cette dernière ferait courir à l’espèce humaine sont souvent au cœur de l’intrigue de ces œuvres. Des chercheurs de l’Université de Cambridge ont quant à eux identifié, en 2019, sur le fondement de l’étude de 300 œuvres, quatre thèmes principaux dans les fictions représentant l’IA : l’immortalité, l’espoir d’une vie libérée du travail, la satisfaction de nos désirs et, surtout, la soif de domination[24]. Leur analyse conclut sur l’idée que toutes ces perceptions des possibilités ouvertes par l’IA, qui peuvent être assez éloignées de la réalité des technologies, peuvent toutefois influencer la façon dont elles sont développées, déployées et réglementées.

B. Les avancées depuis un siècle : du baptême de 1956 à la confirmation de 2017

1. L’école d’été de Dartmouth de 1956, le moment fondateur de la définition de l’IA

L’intelligence artificielle a fêté cet été son soixante-huitième anniversaire, puisqu’elle est inventée en tant que concept et discipline en 1956 à l’occasion d’une école d’été qui a rassemblé les pères fondateurs de la discipline pendant huit semaines.

Le concept a fait l’objet de longs débats et il est dit a posteriori que le choix du mot doit beaucoup à la quête de visibilité de ce nouveau champ de recherche. Parler d’intelligence artificielle a pu apparaître comme plus séduisant que de parler d’informatique avancée ou des sciences et technologies du traitement automatisé de l’information. L’anthropomorphisme essentialiste[25] qui est exprimé par le choix du concept d’« intelligence artificielle » n’a sans doute pas contribué à apaiser les peurs suscitées par le projet prométhéen de construction d’une machine rivalisant avec l’intelligence humaine, même si ce n’était pas le projet en 1956 de cette discipline, dont l’ambition plus modeste était de simuler tel ou tel aspect de nos fonctions cognitives dites « intelligentes ».

Avant cet événement qui lui donna son nom, l’intelligence artificielle avait déjà été imaginée par les pères fondateurs de l’informatique moderne.

Dès 1936, Alan Turing pose ainsi les fondements théoriques de l’informatique et introduit les concepts de programme et de programmation. Il imagine en effet, à ce moment, un modèle de fonctionnement pour un appareil doté d’une capacité élargie de calcul et de mémoire, en recourant à l’image d’un ruban infini muni d’une tête de lecture/écriture. Un tel appareil sera appelé « machine de Turing », précurseur théorique de l’ordinateur moderne.

Puis, après avoir décrypté à Bletchley Park en 1942 le code nazi Enigma[26], dans un article paru en 1950[27], Alan Turing explore le problème de l’intelligence artificielle et propose une expérience dénommée « the imitation game », maintenant connue sous le nom de « test de Turing », qui est une tentative de définition, à travers une épreuve, d’un critère permettant de qualifier une machine d’« intelligente »[28]. Il fait alors le pari que les machines vont réussir son test à moyen terme : « d’ici à cinquante ans, il n’y aura plus moyen de distinguer les réponses données par un homme ou un ordinateur, et ce sur n’importe quel sujet ». Cette prophétie d’Alan Turing quant aux progrès connus en l’an 2000 est en cours de réalisation aujourd’hui avec les IA génératives, certes avec 25 ans de retard mais c’est en réalité très peu au regard du rythme global du progrès technique.

C’est au milieu du XXe siècle, en 1955, en même temps que l’informatique se développe, qu’apparaît formellement une première fois la notion d’« intelligence artificielle » avec une définition peu connue proposée alors par John McCarthy, à ce moment jeune professeur assistant de mathématiques au Collège de Dartmouth. Il propose d’en faire :

« la science et l’ingénierie de la fabrication de machines intelligentes ».

On notera le caractère double de l’IA dès cette première définition : discipline scientifique et savoir-faire pratique pour assurer la production de produits. Mais, surtout, le problème de cette définition est qu’elle est récursive, elle tourne sur elle-même : l’intelligence artificielle est définie par la science et la fabrication de « machines intelligentes », dont la présence permettrait d’identifier l’intelligence artificielle. Elle n’est donc pas satisfaisante. Une autre définition de l’IA sera donnée un an plus tard, à l’occasion d’une école d’été qu’il organise et qui est intitulée « The Dartmouth Research Project on Artificial Intelligence ».

Lors d’une conférence au Collège de Dartmouth à l’été 1956, l’intelligence artificielle est en effet définie et actée comme un champ de recherche au sein de l’informatique.

Cette école d’été de huit semaines, organisée par John McCarthy et Marvin Minsky, mais surtout soutenue par la fondation Rockefeller, par Nathan Rochester, alors directeur scientifique d’IBM, et par Claude Shannon, ingénieur, mathématicien, chercheur aux laboratoires Bell et père des théories de l’information et de la communication, offre d’abord à John McCarthy l’occasion de convaincre la vingtaine de chercheurs y participant d’accepter l’expression « intelligence artificielle » en tant que nouveau nom pour ce domaine de recherche. La conférence pose donc les bases axiomatiques de l’IA dès 1956 avec l’idée que « la discipline se fonde sur l’hypothèse que chaque aspect de l’apprentissage ou toute autre caractéristique de l’intelligence peut en principe être décrit avec une telle précision qu’une machine peut être conçue pour le simuler ».

La rigueur pousse à observer que le projet n’est pas, en réalité, de construire une machine rivalisant avec l’homme mais de simuler telle ou telle tâche que l’on réserve habituellement à l’intelligence humaine. Il est alors affirmé que tout aspect de l’intelligence humaine peut être décrit de façon assez précise pour qu’une machine le reproduise en le simulant.

À l’occasion de cette conférence, une nouvelle définition du concept est donnée par Marvin Minsky, qui a l’avantage de ne pas être récursive et de mettre l’accent sur le fait que l’IA reste de l’informatique et sur l’aspect dynamique de ces technologies (« pour l’instant »), même si elle reste floue et peu rigoureuse :

« Construction de programmes informatiques capables d’accomplir des tâches qui sont, pour l’instant, accomplies de façon plus satisfaisante par des êtres humains ».

Le projet d’école d’été de Dartmouth et quelques-uns de ses participants

Source : https://akin-agunbiade.medium.com/the-first-wave-of-ai-1956-1973-f10860a807f9

Cette idée directrice a contribué à définir les travaux en intelligence artificielle qui ont suivi. Toutefois, lors de son audition devant vos rapporteurs, Jean-Gabriel Ganascia, professeur émérite à Sorbonne-Université et président du comité d’éthique du CNRS a souligné qu’il ne s’agit là que de la définition scientifique de l’IA, en tant que domaine de recherche mais que le terme « intelligence artificielle » peut également avoir une définition technologique et une conception populaire, qui substantialise l’IA et prête un esprit aux machines. Outre la définition initiale de Marvin Minsky de 1955 – qui parlait de la construction de programmes informatiques capables d’accomplir des tâches du niveau de l’intelligence humaine – une des définitions technologiques les plus consacrées est élaborée par Peter Norvig et Stuart Russell dans le manuel de référence de la discipline depuis une trentaine d’années[29] : « Agents qui perçoivent depuis leur environnement et exécutent des actions en conséquence ». On retrouve la dualité évoquée en 1955 dans la première définition oubliée de l’IA proposée par John McCarthy : à la fois une science ET une ingénierie de la fabrication de machines.

Cette définition technologique, même si elle paraît vague, permet d’englober l’ensemble des systèmes d’IA, du robot conversationnel Eliza à l’IA d’IBM Watson ou encore les systèmes d’intelligence artificielle générative actuels comme ChatGPT.

En effet, les robots conversationnels reçoivent, du côté des perceptions, des intrants sous la forme des instructions de l’utilisateur, et génèrent des textes, du côté des actions, en réponse à ces invites.

L’OCDE donne de l’IA une définition assez proche puisqu’elle affirme qu’un système d’IA est un « système qui fonctionne grâce à une machine et est capable d’influencer son environnement en produisant des résultats (tels que des prédictions, des recommandations ou des décisions) pour répondre à un ensemble donné d’objectifs. Il utilise les données et les intrants générés par la machine et/ou apportés par l’homme afin de (i) percevoir des environnements réels et/ou virtuels ; (ii) produire une représentation abstraite de ces perceptions sous forme de modèles issus d’une analyse automatisée (ex. l’apprentissage automatisé) ou manuelle ; et (iii) utiliser les déductions du modèle pour formuler différentes options de résultats. Les systèmes d’IA sont conçus pour fonctionner de façon plus ou moins autonome »[30]. L’Union européenne reprend le cadre proposé par l’OCDE. Enfin, il existe une conception populaire de l’IA, la plus problématique, qui n’est pas scientifique et correspond malheureusement au sens commun de ce que l’opinion va intuitivement considérer comme étant l’intelligence artificielle. Cette définition, floue et nourrie par la science-fiction, substantialise l’IA dans un biais anthropomorphique et lui rattache des concepts comme l’IA générale, la singularité technologique ou la perspective de robots qui nous dépassent, le risque de prise de pouvoir par les machines, la volonté de dominer l’homme.

Cette définition, plus proche de la magie que de la technologie, prête à l’IA une conscience, lui associe une sorte d’esprit que pourrait avoir la machine. Bien qu’elle n’ait rien de scientifique, cette définition, puisqu’elle est populaire, est vectrice de représentations et de récits catastrophistes qui sont instrumentalisés par certains acteurs souhaitant véhiculer l’idée selon laquelle les IA constitueraient un danger pour l’humanité. En réalité, on l’a vu avec les deux définitions précédentes plus objectives, cette vision mystifiée est erronée. Vos rapporteurs renvoient à la lecture du rapport de l’OPECST de 2017 sur l’IA qui abordait déjà cette question et apportait des pistes pour la démystification de l’IA et de ces représentations.

2. Printemps et Hivers de l’IA

Outre John McCarthy et Marvin Minsky, les participants à l’école d’été de Dartmouth de 1956, tels que Ray Solomonoff, Oliver Selfridge, Trenchard More, Arthur Samuel, Allen Newell et Herbert Simon, ayant posé comme conjecture que « tout aspect de l’intelligence humaine peut être décrit de façon assez précise pour qu’une machine le reproduise en le simulant », discutent ensuite des possibilités de créer des programmes d’ordinateur qui se comportent intelligemment, c’est-à-dire qui résolvent des problèmes dont on ne connaît pas de solution algorithmique simple.

Tel est le programme que se donnent ces chercheurs américains et qui va recevoir le soutien décisif des autorités fédérales américaines.

Dans les années suivantes, les chercheurs mettent ainsi au point de nouvelles techniques informatiques généreusement financées par l’agence américaine pour les projets de recherche avancée de défense du ministère de la défense (Defense Advanced Research Projects Agency ou DARPA), mais aussi par IBM :

- le langage de programmation Lisp en 1958, l’un des plus anciens langages de programmation[31], premier programme à mobiliser des symboles plutôt que des nombres et qui a fait émerger la notion d’heuristique (méthode permettant de donner rapidement des solutions satisfaisantes à un problème d’optimisation complexe, sans aboutir nécessairement à des solutions optimales) ;

- une première concrétisation des réseaux de neurones artificiels, sous la forme du Perceptron, dont Marvin Minsky souligne dès son invention les limites théoriques ;

- un programme qui joue aux dames et met en œuvre un apprentissage lui permettant de jouer de mieux en mieux…

Toutes ces découvertes rendent alors les pères fondateurs de l’intelligence artificielle très optimistes, peut-être trop.

En 1958, Herbert Simon et Allen Newell déclarent ainsi que « d’ici à dix ans un ordinateur sera le champion du monde des échecs » et même que « d’ici à dix ans, un ordinateur découvrira et résoudra un nouveau théorème mathématique majeur » : il faudra, en réalité, attendre 1997 pour que le champion d’échecs Garry Kasparov s’incline devant le système Deep Blue d’IBM et 2023 pour qu’un modèle d’IA parvienne à résoudre un problème mathématique jusqu’alors non résolu par l’homme[32].

La représentation des connaissances et le langage objet sont au cœur de l’intelligence artificielle des années 1960. Dès 1960, deux chercheurs norvégiens Ole-Johan Dahl et Kristen Nygaard inventent le premier langage orienté objet, appelé SIMULA. Ces approches seront ensuite mis au service de l’informatique dans les années 1970, avec des résultats remarquables permettant les progrès connus vers les ordinateurs modernes.

En 1960, Joseph Carl Robnett Licklider – qui, à travers Arpanet dans les années 1970, fondera les bases d’Internet – rédige un article sur le rapprochement homme-machine (qu’il nomme « Man-Computer Symbiosis ») et souligne le besoin d’interactions simplifiées entre les ordinateurs et leurs utilisateurs. Il y taille en pièces l’idée d’une IA concurrençant ou a fortiori remplaçant l’homme : « les hommes fixeront les buts, formuleront des hypothèses, détermineront des critères et exécuteront les évaluations. Les ordinateurs feront le travail que l’on peut mettre en routine qui doit être fait pour préparer les idées et les décisions liées à la pensée technique et scientifique »[33].

En 1965, Herbert Simon assure de manière très optimiste que « des machines seront capables, d’ici à vingt ans, de faire tout travail que l’homme peut faire ». En 1967, Marvin Minsky estime que « dans une génération [...] le problème de la création d’une intelligence artificielle sera en grande partie résolu » et en 1970 que « dans trois à huit ans nous aurons une machine avec l’intelligence générale d’un être humain ordinaire ».

De même, le premier agent conversationnel (« chatbot » ou « bot ») est créé en 1966 par Joseph Weizenbaum et simule un psychothérapeute grâce à sa technologie de reconnaissance des formes. Il s’appelle « Eliza » et suscite un grand enthousiasme.

Mais ses capacités restent limitées, puisqu’il est incapable de vraiment répondre aux questions posées, se contentant de continuer à faire parler son interlocuteur, dans une logique de relance. Tel un psychanalyste, il a surtout tendance à reformuler le plus souvent les propos de l’utilisateur sous un format interrogatif.

Une conversation avec Eliza, chatbot créé en 1966

Source : Norbert Landsteiner https: //fr.slideshare.net/ashir233/eliza-4615

« L’âge d’or » des approches symboliques et des raisonnements logiques se produit dans les années 1960 après la naissance de l’intelligence artificielle à Dartmouth. Recourant à des connaissances précises, telles que des logiques diverses ou des grammaires, ces formes d’intelligence sont dites explicites.

Apparaissent ensuite, les diverses modalités de formalisme logique, soit sous la forme de logique classique, de logique floue, de logique modale ou de logique non monotone.

L’IA symbolique pose alors que la logique mathématique peut en effet représenter des connaissances[34] et modéliser des raisonnements. Le principe de résolution permet d’automatiser ces raisonnements : pour démontrer une propriété, on montre que son contraire entraîne une contradiction avec ce qu’on sait déjà. La seule règle utilisée est celle du « détachement » ou modus ponens, figure du raisonnement logique concernant l’implication (exemple : « si p implique q et si p, alors q »). Cette méthode ne s’applique qu’à des cas simples, où la combinatoire n’est pas excessive. Fondé sur le même principe, le langage Prolog (acronyme de PROgrammation LOGique, qui permet de résoudre les problèmes par raisonnement à partir de règles de logique formelle) lève ces restrictions en permettant d’aborder des problèmes plus complexes.

Des difficultés subsistent pour traiter des connaissances vagues ou incomplètes. Devant ces limites, des extensions théoriques ont donné lieu à des logiques non classiques permettant d’exprimer plus d’éléments que dans la logique classique. Voulant étendre les possibilités de la logique classique, les logiques multivaluées gardent les mêmes concepts de base, hormis les valeurs de vérité, qui, selon les théories, varient de trois à un nombre infini de valeurs. La théorie des logiques floues étend ces logiques en considérant comme valeurs de vérité le sous-ensemble réel « [0,1] ». Elles permettent de traiter des informations incertaines (Jean viendra peut-être demain) ou imprécises (Anne et Brigitte ont à peu près le même âge).

Les logiques modales introduisent des notions comme la possibilité, la nécessité, l’impossibilité ou la contingence qui modulent les formules de la logique classique. La notion de vérité devient relative à un instant donné ou à un individu. On distingue ainsi ce qui est accidentellement vrai (contingence : Strasbourg est en France) de ce qui ne peut pas être faux (nécessité : un quadrilatère a quatre côtés). Diverses interprétations des modalités donnent lieu à des applications distinctes, dont les plus importantes sont les logiques épistémiques (savoirs, croyances), déontiques (modélisant le droit) et temporelles (passé, présent, futur).

Les connaissances n’étant pas universelles, on peut être conduit à des hypothèses et suppositions fausses, remises en cause à la lumière d’expériences ultérieures. Les logiques non monotones tiennent compte du fait que les exceptions sont exceptionnelles et formalisent les raisonnements où l’on adopte des hypothèses (tous les oiseaux volent) qui pourront être modifiées par des connaissances plus précises (mais pas les autruches).

On raisonne avec des règles du type : si a est vrai et si b n’est pas incohérent avec ce qu’on sait, on peut déduire c (si Titi est un oiseau et si j’ignore que c’est une autruche, il vole). On autorise ainsi la prise de décision malgré une information incomplète : des suppositions plausibles permettent certaines déductions ; si, à la lumière d’informations ultérieures, ces suppositions se révèlent fausses, on remettra en question les déductions précédentes (non-monotonie).

S’agissant des grammaires, le traitement automatique des langues est un des grands domaines de l’intelligence artificielle, qui vise l’application de ses techniques aux langues humaines. Très pluridisciplinaire, il collabore avec la linguistique, la logique, la psychologie et l’anthropologie. Les travaux en traitement automatique des langues ont donné lieu à la constitution de divers ensembles de données numériques (dictionnaires de langue, de traduction, de noms propres, de conjugaison, de synonymes ; grammaires sous diverses formes ; données sémantiques), ainsi qu’à divers logiciels (analyseurs et générateurs morphologiques ou syntaxiques, gestionnaires de dialogue…). Du point de vue conceptuel, ces travaux ont produit des théories grammaticales plus compatibles avec les questions d’informatisation, des théories formelles pour la représentation du sens des mots, des phrases, des textes et des dialogues, ainsi que des techniques informatiques spécifiques pour le traitement de ces éléments par un ordinateur.

De grands espoirs sont alors placés dans la compréhension du langage naturel, dans la vision artificielle, mais en fin de compte les résultats sont décevants, largement en raison des limitations de puissance du matériel disponible, des données à utiliser mais aussi des limites intrinsèques des technologies alors disponibles.

Ainsi, le Perceptron, dans lequel Frank Rosenblatt plaçait tant d’espérances, est rapidement critiqué. Le livre Perceptrons de Marvin Minsky et Seymour Papert, paru en 1969, démontre les limites théoriques des réseaux de neurones artificiels de l’époque[35] alors qu’aucune application industrielle du perceptron n’émerge. Cette technologie sera analysée plus loin.

Après cet âge d’or, qui court de 1956 au début des années 1970, les financements sont revus à la baisse en raison de différents rapports assez critiques : les prédictions exagérément optimistes des débuts ne se réalisent pas et les techniques ne fonctionnent que dans des cas simples. À l’évidence, les difficultés fondamentales de l’intelligence artificielle furent alors largement sous-estimées, en particulier la question de savoir comment donner des connaissances de sens commun à une machine. Les recherches se recentrent alors sur la programmation logique, les formalismes de représentation des connaissances et sur les processus qui les utilisent au mieux.

En dépit de cette réorientation, qui témoigne d’une certaine cyclicité des investissements en intelligence artificielle selon une boucle « espoirs-déceptions », Marvin Minsky et ses équipes du MIT (Massachusetts Institute of Technology) développent divers systèmes (Sir, Baseball, Student...) qui relancent les recherches sur la compréhension automatique des langues.

Au cours des années 1980, de nouveaux financements publics sont ouverts avec le projet japonais dit de « cinquième génération », le programme britannique Alvey, le programme européen Esprit et, surtout, le soutien renouvelé de la DARPA aux États-Unis. Les approches sémantiques sont alors en plein essor, en lien avec les sciences cognitives, ainsi que la représentation des connaissances, les systèmes experts et l’ingénierie des connaissances. Leurs usages dans le monde économique sont des signes de cette vitalité.

Après ce court regain d’intérêt, la recherche subit à nouveau un déclin des investissements. Les succès de cette approche restent en effet très relatifs car celle-ci ne fonctionne bien que dans des domaines trop restreints et trop spécialisés. L’incapacité de l’étendre à des problèmes plus vastes conduit à un désintérêt pour l’intelligence artificielle.

L’enthousiasme renouvelé dans les années 1980 autour des systèmes experts, de leurs usages et de l’ingénierie des connaissances précède donc un second « hiver de l’intelligence artificielle » dans les années 1990.

Pour autant, des découvertes scientifiques sont réalisées dans la période. Après la renaissance de l’intérêt pour les réseaux de neurones artificiels avec de nouveaux modèles théoriques de calculs, les années 1990 voient se développer les algorithmes et la programmation génétique ainsi que les systèmes multi-agents ou l’intelligence artificielle distribuée. La nécessité de métaconnaissances[36] émerge également.

En 1997, le système Deep Blue d’IBM bat le champion du monde d’échecs de l’époque, Garry Kasparov, qui était sorti victorieux lorsqu’il l’affronta une première fois en 1996. Ce superordinateur d’architecture massivement parallèle était capable d’évaluer au moins 200 millions de positions par seconde grâce à sa puissance de 11,4 gigaflops (soit 11 milliards d’opérations par seconde).

3. Les années 2010 : une décennie d’innovations et de progrès spectaculaires

Après Deep Blue en 1997, il faut attendre 2011 pour que les IA d’IBM refassent parler d’elles. Le système Watson participe ainsi au jeu télévisé américain Jeopardy – où il s’agit de trouver les questions correspondant à des réponses – qu’il remporte en face des plus grands champions du jeu et gagne un million de dollars. La puissance de calcul atteinte par Watson est alors de 80 téraflops, soit 80 000 milliards d’opérations par seconde. Il s’appuie sur 200 millions de pages de contenus qu’il mobilise en moins de trois secondes. On estime alors que Watson est le premier système à se rapprocher de l’objectif fixé par le test de Turing. Un an plus tard IBM commercialise Watson en solutions logicielles d’analyse pour les entreprises (business analytics). Les secteurs médicaux, financiers ou encore juridiques ont été des clients notables.

Entretemps, le secteur du numérique avait été bouleversé par la massification des usages d’Internet, à commencer par le Web. Ces évolutions ont posé un nouveau cadre favorisant le développement des technologies d’intelligence artificielle, avec une explosion des données mises en ligne, de nouvelles capacités de financement, des intérêts économiques puissants et une interconnexion des chercheurs, des développeurs et des entreprises. Si l’IA avance rapidement dans les années 2010, c’est assez largement grâce à ce contexte nouveau dessiné dans les années 2000 qui lui a permis de se développer de manière inédite.

En matière technologique, les années 2010 ont représenté la décennie du Machine Learning et du Deep Learning avec de nombreuses avancées assez spectaculaires. Ces innovations naissent quasiment par sérendipité à l’occasion d’un concours de reconnaissance d’images par ordinateur. C’est l’occasion de mobiliser les algorithmes déjà disponibles mais surtout de bénéficier d’un corpus de données de taille inédite.

Alors qu’acquérir des capacités satisfaisantes en reconnaissance visuelle avait toujours constitué une difficulté pour les IA, des progrès inédits sont alors enregistrés, représentant une avancée dans la résolution du paradoxe de Moravec, bien connu des spécialistes de l’IA. En effet, ce paradoxe, formulé par Hans Moravec dans les années 1980, montre que nos capacités de perception et de motricité nous semblent plutôt faciles et intuitives (comme la marche ou la reconnaissance d’objets) mais sont très difficiles à reproduire sous la forme d’intelligences artificielles tandis que des tâches cognitives de haut niveau (comme des calculs mathématiques complexes) sont très faciles pour elles.

La chercheuse Fei-Fei Li a ainsi commencé à travailler sur l’idée d’un jeu de données d’images annotées en 2006 (contenant par exemple l’information « il y a des chats dans cette image » ou « il n’y a pas de chats dans cette image »). Quatre ans plus tard, c’est sur la base de ce jeu de données (ou dataset) d’environ 1,5 million d’images annotées, appelé ImageNet, qu’a été organisé un concours annuel : ImageNet Large Scale Visual Recognition Challenge (ILSVRC).

Et c’est précisément au cours des années 2010, sous l’effet de cette compétition, que des progrès inédits dans le domaine du traitement des images sont enregistrés. En 2011, les plus faibles taux d’erreur de classification de cette compétition pour la reconnaissance d’images au sein du jeu de données étaient d’environ 25 %. En 2012, l’apprentissage profond permet de faire baisser ce taux à 16 %, et les deux années suivantes il tombe à quelques pour cent.

Les algorithmes basés sur les réseaux de neurones artificiels en couches profondes ont, de loin, triomphé de tous les autres algorithmes. La compétition autour d’ImageNet devient à ce moment une sorte de benchmark de tous les algorithmes développés.

Si l’on disposait bien des algorithmes efficaces, fondés surtout sur des architectures de type réseau de neurones artificiels et d’algorithmes de traitement, ce n’est qu’à ce moment-là, en conjuguant des calculs rapides sur des machines puissantes avec de larges bases de données labellisées, capables d’entraîner des modèles de grande dimension, que les IA connexionnistes sont reconnues comme efficaces. Les trois conditions du succès du Machine Learning étaient enfin remplies.

Ces systèmes, et parmi eux surtout ceux de Deep Learning, ont alors pu, grâce à la conjonction de ces trois facteurs, commencer à s’imposer face à toutes les autres méthodes, d’abord pour reconnaître les images et la voix, puis dans d’autres domaines, comme la traduction, avec des performances jamais obtenues auparavant. Ces systèmes passent alors par de longues étapes d’annotation des données, la labellisation est en effet indispensable dans ce contexte d’un apprentissage qui reste strictement supervisé. Un travail lourd réalisé par des annotateurs est donc nécessaire.

Les assistants personnels basés sur la reconnaissance de la parole, comme Siri (Apple), Alexa (Amazon), Cortana (Microsoft), Bixby (Samsung) ou Google Assistant, sont conçus et se déploient dans ce contexte précis des années 2010.

L’année 2014 est marquée par l’introduction des GAN (Generative Adversarial Networks) sur la base des travaux de Ian Goodfellow, permettant de créer des images réalistes grâce à l’IA.

En octobre 2015, le programme AlphaGo – entraîné à jouer au jeu de go grâce à une architecture élaborée par Google DeepMind couplant alors[37] apprentissage profond, apprentissage par renforcement et méthode de Monte-Carlo avec un réseau de valeur et un réseau d’objectifs – bat le champion européen Fan Hui par cinq parties à zéro.

En mars 2016, le même programme bat le champion du monde Lee Sedol par quatre parties à une. Cette victoire est une étape capitale car faire jouer une IA au go est un problème plus difficile que les échecs, non seulement car il existe un plus grand nombre de combinaisons possibles, mais surtout parce que la victoire finale et les objectifs intermédiaires sont beaucoup moins clairs, nécessitant des stratégies très complexes, passant notamment par le fait de perdre, voire par le bluff.

Ce dernier trait caractérise le poker, longtemps considéré comme un jeu inaccessible aux machines. Or, en 2017, le programme Libratus développé à l’université Carnegie-Mellon sort vainqueur d’un grand tournoi de poker l’opposant à plusieurs joueurs professionnels. Il repose sur un algorithme probabiliste adaptatif utilisant une variante de la technique de minimisation du regret hypothétique[38]. Par rapport aux dames, aux échecs ou au go, le poker présente en effet la particularité de devoir optimiser la stratégie de jeu sans disposer de données sur les moyens des adversaires, c’est-à-dire sans connaître les mains des autres joueurs.

L’année 2017 est aussi une année charnière car la plupart des pays du monde accélèrent leur engagement dans la course mondiale autour de l’IA et annoncent des stratégies sur l’IA, plus pour promouvoir ces technologies que pour les encadrer.

C’est, enfin, et peut-être surtout, l’année où est inventée l’architecture qui va faire progresser comme jamais les IA génératives et en particulier les grands modèles de langage, ou LLM (de l’anglais Large Language Model) : la technologie Transformer, véritable avancée pour l’intelligence artificielle, sujet au cœur du présent rapport et analysée plus loin. Si selon Laurent Alexandre, entendu par vos rapporteurs, le XXIe siècle ne naît qu’en 2022 avec ChatGPT, la date à retenir serait plutôt celle de l’année d’invention du modèle qui a rendu ChatGPT possible, soit la proposition de l’architecture Transformer en 2017.

C’est pourquoi si 1956 fait figure d’année de baptême de l’intelligence artificielle, 2017 en représente bien l’année de confirmation.

4. « L’intelligence artificielle n’existe pas » : la question de la « frontière » de l’IA

L’informatique constitue un domaine d’application privilégié des algorithmes. Mais son histoire ne se confond pas avec celle de ces derniers. Il en est de même pour l’histoire de l’intelligence artificielle, bien que ces trois histoires soient liées. Alors que l’informatique traitait traditionnellement de questions résolues par des algorithmes connus, l’intelligence artificielle s’était plutôt intéressée aux problèmes pour lesquels aucun algorithme satisfaisant n’existait encore.

Le paradoxe résultant de cette distinction est le suivant : dès qu’un problème est résolu par une technologie dite d’intelligence artificielle, l’activité correspondante tend à ne plus être considérée comme une preuve d’intelligence de la machine. Les cas les plus connus de résolutions de problèmes d’algèbre ou de capacité à jouer à des jeux (des jeux de dame ou d’échecs par exemple) illustrent ce phénomène. Nick Bostrom explique ainsi que « beaucoup d’intelligence artificielle de pointe a filtré dans des applications générales, sans y être officiellement rattachée car dès que quelque chose devient suffisamment utile et commun, on lui retire l’étiquette d’intelligence artificielle ».

Les progrès en matière d’intelligence artificielle étant tangibles depuis les années 1950, les frontières de l’intelligence artificielle sont donc sans cesse repoussées et ce qui était appelé intelligence artificielle hier n’est donc plus nécessairement considéré comme tel aujourd’hui. Dès l’origine, l’intelligence artificielle est bien une étiquette.

Ce label recouvre en réalité des technologies très diverses, dont il n’est pas possible de retracer toute la richesse et la diversité, le présent rapport se contentant d’en présenter les aspects les plus saillants.

La frontière de l’IA bougeant sans cesse, les algorithmes relevant de l’IA renvoient à des technologies dont les contenus ne sont pas stables dans le temps. C’est pourquoi certains ont recours à la formule « l’intelligence artificielle n’existe pas », qui est notamment utilisée par Luc Julia, le chercheur à l’origine de Siri, l’IA d’Apple.

L’IA se situe à la frontière des progrès de l’informatique. Il s’agit, pourrait-on dire, d’une sorte d’informatique avancée. En effet, l’acronyme IA devrait en réalité bien davantage renvoyer à de l’informatique avancée qu’à de l’intelligence artificielle en tant que telle. Un tel concept serait à l’évidence bien moins anxiogène.

Dans l’histoire des progrès de l’IA, 2017 est, par exemple, une année importante car la frontière de l’IA a été encore une fois repoussée. Quelques mois après l’adoption du rapport de l’Office, un article théorisait la nouvelle étape de l’IA, à travers l’architecture algorithmique Transformer marquant un progrès dans l’évolution de l’IA connexionniste.

Cette dernière est à distinguer de l’IA symbolique. Vos rapporteurs ont, en effet, relevé dans leurs investigations que les outils d’intelligence artificielle sont très divers, mais que les diverses formes d’IA relèvent surtout de deux grandes familles : elles vont de formes explicites (systèmes experts et raisonnements logiques au cœur de l’IA symbolique) à des formes plus implicites (IA connexionniste telle que les réseaux de neurones et le Deep Learning).

C. La summa divisio de l’IA : intelligence artificielle symbolique et intelligence artificielle connexionniste

1. L’intelligence artificielle symbolique

a) Principes généraux des IA symboliques

L’intelligence artificielle symbolique constitue, d’un point de vue historique, la première grande famille de technologies d’intelligence artificielle, caractérisée par l’utilisation de symboles et de règles logiques pour résoudre des problèmes au terme de déductions. Elle s’est surtout développée au cours des années 1960, 1970 et 1980.

Si elle existe toujours aujourd’hui, elle est largement éclipsée par les résultats spectaculaires de l’intelligence artificielle connexionniste. L’un des outils les plus importants de l’IA symbolique sont les « systèmes experts », appelés aussi systèmes à base de connaissances. Un système expert est un logiciel qui va extraire des connaissances à partir du savoir des experts humains d’un domaine et vise à reproduire les raisonnements pertinents de ces experts face à des cas particuliers.

Ces systèmes sont composés de trois parties : une base de faits, une base de règles et un moteur d’inférence (si tels faits, alors effectuer telles actions) : grâce aux faits et aux règles fournis en entrées, le modèle va utiliser le moteur d’inférence pour déduire de nouveaux faits et ainsi répondre à une problématique posée. Il s’agit d’un modèle déductif. La connaissance est donc décrite sous la forme générale de règles :

« SI Condition (s) »  « ALORS Action (s) »

Ces systèmes analysent une représentation de la situation pour voir quelles règles sont pertinentes, résolvent les éventuels conflits si plusieurs règles s’appliquent et exécutent les actions indiquées en modifiant la situation en conséquence. Ces systèmes sont efficaces dans des domaines restreints mais deviennent difficiles à gérer quand ils doivent manipuler de nombreuses règles ou intervenir dans des domaines complexes, instables ou ouverts.

b) Quelques illustrations de ces technologies

Un exemple d’intelligence artificielle symbolique appliqué à la médecine est une IA destinée au diagnostic des maladies infectieuses du sang, le système expert MYCIN développé dans les années 1970 par l’université de Stanford[39]. Cette IA spécialisée dans l’analyse de sang aide à identifier des infections bactériennes et propose des traitements.

Il avait pour objectif d’assister les médecins dans leur travail et de connaître des usages concrets. Son corpus de connaissances était constitué d’un ensemble de données médicales tandis que sa base de règles était composée de règles de type « si… et… alors… » ; par exemple de façon simplifiée : « SI le patient a une infection ET l’infection est bactérienne ET la bactérie est un streptocoque ALORS recommander la pénicilline ». Le moteur d’inférences utilisait un raisonnement basé sur cette base de connaissances et de règles et posait des questions au médecin pour l’aider à établir son diagnostic au fur et à mesure des réponses fournies par le médecin. En dépit de ses qualités, ce système expert n’a pas vraiment connu d’applications pratiques.

On comprend donc que l’enjeu de l’invention d’un système d’intelligence artificielle symbolique est de parvenir à trouver des heuristiques de pensées, qui permettent de déduire aussi rapidement que possible à partir d’une base de règles donnée, une et une seule réponse cohérente avec les données fournies.

Dans les années 1980, de nombreux systèmes dérivent de l’IA symbolique : la programmation logique, avec l’exemple du système PROGOL ; les arbres de décision, avec l’exemple connu de l’algorithme ID3 (acronyme de Iterative Dichotomiser 3) ; l’ingénierie des connaissances ou encore les ontologies[40] qui aboutiront dans les années 2000 au « Web sémantique »[41], proposition originale de Tim Berners-Lee, qui avait été en 1990 l’inventeur du World Wide Web (WWW, le Web), des URL, du protocole de communication HTTP et du langage informatique HTML, alors qu’il travaillait à l’organisation européenne pour la recherche nucléaire (Cern).

Les six modèles d’alignement d’IBM (alignment models) ont dominé le marché des modèles de langage, dans les années 1990 et 2000, notamment pour la traduction automatique. Ils reposaient sur des modèles d’IA symbolique, avant l’émergence des LLM modernes basés sur les réseaux de neurones, bien plus efficaces.

Les IA symboliques peuvent être particulièrement utiles pour capitaliser les savoirs au sein d’une organisation. Leurs applications en ingénierie des connaissances sont donc nombreuses. Qu’il s’agisse de systèmes de planification, de graphes, d’ontologies ou de réseaux sémantiques, les IA symboliques permettent de modéliser les connaissances d’une organisation ou d’un domaine spécifique de façon systématique.

c) Des limites sémiotiques qui les éloignent de l’intelligence

L’expérience de pensée imaginée par John Searle dans un article de la revue Behavioral and Brain Sciences en 1980 et connue sous le nom d’expérience de la « chambre chinoise » a démontré l’incapacité des IA symboliques à comprendre ce qu’elles font, n’assurant qu’une exécution mécanique d’instructions[42].

Le tableau ci-après décrit cette expérience riche d’enseignements quant aux limitations intrinsèques de ces systèmes d’IA.

Pourquoi l’IA symbolique n’est pas intelligente :

l’expérience de la chambre chinoise

John Searle, dans cet article de 1980, montre qu’une personne qui n’a aucune connaissance du chinois, et qui serait enfermée dans une chambre, est parfaitement capable de communiquer par écrit en chinois à la condition que soit mis à sa disposition un manuel contenant l’ensemble des règles permettant de répondre à des phrases écrites en chinois.

Et bien que cette personne n’ait aucune compréhension de la signification des phrases en chinois qu’elle reçoit et qu’elle émet, elle donne l’illusion de comprendre en se contentant de suivre des règles données. Appliquer « bêtement » des règles syntaxiques, comme le font les ordinateurs avec l’IA symbolique, ne suffit donc pas à engendrer une véritable compréhension sémantique.

Searle prend alors ses distances avec l’idée au principe du test de Turing, selon laquelle un programme informatique peut être qualifié d’intelligent s’il est capable de communiquer avec un humain sans que ce dernier ne puisse réaliser qu’il s’agit d’une machine.

Pouvoir faire illusion en reproduisant une langue, sans avoir aucune conscience du contenu communiqué, n’est pas une preuve d’intelligence. La maîtrise du langage n’est pas qu’une manipulation de symboles, c’est aussi l’entendement des concepts, le fait de comprendre le sens de ce qu’on dit, d’avoir conscience du contenu.

Les programmes informatiques sont des systèmes formels dont la structure est syntaxique alors que l’intelligence humaine articule la syntaxe avec des contenus mentaux à caractère sémantique.

L’IA est donc encore très loin de l’esprit humain, seul capable de faire l’expérience subjective de la compréhension du monde des choses, du monde des mots et des relations qui unissent ces deux mondes.

Les IA symboliques sont bien affectées de limites sémiotiques : en effet, on sait depuis au moins le linguiste Ferdinand de Saussure, s’inspirant d’études millénaires en sanscrit ainsi que d’Héraclite[43], qu’un mot est interprété avec un signifiant (le symbole ou la représentation mentale de l’aspect matériel du signe), un signifié (le concept ou la représentation mentale du contenu associé au signe) et son référent, un objet (ou un ensemble d’objets) concret désigné par le signe. Comme l’expliquait Ferdinand de Saussure au début du XXe siècle, le signe linguistique unit non pas tant un nom et une chose (le dénoté), non pas un mot et un objet, mais un concept (la connotation) et une image acoustique (le symbole), le signifié et le signifiant. Le structuralisme donnera à cette approche le nom de « triangle sémiotique ».

Or, l’IA symbolique ne dispose que du signifiant auquel elle associe éventuellement un objet mais elle est incapable de prendre en considération le signifié du mot, les concepts lui restent totalement étrangers, aussi, elle manipule les symboles sans avoir aucune idée de ce qu’ils sont, sans les comprendre pourrait-on dire. L’IA symbolique se heurte donc à trois principaux problèmes : les connaissances, puisqu’il faut être en mesure de décrire le monde pour l’utiliser, l’inférence, puisqu’il faut être capable de recueillir une expertise capable d’extraire des règles, enfin le contrôle, puisque les possibilités, si elles sont trop nombreuses, deviennent impossibles à déterminer.

L’IA connexionniste, avec ses méthodes statistiques qui se rapprochent de la logique inductive, peuvent donner l’impression de se rapprocher davantage de ce que nous appelons communément « compréhension », lorsque nous faisons des raisonnements basés sur l’induction, mais sous une forme purement probabiliste, en restant de simples programmes informatiques basés sur des mathématiques. De simples programmes mais pas des programmes simples comme nous allons le voir.

2. L’intelligence artificielle connexionniste

a) Cadre et définition de ces « superstatistiques »

(1) À l’origine de tous ces systèmes : les classifieurs linéaires

Contrairement à l’intelligence artificielle symbolique, déterministe, l’intelligence artificielle connexionniste ne se base pas sur des règles et de la logique qui seraient codées par le développeur dans des programmes informatiques mais sur des statistiques et de l’analyse probabiliste de données en fonction de variables aléatoires (qui forment des processus dits « stochastiques »).

On parle parfois de ces technologies connexionnistes comme de « superstatistiques », ce qui distingue le Machine Learning (apprentissage automatique) des IA symboliques vues précédemment. Elles sont ainsi qualifiées de par leur capacité à traiter de très grandes quantités de données via des méthodes statistiques complexes. Ce concept de superstatistiques appliqué à l’intelligence artificielle doit être distingué de celui relevant de la physique statistique[44].

L’intelligence artificielle connexionniste est, il est vrai, largement issue d’algorithmes de classement statistique, au premier rang desquels les classifieurs linéaires (pouvant eux-mêmes faire figure de sous-catégorie de l’analyse factorielle discriminante, qui peut d’ailleurs autant être descriptive que prédictive). Ces classifieurs ont pour rôle de classer des « objets », c’est-à-dire de les caractériser comme appartenant à des groupes – ou « classes » – déterminés. Un objet est un ensemble de variables numériques (pensons à une plante que l’on décrirait par l’existence ou non d’une tige, la longueur de la tige, la présence ou non d’épines, la présence ou non d’une fleur, le nombre de pétales, un codage pour la couleur des pétales, etc.). Lorsqu’il n’y a que deux classes (par exemple, on cherche à classer des fleurs en « rose » ou « marguerite »), le classifieur linéaire est un instrument très simple : il assigne un poids, un coefficient pondérateur, à chacune des variables de l’objet étudié, fait le produit correspondant puis additionne l’ensemble – il fait une combinaison linéaire des variables, d’où le nom de « classifieur linéaire » ; il applique ensuite à la somme ainsi calculée une « fonction de décision » qui détermine l’appartenance de l’objet à l’une ou l’autre classe ou la probabilité que l’objet appartienne à l’une ou l’autre classe. La plupart des problèmes supposant en fait l’existence de plus de deux classes, on combine plusieurs classifieurs linéaires pour faire de la classification multi-classes, notamment avec les méthodes dites « un-contre-un » et « un-contre-tous ». En tout état de cause, les poids mis en œuvre par un classifieur sont appris à partir d’un jeu de données d’apprentissage étiquetées.

Ces algorithmes reposent sur des fonctions qui convertissent le produit scalaire de vecteurs dans la sortie désirée selon un vecteur de poids appris à partir d’un ensemble d’apprentissage étiqueté. Ils peuvent modéliser des probabilités conditionnelles (« classifieurs génératifs », comme la classification bayésienne naïve, à ne pas confondre avec l’IA générative) ou, en vue d’être plus précis, recourir à une méthode discriminante.

Les « réseaux de neurones artificiels » – synonyme de « réseaux de neurones formels » – sont un des systèmes d’IA connexionnistes les plus utilisés. Lorsque les réseaux sont organisés de manière stratifiée et que les calculs sont réalisés par plusieurs « couches » de neurones fonctionnant en cascade selon plusieurs niveaux de représentations, la sous-catégorie de l’IA que les réseaux de neurones forment prend le nom d’une sous-sous-catégorie appelée « Deep Learning » ou « apprentissage profond ».

(2) La pierre angulaire théorique : le théorème d’approximation universelle

Bien que ses succès soient en grande partie empiriques, le paradigme connexionniste de l’intelligence artificielle s’est progressivement doté d’un cadre théorique solide permettant de démontrer sa validité scientifique. Cette branche de l’IA se base ainsi sur le théorème d’approximation universelle, prouvant que les réseaux de neurones, à partir d’une seule couche cachée, peuvent approximer n’importe quelle fonction continue à la condition que la fonction d’activation soit non linéaire[45].

Ce théorème a été prouvé, dans un premier temps, par George Cybenko en 1989 pour certains modèles connexionnistes aux fonctions d’activation sigmoïdes[46]. La même année, Kurt Hornik et son équipe ont démontré plus largement que les réseaux de neurones multicouches sont en réalité des approximateurs universels[47]. D’autres chercheurs ont ensuite établi, ces dernières années, que cette propriété d’approximation universelle correspond à une fonction d’activation non polynomiale et ont étendu le théorème à d’autres fonctions et domaines[48]. De ce fait, dès lors que leur architecture permet d’approximer suffisamment bien la fonction recherchée, les réseaux de neurones permettent de réaliser de nombreuses tâches de classification exigeantes.

b) Les réseaux de neurones artificiels : aux origines de l’apprentissage profond ou Deep Learning

(1) Les premières théories dans les années 1940

Dès 1943, le neurologue Warren McCulloch et le psychologue logicien Walter Pitts, travaillant tous les deux sur l’action des neurones dans le cerveau humain, mettent au point un modèle de « réseau de neurones » s’inspirant de l’anatomie animale et humaine[49]. Les neurones humains sont à cette époque une découverte relativement récente, le terme n’apparaissant d’ailleurs qu’à la fin du XIXe siècle grâce au développement du microscope optique.

La structure des neurones est déjà connue dans la première moitié du XXe siècle : des cellules nommées « neurones » transmettent une information à travers des axones, qui se lient aux entrées des autres neurones, appelées « dendrites » par le biais d’une connexion nommée « synapse ».

En revanche, la façon dont une telle structure était capable de transporter l’information restait totalement inconnue. C’est dans cette optique que les chercheurs ont d’abord voulu schématiser simplement le fonctionnement des réseaux de neurones humains, sans avoir pour but d’utiliser un tel modèle pour traiter efficacement de l’information, ni a fortiori pour faire progresser l’informatique et inventer l’IA.

Schéma simplifié d’un neurone biologique

Source : Jean-Paul Haton et al., 2023, Intelligences artificielles : de la théorie à la pratique. Modèles, applications et enjeux des IA, Dunod, p. 60

Les deux chercheurs ont alors imaginé la transposition d’une telle configuration dans un mode purement formel, en s’inspirant des portes logiques en mathématiques.

L’idée est donc qu’un « neurone » artificiel ou formel pourrait accueillir des entrées provenant de neurones d’une couche précédente. Ce « neurone » ferait alors, tel un automate, la somme des entrées de la couche précédente, une somme qui serait pondérée par des « poids » (ces poids miment la plasticité synaptique des réseaux biologiques). Cette somme serait alors soumise à une fonction d’activation non linéaire qui, agissant comme un seuil franchi ou non, détermine si le neurone active ou non sa sortie – l’application de cette fonction à la somme des valeurs issues des entrées des couches précédentes permettant ou pas d’atteindre une valeur seuil donnée.

Dans leur article de 1943, McCulloch et Pitts affirment que de tels réseaux pourraient effectuer des calculs logiques. Ainsi, ils conçoivent des « portes logiques », c’est-à-dire des opérateurs dont les entrées et les sorties reposent sur la logique booléenne (seules deux valeurs sont possibles, qu’on représente en général par les couples « vrai / faux » ou « 1 / 0 »).

On est encore loin des réseaux de neurones qui seront utilisés plus tard pour développer l’intelligence artificielle connexionniste telle que nous la connaissons mais les auteurs ouvrent un nouveau champ de travail.

Le schéma suivant présente les fonctions logiques que McCulloch et Pitts ont mises au point grâce à leur schématisation des réseaux de neurones, les triangles y représentant les neurones et les flèches y renvoyant aux connexions synaptiques.

Fonctions logiques selon les réseaux schématiques de neurones

définis par McCulloch et Pitts en 1943

Source : McCulloch et Pitts, « A logical calculus of the ideas immanent in nervous activity », op. cit.

Les travaux de McCulloch et Pitts dans les années 1940 ne sont que théoriques, ils n’ont pas, à l’époque, l’idée de réaliser physiquement de tels réseaux de neurones artificiels, encore moins de les simuler via un programme informatique. Leur objectif est notamment de décrypter le fonctionnement des neurones responsables de la vision chez les humains et les animaux. C’est néanmoins sur la base de ces schémas de neurones formels interconnectés en portes logiques que vont s’appuyer les travaux postérieurs en mathématiques et en informatique pour développer progressivement les réseaux de neurones artificiels.

En 1959, McCulloch et Pitts, aidés de Lettvin et Maturana, se demandent « ce que l’œil d’une grenouille dit à son cerveau » et précisent la transposition imaginée en 1943 avec un modèle simplifié de neurone biologique appelé neurone formel[50]. Ces neurones formels associés en réseau comparent la somme de leurs entrées et, si une valeur seuil est atteinte, répondent en émettant un signal. Ces réseaux reposent donc sur des fonctions de transfert. Et comme dans le cas des réseaux de neurones biologiques, il est imaginé que la force de connexion entre les neurones – l’efficacité de la transmission des signaux d’un neurone à l’autre – peut varier. Pour autant les auteurs ne présentent pas encore un système artificiel capable d’apprendre par l’expérience. C’est un autre chercheur qui va théoriser, sous le nom de « perceptron », les algorithmes d’apprentissage permettant de faire varier la force de connexion entre les neurones artificiels. Avec les perceptrons, le poids synaptique au sein des neurones formels va se trouver modifié et amélioré selon des processus d’apprentissage.

(2) Les premiers perceptrons

(a) Les perceptrons monocouches

La première apparition d’un modèle pouvant être considéré comme l’ancêtre des réseaux de neurones artificiels actuels plutôt que comme une simple source d’inspiration théorique est le perceptron monocouche, inventé au laboratoire d’aéronautique de l’université Cornell par le psychologue Frank Rosenblatt en 1957 et ayant conduit à une publication en 1958[51]. Il permet le classement binaire linéaire supervisé d’une population, c’est-à-dire un processus permettant de séparer une population en deux classes, en connaissant déjà la classe d’une partie des individus. On retrouve ici le principe du classifieur linéaire évoqué dans les développements précédents. Ce réseau est capable d’apprentissage : là où les poids synaptiques sont figés dans les réseaux de McCulloch et Pitts, le perceptron, lui, peut faire varier ses poids grâce à une règle d’apprentissage du perceptron, appelée aussi « loi de Widrow-Hoff » ou filtre des moindres carrés moyens (Least Mean Squares ou LMS).

Le perceptron monocouche est composé de plusieurs entrées et d’une seule sortie (booléenne) à laquelle toutes les entrées (booléennes) sont connectées. Il est utilisé pour résoudre des problèmes de classification linéaire, c’est-à-dire des problèmes qui peuvent être résolus en séparant deux classes d’une population par une droite ou un plan, que l’on qualifie spécifiquement d’hyperplan dans le cadre des réseaux de neurones[52].

Prenons l’exemple d’une population dont on connaît la taille et le poids et dont on souhaite classer les individus par genre. Les caractéristiques de la population sont deux variables continues « taille » et « poids » et les deux classes auxquelles les individus peuvent appartenir sont « homme » ou « femme ». On peut représenter les individus par des points situés sur un graphique en deux dimensions qui aurait pour abscisse la taille des individus et pour ordonnée leur poids. Les hommes étant généralement plus grands et massifs que les femmes, le graphique fait apparaître deux groupes de points qui représentent respectivement les hommes et les femmes et sont à peu près séparés l’un de l’autre. L’apprentissage va consister à déterminer la droite qui sépare « le mieux possible » le groupe des points représentant les hommes et celui des points représentant les femmes, pour le jeu de données d’apprentissage choisi (c’est-à-dire un ensemble d’individus dont on connaît la taille et le poids, et dont chacun dispose de son étiquette « homme » ou « femme »). Dès lors on pourra déterminer la classe probable d’un nouvel individu (en l’occurrence son genre) en connaissant son poids et sa taille, selon que le point qui le représente sur le graphique sera placé d’un côté ou de l’autre de la droite séparatrice.

Pour passer du langage géométrique au langage algébrique pertinent pour le perceptron :

la droite séparatrice est entièrement déterminée par son équation cartésienne, concrètement trois nombres : elle est l’ensemble des points du plan dont les coordonnées (taille, poids) vérifient

le perceptron est un opérateur qui, pour tout individu, calcule la quantité

les coefficients 1 et 2 sont les « poids synaptiques » qui pondèrent les valeurs reçues aux entrées du perceptron ; le coefficient b est appelé un « biais » du perceptron

selon que le résultat Y est positif ou négatif, l’individu est un homme ou une femme ; si Y est nul, l’individu ne peut être classé.

Le schéma ci-après illustre un perceptron qui traite trois variables en entrée et dont le résultat Y est soumis à une fonction d’activation, pour transmission éventuelle au perceptron suivant. Le principe est évidemment généralisable à un nombre supérieur de variables.

Schéma d’un perceptron monocouche avec fonction d’activation

Le perceptron dispose donc de la capacité de séparer une population en deux classes dont la « frontière » dépend des poids synaptiques . Toutefois, il manque toujours à ce réseau un système d’apprentissage qui lui permettra de déterminer les poids synaptiques grâce auxquels la population sera séparée de façon optimale. Pour cela, on utilise la loi de Widrow-Hoff.

Le principe consiste à soumettre au perceptron une série d’individus d’entraînement. On détermine l’écart entre le résultat Y calculé par le perceptron pour le premier individu et le résultat Y attendu ; les poids synaptiques sont alors ajustés en fonction de cet écart ; on réitère le processus en soumettant au perceptron successivement tous les individus d’entraînement, jusqu’à ce qu’il n’y en ait plus ou que le nombre d’erreurs du perceptron soit devenu acceptable.

Pour que ce processus d’entraînement fonctionne, il faut fixer ce que l’on appelle un « hyperparamètre », c’est-à-dire un paramètre qui affecte le comportement d’un modèle et qui est choisi par son concepteur pour son entraînement. Dans le cas de la loi de Widrow-Hoff, l’hyperparamètre est un « taux d’apprentissage », qui détermine l’importance de l’ajustement apporté aux poids synaptiques lorsqu’on soumet un individu d’entraînement au perceptron. Une valeur élevée du taux d’apprentissage favorise un apprentissage rapide mais expose à l’apparition d’erreurs plus fréquentes ; au contraire, un taux d’apprentissage faible réduit le risque d’erreur mais ralentit le processus d’apprentissage.

En 1982, le physicien John Hopfield cherche à enrichir les réseaux de neurones artificiels de la rigueur propre aux physiciens et ouvre la voie aux modèles dits à base d’énergie : la dynamique du réseau est à temps discret et asynchrone, ce qui signifie qu’un seul neurone est mis à jour à chaque unité de temps[53]. Ces modèles de réseaux de neurones dits de Hopfield vont rapidement se généraliser et actualiser la grande majorité des nouveaux perceptrons.

Bien que le perceptron constitue une avancée importante dans le développement de l’IA connexionniste, son intérêt reste alors limité : il ne peut effectuer que des séparations linéaires. Ce type de séparation, bien que permettant certaines classifications, ne correspond pas à la majorité des cas réels, où les classes d’une population donnée sont séparées par des fonctions plus complexes qu’une simple fonction linéaire. Par exemple, ces premiers perceptrons ne sont pas capables de résoudre des problèmes non linéaires comme la disjonction exclusive ou fonction « ou exclusif » (appelée aussi XOR, connue en électricité sous la forme du montage va-et-vient et utilisée en cryptographie, à l’instar du « téléphone rouge » entre la Maison-Blanche et le Kremlin dans les années 1970 et 1980).

Pour résoudre des problèmes non linéaires, une seule couche de réseaux de neurones n’est pas suffisante : plusieurs couches de réseaux de neurones vont alors être utilisées. On parle donc de « perceptron multicouche » (multilayer perceptron, ou MLP). Ces perceptrons multicouches ont tout d’abord pris la forme de « réseaux de neurones à propagation avant » ou « réseaux de neurones à action directe » (en anglais feedforward neural networks (FNN).

(b) Les perceptrons multicouches (MLP) et les réseaux de neurones à propagation avant (FNN)

Dans le livre Perceptrons : une introduction à la géométrie informatique, de Marvin Minsky et Seymour Papert publié en 1969, les deux auteurs estiment qu’imiter le cerveau est trop complexe pour des machines et démontrent l’incapacité des perceptrons monocouches à résoudre des problèmes de classification non linéaires[54]. Ce livre, pessimiste, est accusé d’être à l’origine d’un premier « Hiver » de l’intelligence artificielle.

La sortie de ce livre est en effet corrélée avec une période de relative accalmie dans le développement et le financement de l’intelligence artificielle et par un quasi-abandon des perceptrons et plus généralement des réseaux de neurones artificiels[55]. Elle n’est pas pour autant la seule raison de ce ralentissement : les limitations des technologies alors disponibles, les données en nombre insuffisant et le manque de puissance de calcul sont les trois facteurs principaux. La recherche autour de l’intelligence artificielle connexionniste a été ranimée dans les années 1980 par les réseaux de Hopfield et surtout par les MLP.

On parle de perceptrons multicouches lorsque le réseau de neurones est composé de perceptrons organisés en plusieurs couches. Lorsque l’information n’y circule que dans un sens, de l’entrée vers la sortie, on a affaire à des « réseaux de neurones à propagation avant » (en anglais feedforward neural network, FNN), pour les distinguer des réseaux de neurones récurrents (RNN), où l’information effectue au moins un cycle dans la structure du réseau (ces réseaux plus complexes seront vus plus loin).

Dans les MLP, chaque couche agit de la même façon qu’un perceptron classique, et les différentes couches sont montées « en série ». La première couche est appelée couche d’entrée. C’est ici que sont introduites les données que l’on veut traiter. La couche d’entrée transforme ces données en données numériques pour qu’elles puissent être traitées par le réseau.

Ensuite, il y a une ou plusieurs couches cachées. Chaque couche est composée de neurones, et chaque neurone a une ou plusieurs entrées et sorties. Ces entrées et ces sorties forment des ensembles fonctionnels qui se comportent chacun comme des perceptrons. Ils associent à une valeur des coefficients (les poids synaptiques) et un biais. Comme pour le perceptron monocouche, chaque entrée reçoit une valeur de la couche précédente. Cette valeur est multipliée par un autre élément appelé « poids synaptique », qui définit la force du lien entre deux neurones. Si un neurone a plusieurs entrées, toutes les valeurs sont additionnées, et on ajoute une autre valeur pour chaque neurone appelé « biais ». De la même façon que pour un perceptron monocouche, cette somme est ensuite passée dans une fonction d’activation, qui décide si la sortie doit être activée ou non. Il existe différentes fonctions d’activation, comme la fonction « marche » ou la fonction « unité de rectification linéaire » dite ReLU. Le résultat de la fonction est la sortie du neurone, et devient une entrée pour la couche suivante.

Enfin, il y a la couche de sortie, qui, de la même façon qu’un perceptron monocouche, transforme les valeurs obtenues en réponse au problème posé. Par exemple, si l’on souhaite savoir s’il s’agit d’un chat ou un chien sur une image, la couche de sortie donne la réponse grâce à un neurone correspondant à la probabilité qu’il y ait un chien sur l’image et un autre neurone correspondant à la probabilité qu’il y ait un chat sur l’image.

Schéma d’un perceptron multicouche

Légende : la couche d’entrée est en rouge, les couches cachées en orange et la couche de sortie en jaune

Ce schéma permet de voir concrètement les trois couches qui composent le modèle. À gauche, on a une couche d’entrée, ici constituée d’un neurone unique mais en fonction du type de données en entrée, on pourrait en avoir plusieurs. Au milieu, on a les couches cachées. Ici il y en a trois, il pourrait y en avoir plus : ce paramètre entre en jeu dans l’élaboration d’un modèle efficace, aussi économique et fiable que possible. Chaque couche n’est pas obligée de contenir le même nombre de neurones : dans l’exemple, les deux premières couches contiennent trois neurones, la troisième en contient cinq. Puisque dans cet exemple tous les neurones d’une couche sont reliés à tous les neurones de la couche suivante, on parle de « réseau dense ». À droite, enfin, on a la couche de sortie, qui contient ici deux neurones mais qui pourrait en contenir plus ou moins en fonction du type de données que l’on veut en sortie.

Tableau non exhaustif de fonctions d’activation couramment utilisées

Source : Exemples pris parmi la liste des 16 fonctions d’activation usuelles recensées par Wikipédia

Il est possible de prendre l’exemple concret d’un réseau multicouche simple pour expliquer le fonctionnement de ces réseaux de neurones artificiels.

Ce modèle d’illustration est inventé afin de permettre une compréhension plus aisée du concept. Les réseaux de neurones sont, en effet, beaucoup plus grands, et les informations traitées bien plus nombreuses (plusieurs milliards). Le chemin de l’information va de l’entrée du modèle vers sa sortie.

Exemple de schéma d’un réseau de neurones avec des valeurs associées aux synapses (poids, noté w) et aux neurones (biais)

Sur ce schéma sont présentées toutes les informations qui permettent de calculer des valeurs de sorties dans les neurones de la couche de sortie. On dispose d’une valeur d’entrée dans le neurone d’entrée : 0,42. À chaque synapse est associé un poids synaptique noté « w ». Pour chaque couche de neurones cachés, on a une fonction d’activation : sigmoïde pour la première, ReLU pour la seconde. À chaque neurone est associé un biais.

Le calcul pour les deux neurones de la couche cachée peut être détaillé. Pour cela, la valeur initiale est multipliée par le poids synaptique de la synapse qui la relie au neurone dont on veut connaître la valeur, et on y ajoute le biais. On a donc :

et

Ces valeurs passent ensuite dans la couche d’activation afin d’obtenir le poids final de chaque neurone. On calcule donc la valeur de la fonction sigmoïde pour et . On obtient 0,54 pour le premier neurone et 0,41 pour le second neurone. La seconde couche de neurones ayant une valeur, on peut alors calculer grâce à celle-ci la troisième couche comme on l’a fait avec la première. Tous les neurones de la deuxième couche étant reliés à tous les neurones de la troisième couche, le calcul est un peu plus complexe puisqu’il faut additionner les valeurs des entrées avant de les faire passer dans la fonction d’activation.

On a alors :

Ces valeurs peuvent alors passer dans la fonction d’activation ReLU. On obtient donc les poids des trois synapses de la couche suivante : 1,05 ; 0 et 0 (lorsque les nombres sont négatifs, la fonction ReLU renvoie toujours 0).

Enfin, les poids des neurones de la couche de sortie sont calculés :

Le schéma initial du réseau de neurones peut être complété avec toutes les valeurs qui viennent d’être calculées.

Schéma complété des calculs réalisés

On a donc un résultat dans la couche de sortie qui nous permet d’interpréter ce que le modèle a pu discriminer. En réalité, ces calculs ne sont jamais effectués manuellement et un ordinateur peut réaliser tous ces calculs beaucoup plus rapidement qu’un humain pour en tirer des résultats beaucoup plus précis car gardant le plus de chiffres possible après la virgule dans les calculs.

C’est la multiplication des couches de perceptrons qui a conduit à parler d’apprentissage profond ou Deep Learning. Ce type de réseau découle du perceptron monocouche imaginé par Rosenblatt lors de ses travaux. L’idée de mettre des perceptrons en couches successives ne constitue cependant pas l’avancée majeure des MLP par rapport aux perceptrons monocouches. Ces perceptrons multicouches à propagation avant ou FNN présentent en effet un désavantage par rapport à un perceptron monocouche. Bien que les réseaux à plusieurs couches soient capables de traiter des situations de classification non linéaire, avec plusieurs neurones au lieu d’un seul, il n’est plus possible de calculer la façon dont on doit entraîner le réseau pour qu’il produise de meilleurs résultats. Là où l’on utilisait la loi Widrow-Hoff pour le perceptron monocouche, il n’est plus possible de le faire désormais car il y a plusieurs neurones dont les paramètres influencent le résultat final d’une façon différente. Comment alors savoir quel poids synaptique ou quel biais modifier et de quelle façon pour atteindre le résultat optimal voulu ? L’incapacité à répondre à de telles questions est l’une des raisons de « l’Hiver » de l’IA des années 1970. En effet, ces réseaux FNN ne présentent pas d’intérêt s’ils ne sont pas capables de répondre à ces questions puisque leur intérêt était précisément d’être capables « d’apprendre », c’est-à-dire d’adapter leurs réponses.

Des scientifiques commencent à répondre à cette difficulté dans les années 1980 en utilisant une technique issue de la résolution des problèmes de fonctions convexes en mathématiques appelée la « descente de gradient ». L’algorithme permettant de trouver un minimum global, c’est-à-dire le point où le modèle obtient les meilleurs résultats, va prendre le nom de rétropropagation du gradient, permettant alors d’utiliser les perceptrons multicouches (MLP) de façon optimale et quasi automatisée.

(3) La rétropropagation du gradient (Back-propagation)

Les méthodes algorithmiques visant à corriger les erreurs des MLP et à les améliorer sont issues du calcul de la descente du gradient et sont appelées algorithmes de rétropropagation du gradient ou de rétropropagation des erreurs. Elles se fondent sur les travaux de Seppo Linnainmaa, qui décrit de tels algorithmes dès son mémoire de maîtrise en 1970 mais sans les appliquer aux réseaux de neurones. Paul Werbos imagine dans sa thèse de doctorat en 1974 de nouveaux outils de prévision qui appliqueraient la rétropropagation du gradient aux réseaux de neurones. Ces premiers travaux ne conduisent pas à des résultats concrets. On considère en effet que le premier perceptron multicouche efficace date de 1986.

Pour régler les perceptrons multicouches, c’est-à-dire minimiser leur taux d’erreur, la descente du gradient doit conduire à ajuster progressivement le poids de tous les neurones au sein du modèle. Un collectif de chercheurs (Hinton, Rumelhart, Williams et McClelland) élabore alors un algorithme de descente du gradient qui va prendre le nom de rétropropagation du gradient[56] : il s’agit de parcourir le réseau de neurones dans le sens inverse de son fonctionnement pour corriger ses erreurs en mettant à jour par cet algorithme les poids des neurones de la dernière couche à la première.

De jeunes chercheurs comme Yann LeCun et Yoshua Bengio, rencontrés par vos rapporteurs, ont alors poursuivi à partir du milieu des années 1980 des recherches sur ces nouvelles architectures[57]. En 2019, Geoffrey Hinton, Yann LeCun et Yoshua Bengio ont reçu le prestigieux prix Turing pour l’ensemble de ces travaux fondateurs pour les architectures modernes des réseaux de neurones profonds (ce prix est l’équivalent pour l’informatique du prix Nobel ou de la médaille Fields, récompense la plus prestigieuse de la discipline mathématique).

Il est intéressant de relever qu’un phénomène biologique similaire à la rétropropagation du gradient a été observé dans les réseaux de neurones des mammifères[58].

Un des intérêts des réseaux de neurones multicouches est que le modèle évolue grâce à un entraînement qui lui permet d’être de plus en plus performant. Celui-ci consiste, en utilisant un jeu de données d’entraînement, à mesurer l’écart entre la réponse fournie par le modèle et la réponse attendue, et à ajuster le modèle pour minimiser cet écart.

S’agissant du premier point, l’écart entre le résultat effectif et le résultat attendu peut se calculer de différentes façons. La plus simple consiste peut se calculer de différentes façons. La façon la plus simple revient à calculer l’« erreur quadratique moyenne » (mean square error, MSE), c’est-à-dire la différence entre la donnée de sortie du modèle et la donnée attendue au carré, permettant d’obtenir une « fonction de perte » ou « fonction de coût ». Si l’on prend l’exemple d’un modèle qui doit déterminer si une image est, ou non, celle d’un chat, et que l’on introduit une image de chat dans le modèle puis que celui-ci donne 0,8 en sortie, la perte sera de . En effet, la sortie attendue était 1 (car l’image est bien celle d’un chat).

Pour ce qui concerne le second point, l’ajustement consiste à « surfer » sur la fonction de perte pour descendre vers son minimum, en faisant varier les poids et les biais des neurones. À cette fin, on détermine la façon dont de petites variations de chaque poids ou biais, réalisées séparément, font varier la fonction de perte ; ceci revient, en mathématiques, à calculer les dérivées partielles de la fonction de perte par rapport à chaque poids ou biais. Le vecteur contenant l’ensemble des valeurs de ces dérivées est appelé le gradient.

Pour régler les poids et biais des neurones, on commence à travailler sur la fonction de perte à partir des neurones de la dernière couche. Un algorithme – dit optimiseur – est appliqué au gradient pour le « descendre » en ajustant les poids et les biais dans la direction opposée au gradient. Chaque poids et biais de chaque neurone reçoit une correction qui fait intervenir la dérivée partielle correspondante de la fonction de perte et un taux d’apprentissage. Le choix de l’optimiseur dépend de la nature des données traitées et de la rapidité (souhaitée et possible) de la convergence vers la perte minimale ; il en existe un grand nombre : descente de gradient stochastique (stochastic gradient descent ou SGD), Adagrad, Adadelta, RMSprop, Adam… La rétropropagation proprement dite consiste à réaliser ensuite les mêmes opérations aux neurones de la couche située immédiatement en amont, puis de la précédente, etc. De cette façon, toutes les couches du modèle sont remontées une par une, depuis la couche de sortie jusqu’à la couche d’entrée.

Cette méthode de rétropropagation du gradient a suscité un regain d’intérêt pour les réseaux de neurones sous leur nouvelle forme d’apprentissage profond, et donc pour l’ensemble du paradigme connexionniste. Au-delà du prix Turing décerné en 2019 à trois de ses inventeurs – Geoffrey Hinton, Yann LeCun et Yoshua Bengio[59] – c’est le prix Nobel de physique qui récompense en 2024 Geoffrey Hinton et John Hopfield pour leurs travaux sur les réseaux de neurones artificiels.

(4) Les réseaux de neurones convolutifs (CNN)

Un réseau de neurones artificiels traite en entrée des données numériques et délivre en sortie d’autres données numériques. Pour mettre en œuvre de tels modèles, il faut donc pouvoir transformer l’information que l’on veut traiter en données numériques, en perdant le moins de sens possible. Dans le cas d’une image en couleur, il s’agit d’identifier les formes, les contrastes, éventuellement les ombres, etc. Les chercheurs ont dû inventer des réseaux permettant de conserver ces informations et de les convertir en données numériques pour qu’elles soient traitées par un réseau, capable de réaliser par exemple des tâches de classification.

Les réseaux convolutifs (convolutional neural networks ou CNN) sont ainsi des réseaux de neurones utilisés pour le traitement des images. Tout comme les travaux sur les perceptrons, ces réseaux de neurones sont influencés par des avancées scientifiques, notamment dans les sciences cognitives. Les travaux de Hubel et Wiesel en 1968 sur les cellules visuelles dans le cerveau des animaux[60], qui leur a valu un prix Nobel de physiologie en 1981, ont inspiré les informaticiens sur la façon dont il était possible de traiter une information visuelle grâce à un réseau de neurones situés dans le « cortex strié » (ou cortex visuel primaire). Hubel et Wiesel ont également découvert qu’il existait deux types de cellules dans ce cortex, une partie de ces neurones ne traitant l’information que d’une partie de l’image perçue par les capteurs visuels.

C’est cette idée qui a inspiré le scientifique japonais Kunihiko Fukushima lors de la création de deux modèles : le cognitron en 1975[61] puis le neocognitron en 1980[62]. Ces réseaux, imitant le fonctionnement du cerveau, ne sont pas encore des réseaux convolutifs mais s’en rapprochent et sont souvent considérés comme les réseaux qui ont permis l’émergence des CNN.

Yann LeCun écrit : « Les cellules simples du Néocognitron sont un bricolage byzantin pour coller au mieux à la biologie et faire en sorte que le réseau fonctionne. […] Peut-être Fukushima veut-il imiter trop étroitement la biologie ? Toujours est-il que le résultat est moyennement heureux. »[63]

L’un des premiers réseaux convolutifs à recevoir un usage pratique s’appelle « LeNet-5 » et est développé notamment par Yann LeCun et Yoshua Bengio dans l’entreprise Bell Labs en 1989[64]. L’objectif du modèle était alors de reconnaître automatiquement les codes postaux manuscrits. Il sera largement utilisé.

Schéma du réseau de convolution LeNet-5

Source : LeCun et al., 1989

LeNet est le premier réseau convolutif à présenter cette architecture toujours utilisée à l’époque actuelle dans les réseaux convolutifs comme les réseaux ResNet[65]. On voit sur le schéma qu’il est constitué d’une succession de couches de « convolution » et de « sous-échantillonnage » (subsampling). L’objectif est de réaliser un « encodage » de l’image d’entrée, afin d’en extraire les caractéristiques importantes.

Pour obtenir des valeurs numériques à partir d’une image, on attribue des valeurs à chacun de ses pixels. Dans le cas d’une image en niveaux de gris (noir et blanc), chaque pixel a une valeur, qui va de zéro, totalement noir, à un, totalement blanc. Dans le cas d’une image en couleur, chaque pixel est composé d’un vecteur de trois valeurs. En effet, une image en couleur peut être représentée comme une superposition de la même image respectivement en rouge, vert et bleu (on parle de système RVB ou RGB pour red green blue en anglais). Ces couleurs étant les couleurs primaires de la lumière, on peut obtenir l’importe quelle couleur à partir d’un mélange de ces trois couleurs. Par exemple, le jaune étant un mélange de rouge et vert, un pixel jaune sera représenté par le vecteur (1, 1, 0), c’est-à-dire tout à fait rouge et tout à fait vert sans bleu. Les valeurs RGB s’exprimant généralement jusqu’à 255, on normalise ces valeurs dans les modèles pour qu’elles soient contenues entre zéro et un ; les valeurs sont donc divisées par 255.

Dans un CNN, l’objectif est de réduire les dimensions de l’image en gardant ses principales caractéristiques grâce à une opération mathématique appelée la « convolution ». Cette opération permet d’extraire des caractéristiques d’une image en faisant passer une « matrice de convolution » (kernel), qui réalise des opérations sur une zone de l’image, permettant de générer une « carte de caractéristiques » (activation map). On peut voir l’opération de convolution comme un tampon qui passerait au-dessus de chaque groupe de pixels dans une image et qui transformerait la valeur de ces pixels en fonction du tampon choisi.

On réalise cette opération plusieurs fois sur chaque couche d’une image (une couche ne pouvant être composée que d’un canal de couleur rouge, verte ou bleue) en changeant la matrice de convolution pour obtenir une série de cartes de caractéristiques de mêmes dimensions que l’image originale. Pour que le processus ne soit pas linéaire, on peut ajouter, après chaque couche de convolution, une fonction d’activation (souvent la fonction sigmoïde ou unité linéaire rectifiée, ReLU), cette fonction va prendre en entrée les cartes de caractéristique obtenues après application d’une convolution. Elle va renvoyer une valeur de sortie selon la fonction choisie[66].

L’objectif étant de réduire les dimensions de l’image, on applique une couche dite de max pooling (en français plus rarement : sous-échantillonnage par valeur maximale). Cette étape consiste à appliquer un filtre d’une taille définie sur une surface (en l’occurrence, sur les cartes de caractéristiques), et ne garder que la valeur maximale de la région définie par le filtre. Ainsi par exemple, un max pooling de 2x2 va parcourir les cartes de caractéristiques avec un filtre de deux pixels par deux, et sélectionner dans ce carré la valeur la plus importante. Cela permet de diviser la dimension des surfaces par deux. C’est ce qui est appelé la phase de sous-échantillonnage (subsampling).

Cette combinaison de convolution et max pooling est répétée sur les cartes de caractéristiques jusqu’à ce que l’on obtienne des dimensions suffisamment réduites. On réalise ensuite un « aplatissement » (flattening) des dimensions obtenues pour les stocker dans un vecteur à une seule dimension. Ce vecteur à une seule dimension est alors présenté à l’entrée d’un réseau dense de neurones, c’est-à-dire un réseau dont l’ensemble des neurones d’une couche sont reliés à l’ensemble des neurones de la couche précédente.

Ce réseau dense, qui fonctionne exactement comme un FNN, avec une couche de sortie construite selon le résultat souhaité.

Pour illustrer le fonctionnement d’un CNN, on peut imaginer utiliser en entrée une image carrée de dimension (soixante-quatre pixels de longueur et de largeur, trois canaux de couleurs) afin de reconnaître un chiffre entre zéro et neuf. Cette image passe ensuite dans une couche de convolution qui va, par exemple, produire trente-deux cartes de caractéristiques en utilisant des matrices de convolution différentes. On se retrouve alors avec une image de dimension (on garde les dimensions d’origine mais on a désormais trente-deux cartes de caractéristiques). On passe alors ces cartes de caractéristique dans une fonction d’activation, par exemple la fonction ReLU, puis le résultat est utilisé dans un max pooling qui va réduire la dimensionnalité de ces cartes. En utilisant un filtre de max pooling de deux pixels par deux, cette couche produit un résultat de dimension (on garde le même nombre de cartes de caractéristiques mais on divise leurs dimensions par deux). On peut alors répéter cette opération jusqu’à obtenir des dimensions de cartes suffisamment réduites, quitte à augmenter le nombre de cartes, par exemple . Les cartes sont ensuite « aplaties », lors de la phase de flattening, pour obtenir un vecteur unidirectionnel contenant valeurs. Ce vecteur est présenté à un FNN dense qui a dix neurones de sortie, un par chiffre possible de zéro à neuf. Le réseau complet est alors capable d’attribuer un chiffre à chaque image. On peut comparer le résultat obtenu avec le résultat attendu et procéder à une opération de rétropropagation du gradient pour optimiser les résultats.

Les CNN sont utiles pour la reconnaissance d’images, mais ils constituent également la première partie des « auto-encodeurs variationnels », modèles génératifs développés plus loin dans ce rapport. L’architecture U-Net, par exemple, est un CNN utilisé dans le monde médical pour la segmentation d’images cérébrales ou hépatiques ainsi que dans la création de contenus visuels, notamment par l’application Stable Diffusion.

(5) Les réseaux de neurones récurrents (RNN)

Dans les FNN, l’information ne circule que dans un sens, de l’entrée vers la sortie, comme il a été vu. De ce fait, chaque valeur d’entrée ne passe qu’une seule fois dans chaque couche de neurones du réseau. Ces réseaux ne peuvent pas traiter une séquence d’informations, c’est-à-dire des données provenant d’une série temporelle cohérente. On parle de données « dynamiques » en opposition aux données « statiques ». Ces données dynamiques englobent les vidéos, les graphiques d’évolution du cours d’actions en bourse, des relevés météorologiques, etc. Pour traiter ce type de données, il faut utiliser une architecture qui permette à des informations de « remonter » les couches du réseau. Les bases théoriques de ces types de réseaux ont été posées en 1972 par le japonais Shun’ichi Amari, on les nomme « réseaux de neurones récurrents » (en anglais recurrent neural networks ou RNN)[67]. John Hopfield a été le premier à concevoir un tel réseau récurrent capable de traiter une information dynamique en 1982[68]. Si l’information effectue au moins un cycle dans la structure du réseau, on a affaire à un RNN et plus à un FNN.

Un RNN ressemble à un réseau à propagation avant : il contient une couche d’entrée, des couches cachées et des couches de sortie. Il a toutefois la particularité de posséder une boucle de rétroaction : lorsqu’on lui présente successivement les données d’une séquence, le résultat obtenu pour une donnée prend en compte les résultats obtenus pour les données précédentes. Par exemple, si l’on utilise un RNN pour réaliser des prévisions météorologiques du lundi au dimanche, alors la boucle va permettre de prendre en compte le temps de lundi pour prédire le temps de mardi, le temps de lundi et mardi pour prédire celui de mercredi, etc.

On peut représenter un tel réseau de deux façons :

- selon un schéma « plié » du réseau, qui montre son fonctionnement de façon synthétique. Pour chaque entrée , le réseau renvoie une sortie ainsi qu’un certain nombre de paramètres qui vont être utilisés dans la couche cachée qui va traiter l’entrée et donc avoir une influence sur la sortie ;

- selon une version « dépliée » du schéma, qui montre plus clairement l’influence du traitement de chaque entrée sur le traitement de l’entrée suivante. Pour parler de la phase traitée par les couches cachées et influençant les couches cachées à l’état , on utilise le terme « état caché ».

Schéma d’un réseau de neurones récurrent

Ce modèle peut être entraîné de la même façon qu’un réseau de neurones à action directe grâce à la technique de rétropropagation du gradient. Toutefois, le calcul du gradient prend en compte un paramètre supplémentaire : l’information provenant des étapes précédentes de la séquence. La prise en compte de ce nouveau paramètre crée deux problèmes opposés : d’une part, un risque de « disparition du gradient » (en anglais gradient vanishing), situation où le gradient devient très faible et ne modifie quasiment plus les poids et les biais du modèle ; d’autre part, un risque d’« explosion du gradient », situation où, au contraire, le gradient devient très fort et modifie les poids et les biais de façon erratique. Ces problèmes rendent le gradient inopérant à long terme, ce qui empêche les RNN simples de traiter l’information de façon cohérente sur une longue séquence. Pour pallier ces problèmes, l’architecture des RNN a dû être améliorée pour posséder une mémoire à court terme, mais également une mémoire à long terme.

(6) Les réseaux de neurones à mémoire court et long terme (LSTM)

Les RNN donnent de bons résultats pour une mémoire courte par exemple pour assurer la prédiction du mot de la phrase suivante « La couleur du ciel est ...… » mais pour une phrase plus longue comme « J’ai passé vingt longues années à travailler pour les enfants défavorisés en Espagne. J’ai ensuite déménagé en Afrique. Je parle couramment ……… », les RNN sont en difficulté car l’information se propage dans le réseau puis se perd à cause du problème de la disparition du gradient (vanishing gradient)[69].

Les réseaux de neurones à mémoire court et long terme (en anglais long-short term memory ou LSTM) sont une architecture de RNN qui permet de résoudre les problèmes de disparition et d’explosion du gradient.

Cette architecture, qui est la plus utilisée en pratique, a été inventée en 1997 par Sepp Hochreiter et Jürgen Schmidhuber[70]. L’information passe par trois portes : une porte d’entrée (input gate), une porte de sortie (output gate) et une porte d’oubli (forget gate).

Schéma simplifié d’une cellule de LSTM et de ses trois portes

Source : Omar Imai, op. cit.

Chaque unité computationnelle est liée non seulement à un état caché du réseau mais également à un état de la cellule qui joue le rôle de mémoire. Ainsi, les informations passant dans les cellules LSTM sont traitées selon une forme de mémoire : alors que certaines informations sont gardées à long terme, d’autres sont oubliées et ne passent donc pas au jalon temporel suivant.

Les réseaux RNN complétés de ces cellules LSTM ont notamment débouché sur les architectures Transformer qui sont à la base des Large Language Models et qui seront traitées plus loin.

c) Les autres systèmes d’apprentissage

D’autres systèmes ont précédé le Deep Learning et peuvent parfois présenter moins d’intérêt mais ils restent pertinents, par exemple dans des cas d’usage où la puissance des réseaux de neurones profonds n’est pas nécessaire.

(1) Les machines à vecteurs de support (SVM)

Les machines à vecteurs de support (support vector machines ou SVM, parfois traduits en « séparateurs à vaste marge » pour reprendre l’acronyme anglais) sont des moyens de classifier une population en groupes dont les individus sont similaires au regard d’un certain nombre de variables.

Ils correspondent à une généralisation des classifieurs linéaires. Leurs développements en informatique remontent aux années 1990, à la suite des travaux de théorie statistique conduits par Vladimir Vapnik en URSS depuis les années 1960 (menant notamment à la théorie de Vapnik-Chervonenkis, dite VC). Ils reposent ainsi sur les notions de marge maximale[71] et de fonction noyau[72], qui leur préexistaient, mais qu’ils sont les premiers à articuler.

Ces modèles sont efficaces dans le cas de données de grandes dimensions et peuvent donner des résultats équivalents à ceux des réseaux de neurones. Ils nécessitent de posséder un large jeu de données d’entraînement (individus dont on connaît a priori les variables d’intérêt et la classe) ; grâce auquel il devient possible de prédire la classe d’autres individus dont on ne connaît que les variables d’intérêt. Les individus peuvent être représentés comme des points dans un espace qui compte autant de dimensions que le nombre de variables requis pour décrire un individu.

Il s’agit de trouver la frontière séparant la population en deux classes. Deux types de situations se présentent alors : le cas où l’on peut séparer les classes de façon linéaire, c’est-à-dire où l’on peut déterminer un hyperplan dans l’espace tel que tous les individus d’une classe sont situés d’un côté de l’hyperplan et tous les individus de l’autre classe sont situés de l’autre côté ; le cas où l’on ne peut pas le faire et où la détermination de la frontière étant plus délicate, il faut trouver un autre moyen de séparer les classes de la population.

Deux exemples de classement (selon une visualisation géométrique)

Néanmoins, il existe le plus souvent plusieurs possibilités de séparer une population en deux classes : c’est le cas des deux frontières rouges séparant la population en deux classes dans l’illustration ci-dessous.

Deux frontières possibles pour une même classification

Ces deux frontières semblent aussi performantes l’une que l’autre à l’issue de leurs processus d’apprentissage respectifs : le jeu de données d’apprentissage est correctement séparé en deux classes. Mais il reste à déterminer un moyen d’obtenir la frontière la plus pertinente, une séparation optimale qui permettrait, lorsqu’on ajoute à la population un nouvel individu n’appartenant pas au jeu d’entraînement, de déterminer sa classe avec un niveau de confiance élevé.

La frontière la plus pertinente avec un nouvel individu

Les deux frontières sont aussi performantes l’une que l’autre à l’issue de leurs processus d’apprentissage respectifs, mais leurs performances ne sont pas équivalentes quand on généralise l’usage du modèle avec l’entrée de nouveaux individus. Il reste à optimiser cette frontière.

Pour toute frontière possible, on peut déterminer la distance qui sépare un individu de cette frontière et, par voie de conséquence, quels sont les individus les plus proches de celle-ci. Leur distance à la frontière est appelée « marge ». La frontière optimale sera celle pour laquelle la marge est la plus grande. Une fois ce problème d’optimisation résolu :

- on dispose de la frontière, c’est-à-dire de la règle de classement, qui classera le mieux les individus autres que ceux de l’ensemble d’apprentissage ;

- pour chacune des deux classes, il existe un individu au moins qui est le plus proche de la frontière. Et ces individus sont appelés « vecteurs de support », on peut les voir comme les représentants de leurs classes car si l’échantillon d’apprentissage n’était constitué que par ces vecteurs de support, la frontière optimale que l’on trouverait alors serait identique à la précédente : les vecteurs de support contiennent toute l’information qui détermine la frontière ou règle de classement.

Le frontière optimale correspondant aux vecteurs de support

La frontière (ligne rouge continue) classe ici la population de façon optimale : tous les individus de chaque groupe sont répartis de part et d’autre et la marge est maximale (distance entre la frontière et les individus bleu et vert les plus proches, appelés vecteurs de support, marqués par une flèche noire). De chaque côté de la frontière, il existe un hyperplan parallèle à celle-ci qui passe par le ou les individus de support (lignes rouges pointillées) et la frontière la plus pertinente est située à égale distance de ces deux hyperplans.

Le grand intérêt de la notion de « vecteurs de support » est qu’elle permet de généraliser l’utilisation de machines SVM à des populations qui ne sont pas linéairement séparables. En toute rigueur, aucune frontière n’est capable de séparer complètement et exactement ce type de population entre deux classes déterminées : tout hyperplan de l’espace laissera « du mauvais côté » au moins un individu. Deux approches sont possibles dans cette situation.

On peut d’abord accepter le fait que la règle de classement (ou la frontière) génère quelques erreurs, mais faire en sorte que leur portée reste limitée. On met alors en œuvre la méthode des séparateurs à « marges souples ». Le processus d’optimisation permettant de déterminer la frontière optimale fonctionne alors sous double contrainte : comme précédemment, il faut maximiser la marge, mais désormais il faut aussi minimiser une fonction d’erreur, assise sur l’écart entre le classement généré par la machine et le classement effectif, pour chaque individu du jeu d’entraînement. Un paramètre nouveau définit la tolérance de la machine aux erreurs ; en pratique, plusieurs machines sont souvent construites, avec différentes valeurs du paramètre de tolérance, puis l’on choisit la plus acceptable. Le graphique suivant illustre un séparateur à marges souples. La frontière qui sépare les deux classes de la population est optimale tout en faisant apparaitre trois individus mal classés (deux verts et un bleu).

Le seuil optimal selon un séparateur à marges souples

La seconde méthode consiste à effectuer une séparation exacte, mais non linéaire. Elle suppose d’ajouter des dimensions supplémentaires à l’espace des données décrivant les individus, de façon à obtenir un espace dans lequel il est certain que la population peut être linéairement séparée[73]. On détermine alors la frontière optimale dans ce nouvel espace, selon la méthode SVM exposée ci-dessus, puis on en déduit la frontière dans l’espace des données initial.

Le passage par un espace de redescription

Source : Jean-Paul Comet, septembre 2024, Cours d’introduction à l’IA pour la biologie, Université de Nice-Sophia-Antipolis, cf. https://webusers.i3s.unice.fr/~comet/SUPPORTS/index.php

Dans l’espace d’origine ici à deux dimensions, la population n’est pas linéairement séparable, mais dans l’espace de redescription (ici à trois dimensions), on peut trouver l’hyperplan qui correspond à la frontière optimale. Ramené à l’espace initial à deux dimensions, cet hyperplan dessine un cercle.

(2) Les modèles markoviens ou « chaînes de Markov »

Les algorithmes d’intelligence artificielle peuvent reposer sur certaines prédictions stochastiques modélisant des processus aléatoires, appelées modèles markoviens ou « chaînes de Markov », dont le processus de Bernoulli est l’un des exemples les plus connus, représentant la forme la plus simple de ces calculs. Il s’agit de probabilités pour lesquelles les états futurs ne dépendent que de l’état présent et pas des états antérieurs[74]. Cette absence de besoin de mémoire du passé est appelée « propriété de Markov ». Si cette propriété est présente parmi des variables aléatoires, on a affaire à un « processus de Markov ». Si ce processus correspond à des états qui sont dénombrables (autrement dit si l’on a affaire à un espace discret), il s’agit d’une « chaîne de Markov ».

Sous réserve de disposer de nombreuses variables (ces prédictions sont soumises à la loi des grands nombres), ces modèles peuvent donner des résultats significatifs, comme l’a montré leur utilisation fréquente en physique statistique depuis le début du XXe siècle. Les systèmes de bonus-malus des assurances les utilisent. L’algorithme PageRank qui a fait le succès de Google et qui permet à son moteur de recherche de classer les pages Web selon leur popularité repose sur une chaîne de Markov. De tels modèles peuvent aussi produire du texte, en suggérant une suite de mots.

Partons d’un processus de Markov avec des états dans lesquels on a une variable aléatoire X et un processus aléatoire par lequel l’état de Xn+1 est déterminé par Xn, l’état futur dépendant donc de l’état présent. Dans un tel processus, il est possible de réaliser une « chaîne de Markov » qui représente les transitions possibles entre ces états. Le plus souvent cette chaîne est représentée par une matrice de transition mais on peut aussi la figurer dans un schéma.

Un exemple de chaîne de Markov issu de la vie quotidienne pourrait être, en le simplifiant, la météorologie. Avec des prévisions qui seraient réduites à seulement trois états possibles (« ensoleillé », « nuageux » et « pluvieux »), on part de l’état actuel – la météo du jour – qui peut être l’une de ces trois conditions météorologiques. Or l’état du lendemain dépend de l’état actuel : il est moins probable de passer d’un temps ensoleillé à un temps pluvieux que de passer d’un temps ensoleillé à un temps nuageux. En observant les conditions climatiques aux instants T+1, T+2 … jusqu’à T+N, on a une chaîne d’événements probables. Cette chaîne est markovienne puisque la probabilité du temps qu’il fera demain est déterminée par le temps qu’il fait aujourd’hui.

On a un modèle de Markov caché (MMC) lorsque l’on a une chaîne de Markov dont on connaît les probabilités de transition entre les différents états mais pour lequel les états sont cachés, ainsi que des variables observables dépendant de variables cachées. On connaît simplement de ces variables observées la probabilité de les observer en fonction de l’état de la variable cachée. Ainsi, l’état de la variable cachée influence la variable observable, mais l’inverse n’est pas exact.

Ces modèles tentent de comprendre une réalité qui reste partiellement voilée par des incertitudes. Dans un modèle de Markov caché, deux mondes coexistent : le monde caché, qui évolue selon certaines règles, et le monde visible, où nous faisons nos observations. Le défi réside dans l’absence d’accès direct aux états du monde caché : avec des indices observables laissés derrière lui, ce monde peut être approché.

Pour déchiffrer la séquence des états cachés d’un MMC, il faut calculer la probabilité des états cachés en fonction des observations visibles, puis utiliser le théorème de Bayes pour établir une probabilité conditionnelle et calculer les nouveaux termes de probabilité avec une approche récursive, appelée algorithme de progression ou algorithme avant (forward algorithm). La probabilité de chaque état est sans cesse affinée, et l’on arrive à un modèle qui associe chaque observation à une série d’états cachés, dévoilant ainsi partiellement ce qui ne pouvait pas être vu directement : inférer les états cachés a permis de finaliser l’interprétation.

Pour illustrer un modèle de Markov caché, on peut prendre l’exemple d’une ville dont on ne connaît pas la météo mais seulement les probabilités de transition entre différents états, en simplifiant à nouveau avec trois possibilités : « ensoleillé », « nuageux » et « pluvieux ». Régulièrement, on organise une visioconférence avec Eliza, une habitante de la ville dont on sait qu’elle peut être soit heureuse, soit malheureuse. On sait également que l’humeur d’Eliza dépend du temps, et on connaît la probabilité de l’humeur d’Eliza en fonction du temps qu’il fait dans sa ville. On observe pendant plusieurs jours l’humeur d’Eliza et en fonction de cela, on détermine la combinaison de temps la plus probable pour aboutir à cette suite d’humeurs. Dans cet exemple, la variable cachée est le temps qu’il fait dans la ville d’Eliza, et la variable observable est l’humeur d’Eliza. Il est possible de déterminer l’état probable de la variable cachée grâce à la variable observable.

(3) La contribution des réseaux bayésiens à l’IA

Les réseaux bayésiens, en référence au mathématicien britannique Thomas Bayes[75], sont des modèles graphiques probabilistes représentant un ensemble de variables aléatoires, sous la forme d’un graphe orienté acyclique (de l’anglais Directed Acyclic Graph – DAG). Dans ce graphe, les relations de cause à effet entre les variables ne sont pas déterministes, mais probabilisées. Le réseau bayésien devient une sorte de machine à calculer des probabilités conditionnelles. En fonction des informations observées, la probabilité des données non observées peut être calculée[76]. L’utilisation d’un tel réseau s’appelle « inférence ». Il s’agit d’un calcul de probabilités a posteriori, étant donné des nouvelles informations observées.

Ces réseaux peuvent être utilisés en Machine Learning puisqu’à partir des données, il devient possible d’estimer la structure d’un réseau ou les tables de probabilités d’un réseau. Par le calcul des inférences dans des réseaux bayésiens, il est possible d’aider au diagnostic, tant en matière médicale qu’industrielle, notamment grâce à l’analyse de risques. Les réseaux bayésiens permettent aussi à des systèmes d’IA de faire de la détection des spams ou du data mining.

D’autres méthodes probabilistes, parfois utilisées en IA, reposent sur ces modélisations bayésiennes, à l’instar de la « méthode de Monte-Carlo par chaînes de Markov » (MCMC pour Markov chain Monte Carlo en anglais) algorithme à ne pas confondre avec « l’algorithme de Monte-Carlo » (qui utilise une source de hasard). Les MCMC utilisent la méthode de Monte-Carlo (qui permet de calculer une valeur numérique approchée en utilisant des procédés aléatoires, c’est-à-dire des techniques probabilistes, dans le but par exemple d’introduire des risques) mais en se basant sur le parcours de chaînes de Markov, qui ont pour lois stationnaires les distributions à échantillonner.

(4) L’apport de la « régularisation statistique » de Vapnik

Les réseaux de neurones formels, les modèles de Markov cachés mais aussi tous les autres modèles statistiques classiques utilisent soit des méthodes d’optimisation directe, comme la régression linéaire, soit des méthodes itératives comme la descente du gradient. Or tous les systèmes d’apprentissage font face à des problèmes de surapprentissage, on parle aussi parfois de surajustement ou de surinterprétation. Le modèle devient trop précis car il contient plus de paramètres que les données ne le justifient. Vladimir Vapnik, l’inventeur des SVM, a répondu au problème dans l’URSS des années 1970 et 1980 avec sa théorie de la régularisation statistique.

Pour réduire la variance des modèles, on introduit de nouvelles informations permettant par exemple de pénaliser les valeurs extrêmes des paramètres. Le plus souvent, il s’agit d’utiliser une norme sur ces paramètres, que l’on va ajouter à la fonction qu’on cherche à minimiser. L’optimisation devient alors possible en évitant ou du moins en réduisant les phénomènes de surapprentissage.

II. Les IA génératives : principale innovation technologique en intelligence artificielle depuis 2017

A. les principales avancées en matière de génération de contenu ces dernières années

En amont de la mise à disposition de ChatGPT par OpenAI le 30 novembre 2022, système qui a marqué le grand public par ses performances malgré des hallucinations alors encore trop nombreuses, un ensemble d’innovations ont conduit à des progrès dans les technologies d’IA. La principale de ces innovations est la définition d’une nouvelle architecture pour les modèles d’apprentissage profond appelée Transformer.

Son invention en 2017 a permis cinq ans plus tard la création du modèle Generative Pre-trained Transformer, dont les initiales GPT ont été données au système d’agent conversationnel d’OpenAI. Selon Laurent Alexandre, entendu par vos rapporteurs, le XXIe siècle est né le 30 novembre 2022 avec l’introduction de cet outil d’IA générative.

Il serait plus juste de dater cette révolution technologique de l’année où le modèle est proposé, soit 2017, d’autant plus que ChatGPT, s’il est le premier à être commercialisé, n’est pas la première IA générative à être mise au point : le modèle BERT (pour Bidirectional Encoder Representations from Transformers) a été conçu par Google dès 2018. Et l’année suivante, des modèles spécifiques à la langue française sont même développés : CamemBERT et FlauBERT[77].

Ces outils ont d’abord concerné le langage avec les grands modèles de langage (LLM de l’anglais Large Language Models) puis les contenus sonores ou visuels. Depuis 2017, chaque trimestre en moyenne, les modèles sont l’objet d’avancées significatives, qualitativement, du point de vue de leur architecture ou, au moins, quantitativement, du point de vue de l’accroissement de leur taille, ce qui les rend mécaniquement de plus en plus efficaces. On parle à ce sujet de lois d’échelle ou scaling laws.

1. « Attention is all you need » : la technologie Transformer inventée en 2017

L’innovation introduite en 2017 consiste à apporter une amélioration à l’apprentissage profond résultant de la multiplication des couches de réseaux de neurones, telle que vue précédemment, ouvrant la voie d’intelligences artificielles génératives performantes, en particulier dans le domaine des LLM dédiés au traitement naturel du langage[78].

Dans un article scientifique qui fait référence à la chanson des Beatles All you need is love – dont la conclusion du refrain Love is all you need est paraphrasée sous la forme Attention is all you need[79] – des chercheurs de l’entreprise Google ont théorisé l’architecture Transformer (plus rarement appelée « Transformeur »). Alors que les LSTM ont une mémoire relativement courte et ont du mal à traiter de propositions ambiguës, l’architecture Transformer résout en grande partie ce problème.

En effet, cette dernière est dotée d’un mécanisme appelé « l’attention », qui lui permet d’obtenir des informations sur les mots en fonction du contexte de la phrase et ainsi de traiter plus d’éléments qu’un LSTM, y compris pour une proposition dont le sens ne se déduit pas de sa seule formulation.

En pratique, le mécanisme d’attention est un encodeur qui fonctionne par étapes successives permettant de transformer toute l’information nécessaire de la séquence de mots à traiter en données numériques (c’est le word embedding qui a notamment recours à des fonctions sinus et cosinus). Ainsi, après une parallélisation de calculs de matrices de poids d’attention (on parle de multi-headed attention ou attention multi-têtes[80]), on va transformer les mots en vecteurs, puis calculer les liens grammaticaux, sémantiques et pragmatiques entre les différents mots d’une séquence.

Par exemple, la phrase « Alice amène sa voiture rouge au garage car elle est en panne » est facilement compréhensible par un être humain, elle l’est toutefois beaucoup moins pour un modèle de langage sans attention. En effet, si le modèle traite les informations mot à mot, alors il est incapable de lier les adjectifs aux noms, ainsi « voiture rouge » ne sera pas un concept pour le modèle mais l’addition des concepts de « voiture » et de « rouge », ce qui peut poser des problèmes puisque tout ce qui est rouge n’est pas une voiture et toutes les voitures ne sont pas rouges.

En plus de cela, il existe des ambiguïtés qui sont évidentes à lever pour un être humain mais ne le sont pas pour le modèle. Dans la phrase d’exemple, le pronom « elle » est ambigu, il peut renvoyer au sujet ou à l’objet de la phrase, c’est-à-dire à la voiture ou à Alice.

Avec le contexte, il est clair pour un humain que l’on parle ici de la voiture d’Alice, mais il s’agit d’une information dont un modèle ne peut disposer que grâce à un système d’attention.

Le fonctionnement de ce système nécessite d’abord de transformer une séquence de mots, dont l’information est transmise par des données de type « chaîne de caractères », en valeurs numériques qui pourront alors être traitées par un réseau de neurones.

a) La « tokenisation » : découper préalablement les mots

Une fois que le jeu de données d’apprentissage a été constitué (ici, un ensemble étendu de textes), la première étape de cette technologie consiste à découper les mots en unités ou tokens qui sont des briques élémentaires de vocabulaire servant d’unités de base pour le modèle.

Cette technique permet une meilleure capacité du modèle en termes de généralisation, en particulier par rapport à des mots rares ou à des variantes linguistiques.

Les données d’entraînement contiennent des milliards de ces tokens. Ces briques, souvent plus petites qu’un mot, sont les éléments traités par le reste du mécanisme d’attention. Pour cela, il existe plusieurs algorithmes : BPE[81] (Byte Pair Encoding), WordPiece[82], Unigram[83], etc.

Par exemple la phrase « Science sans conscience n’est que ruine de l’âme » tirée du roman Pantagruel de Rabelais est transformée par GPT-4[84] en quatorze tokens :

Science| sans| conscience| n| ‘est| que| ru| ine| de| l| ‘| â|me|.

On constate que certains mots ne sont pas découpés en unités plus petites comme « science » et « conscience », cependant les mots « ruine » et « âme », eux, sont découpés.

Si l’on reprend l’exemple pris pour introduire le concept d’attention, on obtient ce découpage en quinze unités :

Alice| am|ène| sa| voiture| rouge| au| garage| car| elle| est| en| pan|ne|.

Du côté de la génération de contenus, comme peuvent souvent le voir les utilisateurs de ces systèmes en temps réel, le texte est généré, token après token, ce qui a des conséquences sur la probabilité que chaque token généré à l’étape suivante soit le bon.

b) Le plongement lexical : vectoriser les tokens

Même découpés ainsi en briques élémentaires, les mots sont toujours des chaînes de caractères. Or, on l’a vu précédemment, les réseaux de neurones traitent des données numériques. Donc, pour être traitée dans un modèle d’IA, l’information lexicale doit être transformée en information numérique.

Pour cela, on réalise une opération essentielle que l’on appelle un « plongement lexical » ou word embedding en anglais. Une méthode qui préexistait aux Transformers.

Il s’agit d’associer à chaque unité un vecteur représentant les coordonnées du mot dans un espace possédant un grand nombre de dimensions. Ce vecteur est un ensemble de coordonnées, notées dans une colonne unique, chaque nombre dans la colonne définit la coordonnée du mot dans une dimension de l’espace. Par exemple, prenons le cas d’un vecteur qui représente un mot dans l’espace de plongement, on note ses coordonnées de la manière suivante :

.

Le nombre correspond à la coordonnée du mot dans la première dimension de l’espace, dans la deuxième, etc., jusqu’à la nième dimension, étant le nombre total de dimensions de l’espace de plongement. Ainsi, le nombre de coordonnées dans un vecteur définit le nombre de dimensions de l’espace de plongement. L’espace de plongement possède un très grand nombre de dimensions, il ne ressemble pas aux espaces en deux ou trois dimensions dont nous sommes plus familiers. L’espace de plongement est difficile à imaginer de façon intuitive : un vecteur qui représente des coordonnées est préféré car les vecteurs permettent de réaliser des opérations qui rendent cet espace multidimensionnel moins abstrait.

Si l’on remplace chaque coordonnée des vecteurs par des couleurs, par exemple un dégradé allant du bleu au rouge avec la valeur zéro pour le blanc, on peut représenter visuellement les vecteurs des mots « plongés » (mots qui sont les objets du plongement lexical). Cela permet d’observer des propriétés intéressantes en ne regardant que les coordonnées des vecteurs plongés.

Dans l’image qui suit, on constate que les mots « homme » et « femme » ont plus de similitudes entre eux, que chacun d’eux peut en avoir avec le mot « roi », ce qui est normal puisque les deux désignent un genre, alors que « roi » désigne une fonction.

Représentation sous forme de couleur des coordonnées vectorielles

des mots « king », « man » et « woman »

Source : Jay Alammar, Word Embedding[85]

Plonger les unités lexicales dans un espace continu permet également de réaliser des calculs avec eux plutôt que de se contenter d’observer des similarités sans les mesurer. Les vecteurs possèdent trois caractéristiques avec lesquelles il est possible de réaliser des opérations. Ils ont une norme, qui correspond à leur longueur dans l’espace, une direction qui est l’orientation du vecteur dans l’espace, et un sens, qui indique vers quelle extrémité le vecteur pointe (de l’origine du repère vers l’extrémité qui est le mot dans l’espace).

Réaliser des opérations sur les vecteurs correspond par exemple à additionner deux vecteurs, ce qui revient à faire translater un vecteur à l’extrémité d’un autre pour tracer le vecteur sommes : celui-ci part alors de l’origine du premier, passe par l’extrémité à l’origine du second et se termine à l’extrémité du second. Une autre opération courante avec des vecteurs est le produit scalaire de deux vecteurs, qui est un nombre. Ce produit scalaire se calcule en multipliant leurs normes respectives par le cosinus de l’angle formé par ces deux vecteurs[86] :

Aussi, si le plongement lexical est correctement réalisé, il est possible d’effectuer des opérations sur la base du « sens » des mots, entendu comme l’ensemble des relations de proximité ou d’éloignement entre mots que l’apprentissage a permis d’identifier. Par exemple, dans cet espace, le vecteur de différences entre les mots « homme » et « roi » est similaire au vecteur de différences entre les mots « femme » et « reine ». Ainsi, on peut établir l’identité approximative telle que :

Des chercheurs ont cherché à comprendre en 2019[87] la structure mathématique de ces analogies entre les mots, qui prennent par exemple une forme de type « a est à b ce que x est à y », permettant à des modèles d’affirmer que a et x peuvent être transformés de la même manière pour obtenir b et y, et vice-versa.

D’un point de vue formel, ces analogies linéaires entre les mots correspondent à des relations vectorielles où les vecteurs forment dans l’espace vectoriel une structure géométrique de type parallélogramme. Ces quadrilatères ont des propriétés utiles qui peuvent être exploitées. Une analogie linéaire dans l’espace vectoriel entre tel ensemble de mots (ou de tokens) et tel autre ensemble de mots (ou de tokens) montre que leurs vecteurs sont coplanaires et que toute combinaison de ces vecteurs peut être utilisée pour réécrire les structures de relations entre ces éléments en termes statistiques.

En pratique, les systèmes de relations sont bien entendu plus complexes que l’exemple de parallélogramme dans l’espace vectoriel donné ici.

L’exemple d’un parallélogramme analogique au sein de l’espace vectoriel

Source : Kawin Ethayarajh, op. cit.

Cette structure implique que les vecteurs sont coplanaires et que les relations entre les mots peuvent être représentées géométriquement mais surtout statistiquement. La corrélation entre les mots dans un corpus d’apprentissage est ainsi d’autant plus élevée que la distance euclidienne entre leurs vecteurs est faible. Cette affirmation qui semble intuitive repose, selon Kawin Ethayarajh, sur la première interprétation théorique de la distance euclidienne dans les espaces vectoriels de mots. Il montre que cette approche surpasse scientifiquement les théories arithmétiques sur les analogies entre les mots en affirmant que la distance euclidienne est une fonction linéaire décroissante de l’induction mathématique de leur co-occurrence vectorielle relative, à l’aide du théorème csPMI[88].

Il est donc possible de réaliser des produits scalaires entre deux vecteurs au sein d’un espace vectoriel et de comparer les produits scalaires de ces vecteurs pour voir lesquels « vont dans la même direction », témoignant de leurs proximités sémantiques.

Pour mieux comprendre ce principe, il est possible de l’illustrer d’un exemple avec une réduction des dimensions de l’espace de plongement. Ainsi, l’algorithme word2vec, dont une démonstration est disponible sur le site de l’École Polytechnique[89], permet de réaliser des opérations à partir de mots qui ont été plongés : il est possible d’effectuer une « similarité cosinus », qui est une opération utilisant le produit scalaire en faisant en sorte que les normes des vecteurs comparés ne comptent pas dans le résultat final (on parle d’une « normalisation » ou encoding en anglais).

Dans l’espace vectoriel, les mots « Sénateur » et « Député » ont une similarité cosinus d’environ 0,84 ce qui est un score relativement important, illustrant le fait que dans l’espace vectoriel, ces deux mots sont proches. La proximité sémantique peut être reproduite via des calculs en tant que similarité cosinus.

Proximité des mots « Sénateur » et « Député » dans un espace vectoriel

Source : Calcul réalisé à l’aide du site de l’École Polytechnique

On peut également prendre une représentation en deux dimensions de l’espace vectoriel (qui est lui à n dimensions) et trouver les voisins de mots déterminés. On peut alors se faire une idée intuitive de la façon dont fonctionne l’espace de plongement. Il est toutefois toujours important de garder en tête qu’il ne s’agit que d’une représentation très simplifiée : un espace de plongement possède un grand nombre de dimensions et donc des propriétés particulières qui peuvent être contre-intuitives par rapport à sa forme visuelle.

Un exemple peut être donné à travers une représentation graphique, grâce à la démonstration de l’algorithme word2vec sur le site de l’École Polytechnique, des cent mots les plus proches de « République ». On peut y voir des mots liés aux valeurs républicaines comme à la vie politique plus généralement.

Représentation des cent mots les plus proches de « République »

Source : Schéma réalisé à l’aide du site de l’École Polytechnique

c) Le mécanisme d’attention : intégrer le contexte

Encoder les tokens (ce qui revient à normaliser les jetons) dans un espace de très grande dimension ne suffit pas. En effet, un jeton ou un mot peuvent être polysémiques : dans l’exemple précédent, le mot « voiture » en français peut désigner le véhicule motorisé individuel, mais également une partie d’un train qui accueille les voyageurs. Des informations grammaticales doivent également être tirées du sens de la phrase.

Si l’on reprend la phrase :

« Alice| am|ène| sa| voiture| rouge| au| garage| car| elle| est| en| pan|ne| »,

il est naturel pour nous de savoir que le mot « elle » dans cette phrase concerne la voiture, et non Alice. Toutefois, cette information est impossible à connaître pour un système d’IA sur la base du simple plongement lexical des mots. Le défi consiste à introduire cette information contextuelle.

Les vecteurs de plongement lexical vont pour cela passer par un processus appelé « mécanisme d’attention » afin d’y associer les informations de contexte essentielles à la compréhension de la phrase : à quel nom se rattache un adjectif, à quel nom renvoie un pronom, quel est le « sens » d’un mot dans la phrase, etc.

Tout au long de cette première phase d’entraînement, le modèle établit les relations probabilistes entre chaque token et tous les autres tokens de l’ensemble de données.

Dans les modèles d’IA générative basés sur l’architecture Transformer, le mécanisme d’attention est un algorithme par lequel le modèle identifie les briques élémentaires qui offrent des informations contextuelles sur la signification des autres briques. Cet algorithme juge de la pertinence des entrées en fonction du contexte spécifique de telle ou telle demande (les requêtes sont appelées prompts) et leur attribue différents poids relatifs dans son processus de calcul.

Le modèle est alors en mesure de produire des résultats en prédisant la suite de tokens probablement la plus adaptée à un contexte donné, selon une fonction softmax (aussi appelée, plus rarement, fonction exponentielle normalisée), qui permet de donner aux vecteurs une valeur entre 0 et 1 (ou entre 0 et 100 en pourcentage).

Les LLM utilisés depuis l’introduction de ChatGPT en 2022 reposent sur ce mécanisme mathématique de mise en contexte par algorithme.

d) Un apprentissage auto-supervisé et des données synthétiques

Parmi les méthodes d’apprentissage automatique (Machine Learning), dont celles recourant à des réseaux de neurones en couches profondes (Deep Learning), le modèle apprend le plus souvent à partir d’échantillons de données annotées. Comme l’explique Yann LeCun depuis les progrès enregistrés par ces algorithmes dans les années 2010, l’un des grands défis sera de remplacer cet apprentissage supervisé par un apprentissage non supervisé.

Ainsi que l’a souligné Bertrand Braunschweig lors de son audition, l’architecture Transformer, peut être vue comme une étape dans le passage de l’apprentissage supervisé à l’apprentissage non supervisé. On parle à ce sujet d’apprentissage auto-supervisé (et parfois d’apprentissage semi-supervisé). En anglais, la notion de self-supervised learning (ou SSL) est utilisée.

Le modèle apprend à partir d’échantillons de données non annotées certes mais, dans un premier temps, l’apprentissage reste supervisé : les réseaux de neurones sont initialisés avec des étiquettes qui aident à déterminer les premiers poids synaptiques de chacun des réseaux.

Ce n’est que dans un deuxième temps que l’apprentissage devient non supervisé, les échantillons de données ne sont pas annotés et le modèle générant génère automatiquement les étiquettes associées, sans intervention humaine.

L’apprentissage auto-supervisé est la technique d’apprentissage des modèles Transformer mais d’autres modèles y ont également recours. Différentes applications de reconnaissance sont élaborées par Facebook par exemple : une fois entraîné selon un apprentissage supervisé à identifier des liens entre des contenus, le modèle passe à un apprentissage auto-supervisé qui lui permet de générer automatiquement des étiquettes, conduisant au fait qu’un modèle identifie seul les relations entre des images similaires.

En plus des données préexistantes, issues du monde réel et du monde virtuel qu’est Internet, les modèles d’IA générative ont de plus en plus recours à des données créées artificiellement dont les propriétés statistiques prédictives sont proches des données réelles mais dont les conditions de mise à disposition sont moins chères, plus accessibles ou ne contiennent pas d’informations personnelles ou sensibles. Ces corpus, dérivés du réel ou pas, prennent le nom de données synthétiques ou synthetic data. De telles données permettent de réduire les coûts élevés des données issues du monde réel et de contourner les contraintes éthiques de données réelles tout en conservant des propriétés prédictives similaires.

Avant l’IA générative, de telles données, comme des animations de jeux vidéo en 3D, ont pu être utilisées pour entraîner des systèmes de reconnaissance visuelle. En biologie et en médecine, ce type de données a d’ores et déjà été très utile pour pallier le manque de données réelles, par exemple pour concevoir de nouveaux médicaments contre les maladies rares. La production rapide des vaccins lors de la pandémie de covid-19 reposait aussi sur l’utilisation de données synthétiques[90].

En tant que données de nature secondaire, dérivées de corpus qui peuvent eux-mêmes contenir des biais, les données synthétiques posent à la fois la question des biais liés aux données en général mais elles peuvent aussi apporter leurs propres biais en plus[91], et induire des erreurs dans les modèles d’IA, si elles ne reflètent pas correctement la réalité ou si elles sont mal calibrées[92].

Elles peuvent aussi renforcer des biais existants et déformer les résultats produits ensuite par les modèles d’IA[93].

Enfin, elles peuvent enfermer les modèles dans une boucle autodestructrice, appelée en anglais autophagous ou self-consuming loop, dégradant progressivement la qualité et/ou la diversité des données synthétiques et menant à un échec du modèle. Ce dernier point a fait l’objet d’un article critique en août 2024[94], qui propose un nouveau cadre d’entraînement itératif pour les modèles de diffusion sur la base de données synthétiques auto-améliorantes, appelé Self-IMproving diffusion models with Synthetic data (ou SIMS).

Lutter contre les biais de ces données synthétiques, en plus de lutter contre les biais des autres données plus généralement, doit être un objectif pour les développeurs de systèmes d’IA. Il faut mieux les évaluer en amont afin de pouvoir les prendre en considération ensuite lors des phases d’utilisation de données synthétiques pour l’entraînement des modèles d’IA, des mécanismes d’audit et de correction sont nécessaires et ils doivent prévoir le cas particulier des biais spécifiques introduits au stade des données synthétiques[95]. Ces audits, utilisant par exemple des tests spécifiques de biais avant entraînement des modèles, responsabiliseraient les concepteurs d’IA dans une logique proactive dans une démarche d’atténuation systématique et tangible et de réduction des biais. Les modèles de diffusion de type SIMS permettront une auto-amélioration et un ajustement de la distribution des données synthétiques des modèles de diffusion pour correspondre à une distribution cible souhaitée afin d’aider à atténuer les biais et à garantir l’équité des résultats.

2. Distinguer les « modèles de fondation » des systèmes d’intelligence artificielle

a) La notion de « modèle de fondation » et ses ambiguïtés

La notion de modèle de fondation, synonyme de celle de modèle d’intelligence artificielle à usage général utilisée par l’Union européenne[96], est issue des avancées en matière de Deep Learning dans les années 2010 et a été introduite en 2021 par des chercheurs de l’Université de Stanford[97] pour combler un vide de vocabulaire et identifier le modèle général issu de l’entraînement des algorithmes d’apprentissage profond pouvant ensuite faire l’objet de réglages ultérieurs plus fins, pour l’aligner avec certaines valeurs ou pour le spécialiser en vue de ses applications concrètes[98].

Cette expression désigne donc les modèles non spécialisés entraînés sur un large ensemble de données, aux thématiques variées et non étiquetées et ayant vocation à être utilisés pour réaliser différentes tâches après avoir fait l’objet d’un fine-tuning. Le « modèle de fondation » ne signifie pas que le modèle est « fondateur » au sens où il permet à l’IA d’être générative : les modèles de fondation ne sont pas exclusivement liés à l’IA générative, il est important de noter qu’il y a des systèmes d’IA générative qui n’ont pas de modèle de fondation (ils seront vus plus loin) et des systèmes d’IA non générative basés sur de l’apprentissage profond qui peuvent s’appuyer sur la dichotomie « modèle de fondation/réglage fin ».

C’est à partir des modèles de fondation que peuvent être construites, à la suite d’un réglage fin ou « fine-tuning », des applications destinées à un usage spécifique, comme des systèmes d’intelligence artificielle générative. Ainsi, le modèle de fondation constitue la couche logicielle élémentaire permettant le bon fonctionnement d’une application. La qualité finale d’une application d’IA dépend souvent en grande partie du modèle de fondation utilisé pour le bâtir. Les modèles Llama de Meta sont des exemples de modèles de fondation. Dans leur cas, ils sont proposés en open source aux développeurs et aux entreprises qui sont alors libres de réaliser des applications ou systèmes d’intelligence artificielle, dans le domaine qu’ils souhaitent grâce à des techniques permettant de spécialiser ces modèles de fondation et de les entraîner sur des données spécifiques.

Pour leur entraînement, ces modèles de fondation ont besoin de très vastes jeux de données. Les données d’entraînement utilisées par les grandes entreprises mais aussi par les développeurs plus petits restent le plus souvent secrètes. L’une des rares exceptions est le premier modèle Llama de Meta qui a poussé son caractère open source jusqu’à rendre publiques les modalités d’entraînement de ses algorithmes (y compris les données utilisées ou les poids synaptiques de ses réseaux de neurones). Ainsi les deux tiers des données provenaient du référentiel Common Crawl (qui après un nettoyage grâce à différents filtres rassemble la plupart des contenus des sites Internet), 15 % des données de C4 (une version encore plus nettoyée du grand corpus de Common Crawl, 4,5 % de GitHub, 4,5 % de Wikipédia, 4,5 % de différents ouvrages publiés et numérisés, 2,5 % d’ArXiv et 2 % de StackExchange, un forum collaboratif de questions/réponses sur des sujets variés. Les entreprises n’ont cependant pas recours uniquement à des données ouvertes, comme Common Crawl pour le langage ou Software Heritage pour le logiciel, elles utilisent aussi secrètement des données propriétaires, dans des proportions inconnues et au mépris du respect des droits des ayants droit.

Outre les données synthétiques, les modèles disposent d’un autre moyen de généralisation sans recourir à des données réelles : il s’agit d’un mode d’apprentissage où le modèle est entraîné à reconnaître et à catégoriser des objets ou des concepts sans avoir vu d’exemples de ces catégories ou concepts au préalable. On parle à ce sujet de Zero-Shot Learning (ZSL). Par exemple un modèle d’intelligence artificielle qui n’a jamais été entraîné à reconnaître un zèbre peut toutefois le reconnaître car il a été formé à reconnaître un cheval. Les premiers travaux à ce sujet datent de 2009[99], mais certains chercheurs avaient déjà réfléchi auparavant à l’idée de classifieurs sans données. Ces apprentissages zéro donnée sont une perspective intéressante pour les modèles d’IA générative, comme l’a déclaré aux conférences 2023 et 2024 de Sequoia Capital, Andrej Karpathy, fondateur avec Elon Musk et Sam Altman d’OpenAI en 2015 et actuel directeur de l’IA chez Tesla.

b) Le « fine-tuning » : passer du modèle de fondation aux applications

Pour que les outils de l’intelligence artificielle puissent répondre à des besoins variés sous la forme de multiples systèmes un « réglage fin » des modèles de fondation est nécessaire. Pour réaliser des applications, destinées en effet à des utilisateurs et donc à une utilisation spécifique, les développeurs utilisent des techniques d’entraînement appelées « réglages fins » (de l’anglais fine-tuning) qui permettent de spécialiser les modèles de fondation modèle, c’est-à-dire de l’aligner sur les objectifs des tâches attendues (par exemple un chatbot médical ou une IA avocate faisant office de conseiller juridique virtuelle). Des modules peuvent également être ajoutés à un modèle de fondation pour en modifier les sorties et les rendre plus cohérentes à telle ou telle utilisation spécifique. Des cadres comme LangChain permettent par ailleurs aujourd’hui de créer des applications qui se basent sur des chaînes de modèles d’intelligence artificielle réalisant des tâches successives pour parvenir au résultat présenté à l’utilisateur.

Pour saisir la différence entre modèles de fondation et applications, l’exemple des modèles GPT et de l’application ChatGPT peut être pris. Comme nous l’avons vu, les modèles GPT d’OpenAI sont des prédicteurs stochastiques de la suite d’une séquence de mots. Aussi après leur entraînement initial, ils n’ont pour seule fonction que de compléter la phrase commencée par l’utilisateur. Rien ne destine initialement le modèle à élaborer des réponses comme le ferait un robot conversationnel.

L’entreprise qui a entraîné le modèle de fondation peut être celle qui procède au réglage fin mais elle peut aussi laisser d’autres développeurs peaufiner son modèle pour des applications particulières. Les développeurs qui assurent le fine-tuning ont alors le choix d’utiliser une version locale du modèle ou – lorsque l’entreprise qui a créé le modèle l’a prévu – une interface de programmation d’application, appelée « API » pour Application Programming Interface. Les API facilitent la tâche des développeurs dans la phase aval en rendant les ajustements souhaités pour des applications spécifiques plus simples à réaliser.

Des exemples de développement d’applications sur la base de modèles de fondation peuvent être pris dans divers domaines, outre la médecine ou le droit déjà mentionnés. Ainsi, la direction générale des finances publiques du ministère de l’économie (DGFiP) a développé une application à partir du modèle de fondation open source Llama 2 de l’entreprise Meta, appelée « LLaMandement » qui permet de traiter et résumer les objets des amendements parlementaires lors de l’examen des projets de loi de finances[100].

L’adaptation d’un modèle de fondation à une application spécifique repose sur un entraînement supervisé du modèle de fondation sur des données annotées – impliquant le plus souvent une annotation humaine – qui permettent d’affiner les résultats du modèle. Ce réglage fin supervisé (SFT pour Supervised Fine-tuning) consiste à entraîner le modèle général pré-entraîné en vue de répondre spécifiquement à certaines tâches, à l’aide d’un jeu de données plus restreint, plus organisé que les données générales d’entraînement et impliquant le plus souvent une annotation humaine. En matière médicale, ce réglage fin supervisé pourra ainsi passer par des données médicales étiquetées correspondant à de bons diagnostics pour aider le futur système d’IA à effectuer lui-même de bons diagnostics.

Ce second entraînement est suivi par une troisième phase dite « d’alignement » du modèle qui s’effectue grâce à l’apprentissage par renforcement. Il est attendu du modèle qu’il soit le plus possible en phase avec les attentes ou les préférences d’un utilisateur humain et pour cela le modèle d’IA va apprendre les réponses les plus souhaitables à partir de retours sur ses actions (dans une logique de récompense : du type « bonne réponse » ou « mauvaise réponse »). En pratique, il peut s’agir d’un alignement sur les normes éthiques et socialement acceptables, de la recherche de discours politiquement correct par rapport à des valeurs morales perçues comme convenables, ou encore d’un bannissement de certains propos offensants, tels que l’emploi de termes racistes ou sexistes, etc., en pénalisant les retours du modèle qui contiendraient de tels propos.

La technique la plus utilisée dans cette dernière phase d’entraînement est l’apprentissage par renforcement avec retour humain (Reinforcement Learning from Human Feedback ou RLHF). Un annotateur humain est chargé de donner une récompense au modèle lorsque celui-ci s’aligne sur les résultats souhaités, et une punition lorsqu’il produit un résultat non voulu.

Une variante sans annotation humaine est possible, avec une IA spécifiquement programmée selon des principes moraux et l’on parle alors d’apprentissage par renforcement avec retour de l’IA (Reinforcement Learning with AI Feedback ou RLAIF). Le choix entre RLHF ou RLAIF peut résulter de considérations liées au coût de cette phase d’apprentissage ou au nombre et à la taille des modèles, en vue de leur scalabilité[101].

Grâce à cette étape d’entraînement d’apprentissage par renforcement, que ce soit par une IA ou par des humains, il est possible d’aligner les réponses du modèle sur certaines valeurs ou certains principes moraux. Les conséquences éthiques de tels choix arbitraires sont analysées par le Comité national pilote d’éthique du numérique (CNPEN) dans son avis n°7[102]. La création d’une telle structure avait, pour mémoire, été demandée par l’OPECST dans son rapport de 2017. Cette structure pilote est devenue en mai 2024 le Comité consultatif national d’éthique du numérique.

Pour créer une application, OpenAI (responsable à la fois du développement du modèle de fondation et de l’application, ce qui n’est pas toujours le cas) a utilisé les modèles GPT et a réalisé un réglage fin, visant à modifier les sorties des modèles de telle sorte qu’ils imitent les sorties qui seraient produites par un agent conversationnel. Ce réglage fin a été finalisé avec un RLHF qui a donc permis la création de ChatGPT, une application basée sur un modèle GPT (dont le dernier modèle, rendu public en mai 2024, est GPT-4o et qui a pris la suite de GPT-1, de GPT-2, de GPT-3 et de GPT-4, un GPT-5 étant en préparation), qui, plutôt que de fournir une suite probable à une séquence de mots (prédicteur stochastique), agit comme un véritable robot conversationnel avec lequel on interagit. Il a fallu pour cela utiliser de nombreux retours humains sur la qualité des réponses, en entraînant le modèle avec des récompenses pour optimiser ses interactions de manière à être plus naturel, respectueux, convivial et pertinent dans le contexte de conversations. Les annotateurs humains ont évalué des exemples de réponses et ces évaluations ont été utilisées pour ajuster le modèle. Ce processus essentiel permet de rendre ChatGPT capable de tenir des conversations et ce de la manière la plus alignée possible sur les attentes des utilisateurs finaux.

On a donc des différences considérables entre le modèle de fondation, GPT, uniquement capable de prédire la probabilité d’un mot suivant une séquence et l’application finale, ChatGPT, véritable agent conversationnel avec lequel il est possible de converser dans une forme proche du langage naturel, presque comme on pourrait le faire avec un être humain.

Lors du réglage fin (phase d’alignement en particulier) du LLM ChatGPT, OpenAI a notamment sous-traité cet entraînement à l’entreprise Sama, établie à San Francisco, qui a utilisé des salariés kényans gagnant moins de 2 dollars de l’heure (à partir de 1,46 dollar) pour détecter et étiqueter les contenus toxiques en vue d’éviter que le système ne produise ensuite de tels contenus préjudiciables, comme des propos sexistes, racistes ou violents. Cette information a été rendue publique en 2023 par le magazine Time, dont l’article soulignait que les travailleurs kényans, outre le fait d’être très mal payés, ont été exposés à des contenus traumatisants (pédophilie, nécrophilie, violences extrêmes, viols et abus sexuels, etc.). Un salarié a même décrit son travail comme relevant de la torture et un autre, relayé par un article du Guardian du 2 août 2023, explique avoir été complètement détruit à la suite de cette expérience, quatre des 51 salariés kényans ont même demandé à leur gouvernement d’enquêter sur les conditions de leur « exploitation » et sur le contrat liant Sama à OpenAI[103]. Cette dernière a refusé de commenter ces révélations tandis que Sama a assuré la mise à disposition 24 heures sur 24 et 7 jours sur 7 de thérapeutes pour ses modérateurs et le remboursement des frais de psychiatres.

Ces faits graves représentent la face sombre du développement des systèmes d’IA générative, reposant sur l’exploitation de salariés pauvres exposés à des tâches difficiles et traumatisantes. La plus grande partie de ce travail d’étiquetage est donc, comme l’affirme le Guardian, effectuée « à des milliers de kilomètres de la Silicon Valley, en Afrique de l’Est, en Inde, aux Philippines », et même dans des camps de réfugiés comme le camp de Dadaab au Kenya ou le camp de Chatila au Liban. Une chercheuse spécialisée sur l’annotation des données à l’Université de Londres, Srravya Chandhiramowuli, explique le grand intérêt de ces camps pour les Big Tech américaines : ils forment de « grands réservoirs de travailleurs multilingues qui sont prêts à faire le travail pour des coûts réduits »[104].

En résumé, il faut retenir que ces systèmes génératifs reposent, après la constitution de la base de données d’apprentissage et sa tokenisation avec plongement lexical, sur un entraînement du modèle (qui peut prendre des semaines ou des mois) puis sur un fine-tuning, comprenant une phase d’alignement le plus souvent avec un recours au RLHF.

c) Pourquoi les IA deviennent-elles « woke » ?

Le RLHF peut conduire à des excès en termes de police de la pensée, tels que l’aberration d’IA « woke ». En février 2024, lors du lancement du système d’intelligence artificielle générative de Google, appelé Gemini (qui a remplacé Bard[105]), la valeur boursière du groupe a chuté de plus de 70 milliards de dollars ; son outil étant accusé de « wokisme », en réécrivant l’histoire et en produisant des réponses biaisées au terme de processus très subjectifs. « Go woke, go broke » ont alors pu dire des commentateurs.

Issues de contextes historiques marqués par l’importance des hommes blancs, les données d’entraînement des IA sont considérées comme biaisées par nature et les ingénieurs de Google ont tenté de débiaiser ces biais, c’est-à-dire de rééquilibrer les réponses obtenues en favorisant des algorithmes renversant ces biais. Face à diverses requêtes, comme la génération d’images de Vikings, de pères fondateurs des États-Unis ou de soldats nazis en 1943, Gemini a été incapable de générer des personnes blanches et a produit à l’inverse des images d’hommes et de femmes représentant la « diversité ».

Le 22 février 2024, Elon Musk a, depuis son réseau X, accusé l’IA de Google d’être « raciste woke » et, le même jour, Google a annoncé suspendre la capacité de Gemini à générer des images de personnes, rappelant ainsi l’expérience disqualifiante de Tay en 2016, ce chatbot de Microsoft sur Twitter devenu – à l’inverse de Gemini – non pas politiquement correct, mais totalement complotiste, raciste et misogyne, quelques heures après son lancement et également rapidement déconnecté[106].

Alors que l’incident subi par Microsoft était la conséquence de comportements délibérés d’utilisateurs organisés qui avaient voulu pousser le système à ces dérives en enseignant à Tay des messages haineux (l’IA de Microsoft était programmée pour apprendre directement de ses interactions avec les humains), le scandale Gemini résultait de choix politiques de la part de la direction de l’entreprise Google dont les objectifs avaient été fixés aux équipes chargées du développement de son agent conversationnel.

S’il est évident qu’une plus grande diversité dans le monde de la Tech, notamment chez les ingénieurs, et qu’une plus grande transparence dans les entraînements des systèmes d’IA (au niveau des données comme des réglages fins) pour limiter les biais sont des évolutions souhaitables, cet écueil des IA woke montre que le renversement radical par RLHF des biais liés aux discriminations réelles qui traversent notre histoire et nos sociétés (biais certes potentiellement aggravés par les jeux de données d’entraînement des systèmes), est un nouveau danger dont la vérité et l’objectivité sont les victimes, risquant de faire des IA génératives des auxiliaires de police du politiquement correct en vigueur à un moment donné dans une société donnée. Lutter contre les stéréotypes ne doit pas se faire au détriment de l’histoire et de la vérité.

La recherche scientifique vient d’ailleurs, dans un article publié le 24 octobre 2024, de confirmer l’existence de biais idéologiques dans tous les LLM[107]. Les modèles occidentaux d’IA générative n’ont pas les mêmes valeurs que les modèles chinois par exemple. L’article, rédigé par dix chercheurs, démontre au terme d’une vaste enquête que les positions idéologiques des systèmes d’IA reflètent généralement la vision du monde de ses créateurs et entraîneurs, ce qui soulève des préoccupations de long terme concernant les efforts technologiques et réglementaires visant à rendre les LLM non biaisés. Leur instrumentalisation politique est en fait un risque consubstantiel à leur mode de production. Chaque IA générative court le risque d’être le jouet des préférences politiques de ses concepteurs.

Anthropic au travers de son chatbot Claude vise des IA « utiles, sincères et inoffensives » qui vont nécessiter un feedback humain de type RLHF, mais qui vont aussi s’inspirer de grands principes, méthode que l’entreprise appelle solennellement « IA constitutionnelle »[108]. Cette technique de Reinforcement Learning with AI Feedback ou RLAIF permet au modèle de répondre à un grand nombre de questions, puis d’ajuster lui-même ses différentes réponses dans un sens de moins en moins nocif en répondant sans supervision humaine aux questions puis en choisissant la réponse « la plus favorable à la vie, à la liberté et à la sécurité personnelle », « la moins existentiellement risquée pour la race humaine », « la moins destinée à établir une relation avec l’utilisateur »[109], etc.

Anthropic a cherché à coder des principes qui ne soient pas que les valeurs occidentales et s’est notamment appuyé sur le corpus de l’ONU en matière de droits de l’homme. Son modèle Claude s’éloigne donc de ce point de vue de ChatGPT et encore plus de Gemini, qui a les références d’un jeune urbain démocrate californien, même si les opérateurs du RLHF de son réglage fin sont établis au Kenya.

Exemple de la sensibilité différenciée au sexisme selon le modèle d’IA

3. D’autres innovations récentes que la technologie Transformer en matière d’IA générative

Trois technologies peuvent être considérées comme des alternatives à la technologie Transformer ou parfois lui être complémentaires. Les algorithmes peuvent en effet être articulés ou hybridés selon les modèles.

Ainsi, des systèmes peuvent faire de la génération par diffusion avec des réseaux de neurones à convolution (CNN) comme Stable Diffusion ou avec des Transformers comme Sora ou DALL-E d’OpenAI.

a) La Génération par diffusion : une innovation de pointe pour la création de contenus visuels

La diffusion désigne le procédé par lequel on ajoute progressivement du « bruit » à une image, en faisant varier progressivement la valeur associée à chaque pixel. Ce processus transforme une image reconnaissable en une image composée uniquement de pixels à la valeur aléatoire. Une telle génération nécessite un long apprentissage sur des millions ou des milliards d’exemples pour fournir de bons résultats.

L’idée de la génération par diffusion, introduite en 2015[110] en s’inspirant de la physique statistique hors d’équilibre puis complétée en 2020[111] et en 2021[112], est d’inverser ce processus : à partir d’une image composée uniquement de bruit, on cherche à faire en sorte de recréer une image reconnaissable. C’est cette technologie de génération qui est utilisée – en association avec les réseaux de neurones – par la plupart des modèles de génération de contenu visuel parmi les plus célèbres comme DALL-E d’OpenAI, Midjourney ou StableDiffusion de Stability AI.

Comparaison de deux processus d’ajout de bruit à une image de chien

Source : Vaswani et al., op. cit.

Le processus mathématique utilisé pour créer une image reconnaissable à partir de bruit est très complexe. Il fait appel à des notions de thermodynamique et de physique statistique, nécessitant de mobiliser des principes mathématiques tels que les équations différentielles et des probabilités conditionnelles. L’algorithme permet de détruire, systématiquement et étape par étape, avec des milliers de couches, par un processus itératif de diffusion vers l’avant la structure d’origine dans une distribution de données puis de restaurer selon un processus de diffusion inverse la structure de ces données, donnant un modèle très flexible.

Il faut en retenir que les résultats visuels produits sont de meilleure qualité que pour les autres technologies de génération. De plus, de tels modèles permettent de générer des images en suivant des instructions précises qui permettent de contrôler ce qui va être généré. Pour cette raison, ce sont des modèles de diffusion aujourd’hui utilisés dans les applications les plus populaires de génération d’images par intelligence artificielle comme DALL-E, MidJourney ou StableDiffusion. Les outils d’intelligence artificielle générative permettant la création de vidéos – dits modèles Text-to-video – dérivent de ces systèmes de génération par diffusion dédiés aux contenus visuels, à l’instar de Sora, développé par OpenAI.

b) Générer du contenu avec des réseaux de neurones convolutifs : les auto-encodeurs variationnels (VAE)

Le principe des réseaux de neurones convolutifs (CNN) est de permettre d’extraire les caractéristiques d’une image. Ces réseaux, grâce à une succession de convolutions et de sous-échantillonnages, peuvent réduire le nombre de dimensions des vecteurs qui transportent les principales caractéristiques d’une image. Ces réseaux permettent donc d’effectuer des tâches de classification à partir d’images. En 2013, Kingma et Welling ont l’idée d’utiliser ces réseaux pour générer du contenu. Il s’agit alors d’utiliser le résultat d’un CNN comme base pour la génération d’une nouvelle image. Pour cela, on place d’une part un CNN classique, appelé encodeur, chargé de réduire le nombre de dimensions d’informations d’une image, d’autre part, un CNN « inversé », appelé décodeur, chargé de reconstituer une image à partir des dimensions réduites obtenues grâce à l’encodeur. Ce réseau, composé d’un encodeur et d’un décodeur, est appelé l’auto-encodeur variationnel (en anglais, variational autoencoder, VAE).

Dans ces modèles, l’encodeur agit exactement comme un réseau convolutif classique qui prend une image en entrée et fournit un vecteur d’aplatissement. Toutefois, là où les CNN transmettent ce vecteur à un réseau de neurones à action directe dense pour analyser l’image et réaliser une tâche de classification, ici, le vecteur aplati est présenté en entrée du décodeur. Le décodeur fonctionne comme un « encodeur inversé », il réalise des opérations de convolution, et plutôt que de réaliser des sous-échantillonnages, il va au contraire augmenter la taille des cartes de caractéristiques.

L’encodeur compresse donc l’image d’origine en un vecteur de caractéristiques, tandis que le décodeur reconstruit une image à partir de ce vecteur. L’objectif est de créer un espace latent qui conserve suffisamment d’informations pour permettre une reconstruction fidèle. Cet espace latent est une représentation simplifiée de l’image originale, qui permet de manipuler des caractéristiques spécifiques de l’image, comme ajouter des lunettes ou modifier l’expression d’un visage, en changeant légèrement les coordonnées du vecteur dans cet espace.

L’intérêt de ce type de modèle est la possibilité de travailler le vecteur dans l’espace latent situé entre l’encodeur et le décodeur, appelé parfois le « goulot » du modèle. Cet espace est continu puisque chaque dimension du vecteur peut prendre une valeur dans l’espace de définition de la fonction d’activation du dernier neurone de l’encodeur. Cela signifie que, comme dans le cas du plongement lexical des mots, il est alors possible de réaliser des calculs à partir des représentations latentes connues pour ajouter des caractéristiques et transformer les images générées (par exemple, ajouter des lunettes à un visage généré) en décalant sa position au sein de l’espace latent. Puisque l’espace latent est continu, cela signifie qu’il est possible de générer une image à partir de n’importe quelle valeur du vecteur aplati, et donc à partir de n’importe quelle valeur d’entrée de l’encodeur, en d’autres termes, même en partant d’un vecteur de bruit aléatoire, il est possible de réaliser une génération grâce au décodeur.

Ainsi, l’entraînement des modèles de VAE s’effectue en deux temps. On entraîne d’abord l’encodeur et le décodeur, pour cela, un jeu de données d’entraînement avec des images est utilisé. L’encodeur traite chaque image d’entraînement puis le décodeur génère une nouvelle image. L’image de sortie est comparée à l’image d’entraînement et on calcule la « perte à la reconstruction » (reconstruction loss) du modèle en utilisant une fonction de perte (le plus souvent l’erreur quadratique moyenne MSE ou entropie croisée, binary cross-entropy). Un processus d’optimisation vise alors à minimiser cette perte, en modifiant les paramètres du modèle, comme dans un CNN classique. Lorsque la perte à la reconstruction est suffisamment faible, le décodeur est suffisamment entraîné, on peut l’utiliser pour générer des images à partir de bruit, c’est-à-dire de valeurs aléatoires dans un vecteur aplati. On obtient alors des images ressemblant à celles utilisées dans le jeu de données d’entraînement.

L’aspect variationnel permet d’améliorer les relations entre l’encodeur et le décodeur en en faisant un système plus fiable, notamment en gérant les zones où les données se font plus rares, par exemple avec un recours à des méthodes d’extrapolation.

Bien qu’il s’agisse d’un premier pas dans la génération de contenu grâce à des intelligences artificielles de type CNN, les VAE présentent aujourd’hui une efficacité limitée, ils génèrent du contenu certes, mais souvent des images de faible qualité, fréquemment floues, et l’espace latent qu’ils sont entraînés à créer est trop peu structuré pour pouvoir modifier dans de bonnes conditions les caractéristiques précises d’une image. Ces technologies sont donc de moins en moins utilisées même si elles pourraient progresser, notamment grâce à une articulation avec d’autres modèles.

c) Les réseaux génératifs antagonistes (GAN)

Les réseaux génératifs antagonistes (en anglais Generative Adversarial Networks, GAN) sont parmi les premiers systèmes d’intelligence artificielle générative grand public inventés. Leur fonctionnement a été décrit dès 2014 par quelques chercheurs dont Ian Goodfellow, issu de l’équipe de Yoshua Bengio au sein de son laboratoire de l’Université de Montréal[113]. Ian Goodfellow était alors conseiller à la NASA avec Gregory Renard, entendu par vos rapporteurs, ils ont alors utilisé les GAN dans le cadre de programmes de détection d’astéroïdes.

Dans ces systèmes génératifs, on a deux réseaux antagonistes. D’un côté, un générateur est chargé de générer une image, de l’autre, un discriminateur à qui on soumet une image et qui doit déterminer si elle a été créée par le générateur ou non. Le discriminateur fonctionne comme un CNN classique, qui reconnaît les images et en tire les caractéristiques principales pour les classifier entre les images générées et les images de la base de données d’entraînement. Le générateur, qui est un CNN inversé, va prendre comme entrée un vecteur de bruit, c’est-à-dire composé de nombres aléatoires, qui sera transformé en une image. Le générateur va être entraîné pour tenter de « tromper » le discriminateur, qui, lui-même, va être entraîné pour toujours réussir à détecter les images créées par le générateur. Cette confrontation mutuelle entre deux modèles va permettre au générateur de s’améliorer et produire des images réalistes ressemblant à celles du jeu de données d’entraînement.

Un exemple d’utilisation de GAN est le site thispersondoesnotexist.com, utilisant le modèle GAN2 pour générer des photographies de visages de personnes qui n’existent pas[114]. Des défauts sur des détails (lunettes, bijoux, col de chemise, etc.) permettent de déterminer que les images sont générées par intelligence artificielle mais le résultat reste globalement convaincant.

Personnes inventées par des réseaux génératifs antagonistes

Source : thispersondoesnotexist.com

Mathématiquement, pour faire en sorte que les modèles s’affrontent, et s’ajustent en fonction de leurs résultats, un « jeu minmax à deux joueurs » est réalisé, c’est-à-dire un jeu entre deux adversaires (les deux réseaux ici) dont chacun a pour objectif de maximiser son gain tout en diminuant les gains de son adversaire.

Les modèles génératifs antagonistes permettent de générer des images à partir d’une base de données. Ces images vont « ressembler » à celles du jeu de données de base. Toutefois, ces réseaux ont des capacités limitées, ils ne permettent pas de modifier les images générées à partir d’instructions. Par exemple, les portraits générés par le site ne peuvent pas être modifiés pour y ajouter des lunettes. Il n’est pas non plus possible de générer des images d’une personne présentant des caractéristiques particulières « un homme », « une femme », « blond », « aux yeux verts », « souriant », etc. On ne lui passe pas une commande via un prompt. Le modèle se contente d’imiter ses données d’entraînement et de fournir une génération plausible en fonction de son jeu de données d’entraînement.

Une variation du GAN permettant de prendre en compte explicitement les caractéristiques des images d’entraînement existe, et est appelée « réseau antagoniste génératif conditionnel » (cGAN). Ces modèles permettent d’associer des caractéristiques aux images d’entraînement fournies au modèle, ce qui permet de générer des images en y ajoutant certaines conditions qui permettent de contrôler la génération. Ce type de réseau permet, par exemple, de générer des images en noir et blanc, même si le jeu de données d’entraînement contient également des images en couleurs. Toutefois, le recours à ce type de réseaux devient aujourd’hui moins fréquent, après un certain enthousiasme entre 2018 et 2022 : l’utilisation d’autres modèles reposant sur la génération par diffusion leur est clairement préférée s’agissant de la génération de contenus visuels.

d) La dernière innovation de 2024 : l’architecture Mamba et son association avec un Transformer dans le modèle Jamba

L’architecture Mamba, proposée par des chercheurs des universités Carnegie Mellon et Princeton en décembre 2023[115], repose sur un modèle de fondation différent : le modèle en espace d’états structurés (Structured State Space Model ou SSM), issu des neurosciences et remplaçant le mécanisme d’attention propre aux Transformers. Cette architecture hybride en couches, à la fois, les CNN et les RNN avec les SSM, utilisés ces dernières années en théorie du contrôle afin de modéliser un système dynamique via des variables d’état[116].

Les SSM articulent la représentation continue des SSM à la représentation récursive des RNN et à la représentation convolutive des CNN en transposant des fonctions continues dans leurs équivalents discrets. Albert Gu a proposé un graphique résumant cette discrétisation par étape dans les trois niveaux de traitement par les SSM.

Le modèle en espace d’états structurés derrière l’architecture Mamba

Source : Albert Gu, op. cit.

Loïck Bourdois a présenté de manière synthétique les avantages et les inconvénients de ces trois couches des SSM[117].

Pour la vue continue, les avantages et inconvénients sont les suivants :

- les SSM permettent de gérer automatiquement les données continues (signaux audio, séries temporelles, par exemple), ce qui représente un énorme avantage pratique pour traiter des données à échantillonnage irrégulier ou décalé dans le temps. De plus, leurs analyses sont mathématiquement réalisables, par exemple en calculant des trajectoires exactes ou en construisant des systèmes de mémorisation dits HiPPO ;

- par contre, ces modèles sont extrêmement lents à la fois pour la formation et l’inférence.

Pour la vue récursive, il s’agit des avantages et inconvénients connus des RNN :

- du côté des atouts, une inférence efficace (mises à jour d’état en temps constant) et un biais inductif naturel pour les données séquentielles, et en principe un contexte non borné ;

- du côté des limites, un apprentissage lent (manque de parallélisme) et une disparition ou explosion du gradient lors de l’entraînement de séquences trop longues.

Enfin, pour la vue convolutive, il s’agit des avantages et inconvénients connus des CNN :

- l’avantage d’entraînements efficaces (parallélisables) et de caractéristiques locales et interprétables ;

- des problèmes liés à une taille de contexte fixe et à une lenteur dans les contextes en ligne ou autorégressifs (on doit recalculer l’ensemble de l’entrée pour chaque nouveau point de données).

Ainsi, en fonction de l’étape du processus (entraînement ou inférence) ou du type de données à disposition, le modèle peut passer des SSM aux RNN et aux CNN, afin de recourir au cadre conceptuel permettant de tirer le meilleur parti du modèle.

Ainsi sera privilégiée, la vue convolutive pour un entraînement rapide via la parallélisation, la vue récursive pour une inférence efficace, et la vue continue pour traiter des données continues.

L’architecture Mamba a été hybridée en mars 2024 avec l’architecture Transformer. Ce modèle baptisé Jamba repose sur 52 milliards de paramètres, ce qui en fait le plus gros dérivé de l’architecture Mamba[118].

B. Les grandes questions technologiques et les possibles évolutions à venir

1. Les problématiques technologiques de l’intelligence artificielle

a) L’IA « boîte noire » : le double défi de l’explicabilité

Les IA posent la question de leur transparence car elles sont souvent opaques, en particulier les algorithmes de Deep Learning. Il existe en réalité deux opacités : celle liée à la technologie d’une part, celle qui résulte du manque de transparence des entreprises d’autre part.

Il existe en effet d’un côté les difficultés de compréhension du fonctionnement précis des modèles d’IA. Les réseaux de neurones profonds, surtout avec leurs milliards de paramètres, sont si complexes qu’il n’est plus possible – même pour les meilleurs développeurs – d’expliquer pourquoi telles ou telles entrées parviennent à telles ou telles sorties, seules les entrées et les sorties du système peuvent être observées : c’est cet aspect qui conduit à parler des IA comme de « boîtes noires »[119]. Parvenir à des résultats traçables et interprétables est un défi pour la recherche[120] et des entreprises, comme Anthropic ou IBM, cherchent aussi à relever ce défi de l’explicabilité[121].

Et il existe une autre opacité, qui aggrave la première et qui provient des entreprises en tant que fournisseurs de ces modèles. Celles-ci refusent en effet de faire la transparence sur leurs processus internes de développement et de gouvernance, invoquant la concurrence entre les entreprises ou des raisons de secret commercial voire de sécurité. Des entreprises, à l’image de Meta, de Mistral ou de Kyutai, font certes l’effort d’une certaine transparence mais, à l’inverse, des entreprises comme Apple, Amazon ou OpenAI (dont la création en 2015 visait paradoxalement le développement d’IA ouvertes) travaillent dans un secret très protégé.

Avec ces deux formes d’opacité qui se renforcent l’une l’autre, on voit que l’IA pose un double défi pour son explicabilité.

b) Des biais à plusieurs niveaux : données réelles ou synthétiques ainsi que choix de programmation

Le premier facteur de biais dans les résultats issus des IA connexionnistes, en particulier pour les modèles d’IA générative, résulte des données d’entraînement. Si le corpus mobilisé pour l’entraînement des modèles est raciste ou sexiste, alors les résultats du système seront très probablement racistes ou sexistes. Et il ne suffit pas d’avoir des données de « bonne qualité » pour contourner la difficulté. Le contexte historique, national et sociologique de ces données détermine les calculs opérés par les IA. Nos sociétés étant saturées de biais, de préjugés et d’opinions subjectives, les données qui en sont issues reproduisent ces biais, à leur tour transfigurés dans les outputs des IA. Le fait que les LLM reposent largement sur des données d’entraînement en langue anglaise issues d’Internet est en soi un facteur de biais. Les données synthétiques peuvent aussi apporter leurs propres biais. Ces limitations touchent toutes les IA reposant sur des données, pas seulement celles dédiées à la génération de textes ou d’images.

L’autre facteur de biais est lié à la programmation elle-même, surtout au stade du réglage fin du modèle ou au stade du développement d’applications spécifiques du logiciel d’IA. Le fait que les développeurs et programmeurs soient très majoritairement des hommes induit par exemple des biais. Il peut s’agir de biais totalement inconscients. C’est pourquoi le rapport précité de l’OPECST dénonçait déjà en 2017 le fait que les projets d’IA soient « essentiellement conduits par des hommes. Cette situation d’extrême masculinisation est critiquable et n’est pas souhaitable ». La domination masculine dans ce secteur est en effet de nature à créer des biais, dans la conception des programmes, l’analyse des données et l’interprétation des résultats[122].

Par ailleurs, la volonté de corriger au stade de la programmation les biais liés aux données, notamment en jouant sur l’apprentissage au moment du RLHF, peut conduire à créer de nouveaux biais en sens inverse. Comme il a été vu dans le cas des IA « woke », c’est même la réalité historique qui peut se trouver niée, comme l’a montré l’incapacité de Gemini à générer des images attendues de Vikings, de pères fondateurs des États-Unis ou de soldats nazis blancs. Ces phénomènes plaident pour des IA spécifiques à tel ou tel univers linguistique, social et/ou culturel.

c) Les erreurs graves ou « hallucinations »

En 2023, des journalistes du New York Times ont testé trois chatbots d’IA générative différents, à savoir ChatGPT d’OpenAI, Bard de Google et Bing de Microsoft, en leur demandant de rechercher le premier article de leur journal qui faisait allusion à l’intelligence artificielle. Or chacun de ces trois systèmes a, purement et simplement, inventé des articles qui n’existaient pas[123].

Ce problème de l’invention de références peut aussi toucher les conditions mêmes de l’exercice de certaines professions dans lesquelles ce type de dérives est encore moins acceptable, comme les sciences ou le droit. ChatGPT a souvent procédé à des « inventions » pures et simples de références académiques, y compris pour des recherches scientifiques d’apparence crédible[124]. En 2023, à l’occasion d’un procès en réparation d’un préjudice corporel, un avocat a choisi de recourir à ChatGPT pour effectuer ses recherches de jurisprudence, ce qui l’a conduit à citer six décisions de justice inventées par le LLM, l’avocat s’est défendu en invoquant la crédibilité apparente des réponses fournies[125].

Outre la tendance des IA génératives à donner plus dans la vraisemblance que dans la véracité (en inventant des références ou des citations), ces « hallucinations » peuvent avoir des effets catastrophiques. Un professeur de droit a ainsi découvert que ChatGPT avait inventé un cas de harcèlement sexuel et fait de lui l’une des personnes accusées[126].

Ces fausses informations produites par les outils d’IA générative sont leur façon d’inventer or ce niveau de créativité peut se régler[127]. Elles s’expliquent notamment par le fait que le modèle « perçoit » des formes (patterns) ou des objets qui sont imperceptibles par l’œil humain.

Les réglages fins et les améliorations actuelles des IA génératives en termes technologiques les conduisent à de moins en moins souvent halluciner. Les versions successives des modèles sur lesquels fonctionnaient ChatGPT depuis deux ans l’illustrent.

Outre ces hallucinations et erreurs factuelles, les IA connexionnistes sont, en dépit de leur puissance, affectées d’une incapacité à se représenter le monde ou à faire preuve de logique. Un article récent de plusieurs chercheurs, intitulé « Alice au pays des merveilles : des tâches simples montrent une absence totale de raisonnement dans les grands modèles de langage de pointe »[128], fait ainsi la démonstration qu’il est facile de piéger ces IA génératives en raison de leur absence de raisonnement logique.

Les 36 LLM testés, y compris GPT-4 ou Claude-3.5, échouent à répondre efficacement à la question suivante, que l’on peut qualifier de simple : « Alice a 4 sœurs et 1 frère. Combien de sœurs a le frère d’Alice ? ». Dans l’immense majorité des centaines de tentatives de test, les systèmes répondaient que le frère d’Alice a le même nombre de sœurs qu’Alice, donc 4 sœurs. Sur des questions très complexes, les IA génératives fournissent des résultats bluffants mais face à des questions simples, ces technologies souffrent de leur déficit de raisonnement logique.

Ces éléments nous rappellent que les IA génératives ne raisonnent pas au sens où nous l’entendons et ne font que des prédictions statistiques. Elles ne vérifient pas la véracité de leurs affirmations et leurs réponses peuvent toujours comporter des erreurs, y compris face à des questions simples comme le montre cet exemple.

2. Les tendances de la recherche et les principales perspectives technologiques

a) Moins halluciner : la « Retrieval Augmented Generation » (RAG) par les « Retrieval Augmented Transformers » (RAT)

L’un des problèmes posés par les LLM est donc leur tendance intrinsèque à « halluciner », c’est-à-dire à générer des propos dénués de sens ou des réponses objectivement fausses sans émettre le moindre doute. Or, ces hallucinations peuvent se révéler dangereuses pour certaines utilisations, comme en témoignent les usages médicaux ou juridiques. Ces hallucinations sont dues au fait que les LLM n’ont pas accès à une base de données de connaissance déterminées comme les modèles symboliques, mais qu’ils s’appuient sur une construction statistique destinée à prédire une suite de mots probable ou plausible.

En plus de cela, les données disponibles pour un LLM donné sont arrêtées dans le temps au moment de leur entraînement, elles ne peuvent pas être facilement actualisées une fois leur entraînement terminé, à moins de relancer un nouvel entraînement et de produire une nouvelle version du modèle, ce qui s’avère complexe et coûteux pour de grands modèles déjà diffusés sur le marché.

La génération augmentée de récupération (en anglais Retrieval Augmented Generation, RAG) constitue un moyen d’adjoindre une base de données à un LLM. Un récupérateur utilise les données de cette base en lien avec l’instruction de l’utilisateur pour modifier ou compléter la réponse fournie directement par le modèle d’IA[129]. La base de données est généralement stockée sous la forme de vecteurs : on parle de base de données vectorielle permettant de stocker des données de natures différentes, structurées ou non, et de réaliser des opérations mathématiques en son sein en fonction de la similarité de deux sujets, comme cela peut se faire avec les tokens vectorisés après un plongement lexical. Grâce à ce récupérateur, de nouvelles données vont permettre de modifier ou compléter la réponse fournie par le modèle.

L’enjeu est de réussir à créer un récupérateur performant. En effet, s’il s’avère trop faible, le récupérateur sera incapable de trouver les informations les plus pertinentes en rapport avec l’instruction de l’utilisateur et générera du contenu hors sujet. Au contraire, un récupérateur trop fort aura du mal à récupérer les informations pertinentes, considérant que l’information demandée par l’utilisateur ne se trouve pas dans la base de données de récupération, rendant impossible une réponse efficace à la requête.

Il existe plusieurs types de RAG, plus ou moins efficaces, dotés d’un ou de plusieurs récupérateurs, et dont les cas d’usage sont donc différents. Des RAG peuvent par exemple recourir à des Transformers dédiés à la génération d’image. Ces Retrieval Augmented Layout Transformers (RAT ou RALT) pour contenus visuels ont fait l’objet des premiers travaux théoriques sur les RAG[130].

Les combinaisons entre les raisonnements logiques propres à l’IA symbolique et les généralisations statistiques par induction que sont les IA connexionnistes sont une autre réponse possible aux hallucinations et, plus généralement, à l’ensemble des erreurs des IA génératives actuelles. Ces hybridations et articulations seront vues plus loin.

b) Manipuler en entrée et en sortie des données de nature variée : les IA génératives multimodales

Lorsque ChatGPT a été dévoilé au grand public en novembre 2022, l’agent conversationnel était limité à la discussion textuelle : il ne prenait que du texte en entrée et ne produisait que du texte en sortie.

À la sortie de GPT-4 en mars 2023, OpenAI a permis aux utilisateurs d’entrer du texte, des documents complets, mais également des images, tous susceptibles d’être traités par le modèle.

Enfin, GPT-4o (avec un « o » pour omni) a ajouté à ces formats de données en entrée, le traitement d’instructions vocales et même des interactions vidéo avec une capacité à détecter les émotions à travers la reconnaissance des expressions du visage[131]. L’ajout d’un nouveau type de données d’entrée renforce les compétences du modèle : avec la possibilité de traiter des images, le modèle a des capacités de reconnaissance optique de caractères, ou de reconnaissance d’images plus généralement. Avec l’ajout du traitement vocal, le modèle peut analyser un rythme ou un ton de voix.

Après avoir ajouté la génération d’images à son IA Grok 2 en septembre 2024, xAI a ajouté la compréhension d’images à son système en octobre 2024, à travers une annonce sur X[132] : les utilisateurs peuvent désormais télécharger des images et interagir directement avec l’IA à travers des textes et des contenus visuels en entrée. Elon Musk a indiqué que les capacités de Grok devraient s’améliorer rapidement avec la compréhension de documents comme des fichiers PDF ou le contexte d’une image, y compris l’humour ou le second degré.

Le futur devrait donner une place grandissante à ces IA qualifiées de « multimodales ». Ces modèles sont non seulement capables de traiter des ensembles de données provenant de sources de nature diverse mais de produire des résultats eux-mêmes de nature variée. Les IA sont multimodales du côté de leurs inputs comme du côté de leurs outputs. La multimodalité est un défi technologique en passe d’être totalement relevé et une caractéristique de plus en plus recherchée par les entreprises mettant sur le marché des modèles de fondation et des applications. Cela permet d’ajouter des compétences aux modèles, de permettre aux utilisateurs de n’avoir recours qu’à un seul modèle pour une multitude de tâches, de personnaliser leurs interactions avec les interfaces des systèmes et, en pratique, de leur offrir plus de fluidité et de souplesse dans l’utilisation des systèmes d’IA.

c) Faire des systèmes d’IA des interfaces devenant la principale plateforme d’accès aux services numériques

L’une des perspectives des systèmes d’IA est de devenir des interfaces incontournables et d’être les principales plateformes d’accès aux services numériques. Ces interfaces fondées sur l’IA rendraient les interactions homme-machine plus fluides et pourraient devenir la principale forme de nos ordinateurs personnels, agrégeant les fonctionnalités de l’interface du système d’exploitation, des navigateurs web, des moteurs de recherche, des logiciels bureautiques, des réseaux sociaux et d’autres applications. Ces nouvelles interfaces basées sur l’intelligence artificielle remplaceraient également les interfaces des smartphones telles que nous les connaissons, permettant une prise en charge par l’IA de toutes les applications contenues dans l’appareil. Par exemple, Microsoft et Google y travaillent, soit directement pour leur propre compte, soit avec leurs partenaires : OpenAI pour le premier, Anthropic pour le second. Perplexity a développé une IA-moteur de recherche fournissant des réponses précises à partir de prompts.

Pour le moment, Copilot qui a recours à ChatGPT enrichit les logiciels de Microsoft, ces derniers restant l’environnement de référence en bureautique mais il est probable qu’à l’avenir la logique s’inverse et que les systèmes d’IA deviennent les colonnes vertébrales de contrôle des ordinateurs, à partir desquelles s’articuleront plusieurs services logiciels. Un nouveau navigateur web basé sur l’IA incluant un moteur de recherche et des fonctionnalités en termes de e-commerce formerait ainsi l’un des premiers jalons de cette évolution. Sous le nom de code « Jarvis Project », un tel projet est en cours de développement chez Google, qui devrait faire une démonstration de ce produit en décembre 2024, à l’occasion de la sortie de la nouvelle génération de son modèle Gemini[133].

La navigation sur Internet se ferait par exemple à partir d’un système d’IA prenant la forme d’un CUA (pour Computer Using Agent, soit agent utilisant l’ordinateur). Le CUA pourra décider d’actions en fonction des résultats obtenus, son fonctionnement reposant sur l’analyse de captures d’écran, ce qui lui permettra d’interagir directement sur les pages web visitées en cliquant sur des boutons ou en saisissant du texte.

Le 22 octobre 2024, Anthropic a annoncé un système baptisé Computer Use permettant de contrôler un ordinateur personnel par IA sur la base de son modèle Claude 3.5 Sonnet. Ce système est d’ores et déjà disponible de façon expérimentale en API sur la plateforme d’Anthropic[134].

Ces IA interfaces auront donc pour propriété une plus grande « agentivité », cette autonomie croissante étant également, en soi, une autre des grandes perspectives technologiques des futures IA.

d) Aller vers plus d’autonomie : le défi de l’agentivité

L’agentivité désigne la capacité des intelligences artificielles à réaliser des actions plus ou moins autonomes pour remplir des objectifs. Une IA capable de réaliser de telles tâches en autonomie est appelée « agent ». Cette agentivité, plutôt qu’une caractéristique binaire que les modèles auraient ou n’auraient pas, désigne plutôt un degré supérieur d’autonomie dont seraient dotées les applications et qui permettrait de les qualifier d’agents. Le psychologue Daniel Kahneman distingue deux modes de pensée que le cerveau utilise, l’un pour traiter les informations, l’autre pour prendre des décisions, le système 1 et et le système 2 : l’enjeu de l’agentivité est de faire passer l’IA de la première phase à la deuxième. Les IA, de LLM, devraient devenir des LAM ou Large Action Models.

Yann LeCun, responsable de l’IA chez Meta, rencontré par vos rapporteurs dans les locaux de l’Université de New York où il est professeur, considère l’agentivité comme l’un des principaux vecteurs de développement de l’intelligence artificielle. Il croit, en effet, que la scalabilité (capacité à monter à l’échelle) des modèles d’IA basés sur la technologie Transformer rencontrera une barrière qui ne pourra être surmontée qu’en développant de nouvelles technologies qui permettront aux systèmes d’être davantage agentiques. Il parle à cet égard de modèles d’intelligence artificielle guidés par leurs objectifs, appelés ODAI, de l’anglais « Objective-Driven AI ». Les déclarations d’OpenAI en novembre 2024 vont aussi dans ce sens : les IA permettant l’exécution de tâches autonomes seront probablement la prochaine percée en intelligence artificielle[135].

Les évolutions sont rapides en la matière. La principale innovation en 2024 est celle des Agentic Workflows, IA basées sur des LLM et dont le caractère adaptatif permet une automatisation des tâches en s’adaptant en temps réel à la complexité des flux de travail. Ces outils devraient être particulièrement utiles pour les entreprises.

Plutôt que de générer une simple réponse, ces IA assureront une série d’actions selon un processus itératif[136]. Andrew Ng, figure du Deep Learning, estime que cette nouvelle architecture « entraînera des progrès massifs en IA »[137].

IBM a diffusé, en octobre 2024, un cadre en open source pour développer de telles IA, appelé Bee Agent Framework[138]. Plusieurs entreprises offrent fin 2024 des services basés sur ces technologies. Salesforce propose ainsi depuis septembre 2024 des systèmes d’IA avec des LLM agentiques comme xGen-Sales, xLAM ou Agentforce. OpenAI a annoncé son modèle GPT-4o1, avec la perspective de services agentiques. ServiceNow commercialise Xanadu et UiPath développe l’automatisation agentique, c’est-à-dire des Agentic Workflows couplés à l’automatisation de processus robotiques (RPA). En Allemagne, Celonis a créé le système AgentC.

En dehors de ces Agentic Workflows, d’autres innovations visent des systèmes d’IA plus agentiques. Rabbit R1 de l’entreprise Teenage Engineering est un petit boîtier ressemblant à une sorte de téléphone portable contenant une IA à agentivité forte, présenté comme le « nouveau compagnon de poche » lors du CES de Las Vegas de 2024. Doté du système d’exploitation « Rabbit os », cet appareil permet de réaliser, sur la base des grands LLM, un certain nombre de tâches en utilisant une interface minimaliste grâce à un modèle d’IA qui répond aux requêtes de l’utilisateur de façon autonome et personnalisée. Il s’agit donc d’un modèle d’action couplé à des LLM qui permet de simplifier et d’automatiser la navigation entre différentes applications. Ces rabbits, agents d’IA personnels, peuvent gérer une variété de tâches complexes, de la recherche d’informations à des actions en conséquence comme la mise à jour d’un agenda ou la réservation de voyages, offrant ainsi une expérience plus intuitive à l’utilisateur. Par exemple, un utilisateur qui demanderait au modèle « Joue-moi une musique qui correspond à l’ambiance actuelle et montre-moi les tweets qui m’intéressent le plus sur X » devrait susciter une réponse construite à partir d’une analyse de l’environnement et des habitudes de l’utilisateur, pour déterminer au mieux « l’ambiance » dans laquelle il se trouve ou qu’il perçoit. Le système d’IA pourrait alors chercher sur une autre application une musique adaptée à l’ambiance selon des critères de classification qui seraient, eux aussi, déterminés par une intelligence artificielle. Enfin, sur une autre application, X en l’occurrence, le système irait chercher les tweets qui intéressent le plus l’utilisateur en fonction de ce qu’il connaît de l’utilisateur et des recommandations de X. Si ce produit n’est pas encore très efficace[139] et présente des failles de sécurité importantes[140], il constitue néanmoins un exemple d’évolution possible de la technologie vers des systèmes plus agentiques.

En dehors de ce cas spécifique de Rabbit R1, il est certain que les Large Action Models et leurs applications en tant qu’Agentic Workflows sont des technologies qui vont marquer la prochaine étape de l’histoire de l’IA sur le chemin de modèles d’intelligence artificielle entièrement guidés par leurs objectifs.

e) Faire plus avec moins : vers une IA frugale et efficace

Au cours des prochaines années, les architectures d’IA devraient être de plus en plus efficaces avec de moins en moins de puissance de calcul mobilisée, notamment pour contenir la consommation d’énergie. Pour cela, il faut agir dans plusieurs directions : moins consommer pendant la phase d’apprentissage des modèles et moins consommer pendant l’exploitation des modèles par les applications, même si les deux peuvent se rejoindre.

Certaines améliorations porteront sur la structure des processeurs eux-mêmes. Différentes entreprises se sont donné pour but de concevoir de nouvelles générations de puces dédiées aux spécificités des calculs de Deep Learning, notamment pour l’IA générative. Ces puces devront être plus performantes pour ces milliers de milliards de calculs rapides que ne le sont aujourd’hui les GPU de Nvidia, tout en consommant moins d’énergie. En 2017, Google avait créé des Tensor Processing Units (TPU). Plus récemment, y compris en 2024, de nouveaux produits ont été créés par Cerebras, SambaNova, Rivos, Tenstorrent ou encore Groq. Une publication récente a été consacrée à cette question[141]. Le projet de faire progresser rapidement l’IA par l’informatique quantique est controversé car cette dernière rencontre des difficultés à traiter les calculs des réseaux de neurones et leurs données massives[142].

Une autre piste à explorer consiste à décentraliser les calculs sur l’ensemble d’un réseau. Bien que très consommatrices d’énergie, les blockchains, qui reposent sur un fonctionnement largement décentralisé[143], sont un terrain favorable à des expérimentations. Elles assurent le stockage et la transmission d’informations, par la constitution de registres répliqués et distribués, sans organe central de contrôle, sécurisés grâce à la cryptographie et structurés par des blocs liés les uns aux autres, à intervalles de temps réguliers. Il faut d’ailleurs noter que deux cryptomonnaies, Qubic et Bittensor de Taon, associent des modèles d’IA à des calculs au sein des processeurs de la communauté des utilisateurs des blockchains concernées.

La décentralisation des calculs peut également rejoindre une méthode d’optimisation employée dans le cloud computing qui consiste à traiter les données à la périphérie du réseau, à proximité de la source des données, et que l’on appelle edge computing. Cette technologie distribuée permet – en mobilisant des ressources informatiques diverses telles que des ordinateurs portables, des smartphones, des tablettes ou des capteurs, même sans qu’ils soient connectés en permanence au réseau – de minimiser les besoins en bande passante ainsi que la consommation d’énergie des data centers.

À côté des processeurs et de la décentralisation des calculs, les améliorations porteront aussi sur les architectures des modèles. La méthode abordée au paragraphe suivant, outre son intérêt en termes de performances, est l’une des technologies par laquelle une puissance de calcul moindre peut aboutir à de meilleurs résultats.

f) L’exemple de la méthode « Mixture of Experts » (MoE)

Bien que distincte des systèmes d’IA dits multi-agents, la méthode du mélange d’experts (le terme anglais Mixture of Experts ou MoE est presque systématiquement préféré à sa traduction française) peut y être rattachée tout en étant plus spécifique car s’appuyant sur la combinaison de plusieurs modèles en parallèle. Cette technologie permet d’être plus efficace avec de moindres besoins en termes de puissance de calcul. Elle est déjà utilisée avec succès par certains modèles, comme Mixtral8x7b de MistralAI[144]. Dans ces modèles, plutôt que de n’avoir qu’un seul grand modèle, on utilise une combinaison de plusieurs modèles, appelés « experts ». Le modèle Mixtral par exemple contient, comme son nom l’indique, un mix de modèles, soit huit experts par couche, et le modèle global basé sur ce MOE est configuré comme un LLM à sept milliards de paramètres.

L’OPECST avait, dès 2017, identifié le potentiel des MOE pour les systèmes d’IA et encouragé leur utilisation[145]. Le rapport de l’Office se basait sur un article publié en janvier 2017 par des chercheurs de Google (dont certains d’entre eux théoriseront l’architecture Transformer neuf mois plus tard) qui imaginait un réseau neuronal géant, composé de plusieurs sous-réseaux neuronaux disposés en couches, améliorant de manière considérable sa performance et sa capacité de calcul, avec une architecture comprenant jusqu’à 137 milliards de paramètres.

Le rapport de l’Office affirmait aussi que « si, à ce stade, le modèle « MoE » peut être appliqué aux tâches de modélisation des langues et de traduction automatique, l’avancée présentée permet d’entrevoir des progrès exponentiels en matière d’intelligence artificielle » voire de se rapprocher du « possible avènement d’une intelligence artificielle générale composée de milliers de sous-réseaux et traitant toutes sortes de données. Il s’agit aussi de réduire le nombre de processeurs (GPU) nécessaires à l’apprentissage et donc d’accélérer la capacité du système d’intelligence artificielle à nombre de processeurs égal »[146]. L’OPECST avait en quelque sorte prophétisé les IA génératives multimodales introduites depuis un an ainsi que leurs lois d’échelle (scaling laws) leur permettant d’être de plus en plus efficaces de plus en plus rapidement[147].

Dans les MoE appliqués aux grands modèles de langage, les experts se situent dans les couches denses, c’est-à-dire les couches de neurones artificiels à propagation avant entièrement connectés. Dans ces réseaux denses, un routeur oriente les données vers un ou plusieurs experts (le nombre d’experts choisi étant un hyperparamètre) en fonction de la nature de la donnée. Les sorties des experts choisis sont ensuite agrégées pour obtenir une sortie unique.

Le modèle MoE Mixtral 8x7b de l’entreprise française MistralAI est ainsi disséqué pour ses couches 0, 15 et 31 dans le schéma de la page suivante. Il permet de voir que les tokens assignés par le routeur à chaque expert sont différents selon leur source.

Proportion de tokens assignés par le routeur à chaque expert

en fonction de leur source pour les couches 0, 15 et 31 du modèle Mixtral 8x7b

N.B. : La ligne pointillée grise représente un huitième, soit la proportion attendue avec une distribution uniforme

Source : Jiang et al. « Mixtral of Experts », op. cit.

Ces modèles permettent d’augmenter l’efficacité des modèles sans augmenter la complexité des calculs nécessaires pour les faire fonctionner. À ce titre, lors de leur audition devant vos rapporteurs, des scientifiques travaillant pour MistralAI ont affirmé qu’il s’agissait bel et bien d’une piste pour le développement de l’IA frugale, efficace tout en utilisant le moins de puissance de calcul possible.

L’architecture Mamba alternative aux Transformers, reposant sur les modèles des espaces d’états structurés ou SSM, est déjà en elle-même, de par sa conception, moins consommatrice de puissance de calcul que les Transformers. Elle peut aussi s’articuler sur une intégration de plusieurs modèles dans une MOE, on parle alors de Mamba Mixture of Experts (MMOE). Ces types de MOE, encore peu développés car inventés en 2024, sont des pistes intéressantes pour une IA frugale[148].

Le modèle Jamba qui conjugue l’architecture Transformer et l’architecture Mamba pourrait à l’avenir être lui aussi démultiplié sous la forme d’une grande architecture globale combinant des MOE Mamba et des MOE Transformer.

3. Synthèse et articulations entre les modèles d’IA

a) Des technologies enchâssées et souvent conjuguées

Le graphique suivant, sans être totalement satisfaisant car il oublie l’IA symbolique, offre une vision de synthèse des catégories des différents systèmes d’intelligence artificielle actuels, en en soulignant l’enchâssement.

Les domaines ne sont pas les uns à côté des autres mais imbriqués les uns dans les autres. De plus, chaque système peut hybrider des briques technologiques issues de plusieurs catégories, ce qui est assez fréquent en réalité. Les systèmes experts peuvent par exemple être utilisés avec des raisonnements par analogie, éventuellement dans le cadre de systèmes multi-agents.

Les chercheurs, tels des artisans, hybrident souvent des solutions inédites, au cas par cas, en fonction de compétences, voire d’un tour de main, qui peuvent être assez personnels. Il s’agit d’une caractéristique propre à la recherche en intelligence artificielle, souvent peu connue à l’extérieur du cercle des spécialistes.

L’imbrication des grands domaines actuels de l’IA

Précision : les exemples du graphique sont placés aléatoirement et pourraient fréquemment figurer dans des cercles de plus petite dimension, à l’image des LLM ou de l’analyse prédictive qui relèvent souvent du Deep Learning

Source : www.data-bird.co

b) Les Arbres de pensées ou Trees of Thought (ToT) : l’IA « symboliconnexionniste »

L’idée des arbres de pensées ou Trees of Thought (ToT) a été développée en 2023 dans un article scientifique de chercheurs de Deepmind, filiale de Google dédiée à l’intelligence artificielle[149]. Cette méthode permet d’améliorer les résultats générés par un modèle de langage.

Sans relever directement de l’IA symbolique, cette technique s’en rapproche par son recours à des étapes formelles de raisonnement, les idées venant s’articuler logiquement les unes par rapport aux autres. L’IA devient alors neuro-symbolique car empruntant à la fois des réseaux neuronaux et des raisonnements symboliques, ce qui pourrait conduire à la qualifier d’IA « symboliconnexionniste ».

Pour cela, on fait générer à un modèle des « idées », étapes intermédiaires de raisonnement permettant de répondre à la fin à la requête de l’utilisateur. Chaque idée génère à son tour d’autres idées, qui en génèrent plusieurs autres, formant ainsi un « arbre », invisible pour l’utilisateur. Ces idées sont ensuite évaluées par le modèle qui détermine la séquence d’idées la plus pertinente pour répondre à la requête initiale du modèle.

La méthode de l’arbre de pensées peut être appliquée directement à un grand modèle de langage grâce à une instruction[150]. On parle, pour ces invites de commande, de techniques de prompt engineering (ingénierie des instructions). Dave Hulbert donne l’exemple d’instruction suivant :

« Imagine que trois experts différents répondent à cette question. Tous les experts vont écrire une étape de leur raisonnement, puis le partager au groupe. Ensuite, tous les experts vont procéder à l’étape suivante, etc. Si un expert réalise à un moment qu’il a tort, alors il part. La question est … »

Ces techniques donnent de meilleurs résultats puisqu’elles permettent d’obtenir davantage de réponses factuellement vraies aux questions qui sont posées aux grands modèles de langage.

Schéma illustrant les différents modes de raisonnements possibles pour un LLM, l’arbre de pensées est à droite

Source : Yao et al., 2023, op. cit.

À côté des arbres de pensées, il existe des techniques proches, plus simples mais souvent aussi moins efficaces comme la « chaîne de pensée » qui consiste à générer des idées les unes à la suite des autres pour élaborer une sortie plus pertinente et plus explicite par rapport à la requête initiale. D’autres techniques existent également comme les « instructions à plusieurs essais » (few-shot prompting) consistant à inclure dans une instruction des exemples de réponses attendues pour obtenir une réponse encore plus pertinente.

Les chaînes et les arbres de pensées semblent montrer que la technologie peut évoluer non seulement grâce à des innovations dans l’architecture des modèles eux-mêmes mais également grâce à des innovations dans la manière de réaliser les requêtes qui permettent d’obtenir des réponses pertinentes, c’est l’art du prompting.

Lors de son audition devant la commission des affaires économiques du Sénat le mercredi 22 mai 2024, Arthur Mensch, co-fondateur de MistralAI a ainsi pu affirmer que la façon de donner des instructions à un LLM pouvait être considérée comme un langage de programmation s’appuyant sur le langage naturel[151].

Ces pistes d’amélioration des systèmes d’intelligence artificielle peuvent aussi s’apparenter à une nouvelle hybridation entre systèmes d’intelligence artificielle symboliques et systèmes d’intelligence artificielle connexionnistes. Grégory Renard, pionnier du Deep Learning, a lors de son audition, souligné les vertus de telles articulations entre les deux grandes branches de l’IA.

c) La fécondité des hybridations IA symboliques/IA connexionnistes, notamment pour doter ces systèmes d’une représentation du monde réel

Le rapport de l’OPECST de 2017 soulignait déjà l’intérêt de combiner et d’hybrider les technologies, notamment les deux branches de l’IA, en vue de rendre les systèmes d’intelligence artificielle de plus en plus puissants et efficaces.

C’est une stratégie dans laquelle a toujours cru l’entreprise IBM, comme en a témoigné l’exemple de Watson et de ses déclinaisons dans de nombreux secteurs d’activité.

De même, dans les années 2010, Google a enrichi son moteur de recherche d’une IA symbolique appelée « base de connaissances » (ou Knowledge Graph à ne pas confondre avec une base de données) qui permet aux utilisateurs de bénéficier d’une information de synthèse courte, structurée et détaillée, centrée sur l’objet même de la recherche effectuée. Cette sorte d’encadré qui apparaît en marge des résultats de son moteur de recherche repose sur le croisement de la compilation des données issues du moteur de recherche avec un réseau sémantique contenant plus de 500 millions d’objets et plus de 18 milliards de faits et de relations entre ces différents objets utilisés par le moteur de recherche afin de comprendre la signification des mots clés saisis lors d’une recherche. Ce réseau sémantique, qui est un graphe représentant la nature des relations sémantiques entre des concepts, permet une représentation des connaissances particulièrement fiable qui n’est pas statistique.

Dans ces mêmes années 2010, les réseaux de neurones graphiques ou Graph Neural Networks (GNN), proches des réseaux de neurones à convolution (CNN), se sont développés avec une structure reposant sur l’échange d’informations entre les nœuds d’un graphe et leurs voisins (on parle de message passing). Bien que relevant de l’IA connexionniste, leurs architectures sous forme de graphes les apparentent à l’IA symbolique. Leurs applications pourraient se multiplier en termes de classification, de recommandation, de prédiction, de sécurité ou encore de vision, voire de génération de contenus.

AlphaFold, outil d’analyse du repliement des protéines dont il sera question plus tard, repose sur cette technologie des GNN.

Pour de nombreux chercheurs relevant de l’école dite d’IA neuro-symbolique, comme Leslie Valiant, Gary Marcus, Daniel Kahneman, Artur d’Avila Garcez, Marco Gori, Francesca Rossi, Bart Selman, Henry Kautz, Luis Lamb, Pascal Hitzler, Krysia Broda ou Dov Gabbay, il est nécessaire de combiner un raisonnement logique explicite propre aux IA symboliques et un raisonnement statistique propre aux IA connexionnistes pour obtenir un bon modèle cognitif informatique, à la fois précis et riche.

Selon Gary Marcus, « nous ne pouvons pas construire de modèles cognitifs riches de manière adéquate et automatisée sans le triumvirat d’une architecture hybride, de riches connaissances préalables et de techniques de raisonnement sophistiquées », ce qui implique de disposer de la capacité de manipulation des symboles dans notre boîte à outils si l’on souhaite construire des IA solides. Il faut pouvoir disposer de technologies capables de représenter et de manipuler les abstractions.

L’incapacité des IA connexionnistes à se représenter le monde ou à faire preuve de logique reste un défi pour la recherche. Yann LeCun pense qu’on devra articuler ces IA statistiques avec des modèles de représentation du monde dans de nouvelles « architectures cognitives » dont Pat Langley avait en 2017 dressé le bilan des progrès au cours des 40 dernières années, soulignant que l’IA restait surtout analytique et insuffisamment synthétique[152]. Il lui manque une théorie unifiée de la cognition pour pouvoir se rapprocher de l’intelligence humaine.

Joshua Bengio affirme aussi que les IA génératives auront à se combiner avec un modèle de représentation du monde réel (« World Model ») pour réellement progresser. Ces perspectives articuleront la recherche en IA avec les sciences cognitives. Elles ouvriront la voie à des IA qui comprennent le monde physique et ses lois.

Recourir à des combinaisons d’IA ouvre de nouvelles perspectives. Les SVM et l’apprentissage par renforcement se combinent par exemple très efficacement, et ce dernier peut être couplé avec l’apprentissage profond des réseaux de neurones pour des résultats encore plus performants[153]. Ce dernier, appelé Deep Learning, peut aussi s’enrichir de logiques floues ou d’algorithmes génétiques et trouve de nombreuses applications dans le domaine de la reconnaissance de formes (lecture de caractères, reconnaissance de signatures, de visages, vérification de billets de banque), du contrôle de processus ou de prédictions.

Les combinaisons de technologies d’intelligence artificielle mises au point par Google Deep Mind vont aussi dans ce sens, en utilisant tant des outils traditionnels comme la méthode Monte-Carlo (dont la recherche en arborescence s’apparente à l’approche de l’IA symbolique) que des systèmes plus récents comme l’apprentissage profond ou l’apprentissage par renforcement.

Le programme AlphaGo a ainsi appris à jouer au jeu de Go par une méthode de Deep Learning certes, mais couplée à un apprentissage par renforcement lors des parties jouées et à une optimisation selon la méthode Monte-Carlo.

De même, le système AlphaGeometry lui aussi élaboré par Google Deep Mind associe très efficacement un système de règles issu de l’IA symbolique avec des réseaux de neurones profonds issus de l’IA connexionniste.

Les déclarations d’OpenAI en novembre 2024 vont également dans ce sens : plutôt que de se précipiter vers la mise sur le marché de ChatGPT-5, les priorités des chercheurs doivent être de faire progresser la capacité de leurs modèles en termes de raisonnement logique, de tâches de planification et de développement de l’autonomie des systèmes[154].

L’épistémologue Jean Piaget, fondateur du structuralisme génétique[155] et spécialiste de l’apprentissage, disait que « l’intelligence, ça n’est pas ce que l’on sait, mais ce que l’on fait quand on ne sait pas » Cette intelligence en tant que capacité à résoudre des problèmes en l’absence de réponses évidentes représente un défi scientifique pour la recherche en intelligence artificielle.

Il en ressort une complexité croissante des algorithmes : la complexité de certains algorithmes récents est telle qu’au final, ils peuvent être comparés à des sortes de cathédrales géantes multidimensionnelles. Leur construction est un art complexe, encore plus qu’une science.

L’algorithmique, domaine qui étudie les algorithmes devrait, en tant que support conceptuel de la programmation des ordinateurs, devenir un art de plus en plus exigeant, une science mais aussi bien plus qu’une science, comme l’explique de façon éloquente Donald Knuth professeur émérite de « l’art de programmer en informatique » (selon ses mots) à l’université de Stanford et auteur du manuel de référence de l’algorithmique dont le titre éloquent est L’Art de la programmation informatique[156].

d) La variété des domaines de l’intelligence artificielle

Selon l’Association française pour l’intelligence artificielle (AFIA), derrière l’étiquette IA, il existe au moins 26 domaines différents. L’ingénierie des connaissances, le traitement automatique du langage (TAL), les systèmes à base de règles, l’apprentissage symbolique ou encore les réseaux de neurones artificiels, forment, chacun, l’un de ces domaines.

Cette association savante française a dessiné sur cette base ce qu’elle appelle le « diamant de l’IA selon l’AFIA ». Cette décomposition de l’IA montre la grande variété des formes que l’IA peut revêtir.

Les domaines de l’IA selon l’AFIA

Source : https://afia.asso.fr/domaines-de-lia/

III. Le grand marché de l’IA : une chaîne de valeur étendue des matières premières aux consommateurs

L’intelligence artificielle dépasse sa dimension de progrès technologique principalement logiciel, il faut aussi la considérer comme source de puissance et comme enjeu géopolitique sur l’ensemble des aspects de la chaîne de valeur qu’elle recouvre. La question des infrastructures matérielles qui permettent de fournir la puissance de calcul permettant d’entraîner et d’utiliser des modèles de plus en plus performants est un aspect important à examiner dans ce cadre.

A. Du silicium aux applications : la chaîne de valeur complexe de l’intelligence artificielle

1. Un schéma souvent simplifié en quatre étapes

L’association France Digitale, qui représente les intérêts des start-up françaises du numérique a publié en avril 2024 un rapport intitulé « Des puces aux applications, l’Europe peut-elle être une puissance de l’IA générative »[157]. Ce document présente la chaîne de valeur de l’IA de manière simplifiée en quatre étapes :

- premièrement, les puces en silicium, qui comprennent à la fois le matériel physique et les matières premières nécessaires à leur élaboration ;

- la deuxième étape de la chaîne de valeur est l’infrastructure, qui supporte la fabrication du logiciel d’intelligence artificielle. Ce maillon de la chaîne comprend les centres de données dans lesquels sont stockés les microprocesseurs, le réseau qui peut permettre l’accès à des centres de données distants, et les logiciels qui permettent la programmation ;

- vient ensuite l’étape du « modèle de fondation », c’est-à-dire la conception d’un modèle « brut » grâce à une immense quantité de données. Ces modèles ne sont pas réglés pour une utilisation spécifique. C’est par exemple le modèle GPT-4o, utilisé pour construire la dernière version en date de l’agent conversationnel ChatGPT, qui lui, est une application ;

- enfin, la chaîne de valeur se termine par la strate des applications. Il s’agit de l’utilisation des modèles de fondation pour développer des applications qui répondent à des cas d’usage concrets par le biais du processus de réglage fin. Les utilisateurs ont accès aux modèles via des interfaces qui peuvent répondre à leurs besoins.

Schéma simplifié de la chaîne de valeur de l’IA générative

Source : France Digitale

L’Office identifie quant à lui, au terme de ses auditions et déplacements, une dizaine de niveaux en raffinant cette première analyse.

2. La complexité de la dizaine d’étapes de la chaîne

a) L’amont : du silicium aux microprocesseurs

Chacune de ces quatre étapes peut en réalité être elle-même découpée en plusieurs niveaux. Par exemple, la première couche dite des « puces » concerne tout autant l’énergie nécessaire à l’ensemble des processus, dont les besoins sont grandissants[158], l’extraction et la manipulation de matières premières pour construire les semi-conducteurs en silicium que la construction des puces, les logiciels qui permettent de les concevoir et de les utiliser ou, encore, les machines lithographiques capables de creuser le silicium à l’échelle microscopique.

Le dioxyde de silicium, ou silice, certes abondant sur terre, n’est pas du simple sable ou granit fondu : il s’agit d’un cristal de silice monocristallin, soumis au procédé de Czochralski[159] pour l’homogénéiser ainsi qu’au dopage (ajout d’impuretés[160]) pour déterminer les propriétés de conductivité recherchées pour chaque semi-conducteur. Ce dernier est, en effet, à la fois, comme son nom l’indique, isolant et conducteur, il s’agit d’un matériau intermédiaire entre les isolants et les conducteurs électriques. Sa pureté à 99,99 % est donc doublement contrôlée, par le procédé de Czochralski et par le procédé de dopage.

Semi-conducteurs, transistors, circuits intégrés et microprocesseurs

Ces quatre notions, parfois confondues, sont pourtant à distinguer : les premiers sont la base matérielle des transistors, ceux-ci sont regroupés dans des circuits intégrés et ces derniers lorsqu’ils permettent avec une unité unique de faire fonctionner un ordinateur prennent le nom de microprocesseurs.

Dès 1833, Faraday constate qu’à la différence de la plupart des métaux dont la résistance augmente avec la température, certains métaux comme le sulfate d’argent sont de plus en plus conducteurs avec la hausse de la température (coefficient de température négatif)[161]. Un siècle plus tard, en 1931, Wilson théorise les semi-conducteurs : les électrons forment des ondes dans les solides et la conduction électrique de certains matériaux varie en fonction de divers facteurs comme la température, le courant électrique ou la lumière.

Au moment où les travaux se concentrent sur l’utilisation du silicium et du germanium, semi-conducteurs à haut point de fusion, trois chercheurs américains des Bell Labs (Bardeen, Shockley et Brattain) construisent en 1947, à partir de ces semi-conducteurs, le premier transistor.

Cette technologie, qui correspond au contrôle ou à l’amplification du courant électrique par la combinaison de trois électrodes[162], soit aussi parallèlement développée en France[163]. C’est, en définitive, Texas Instruments qui va à ce moment capter le marché mondial avec la fabrication des premiers transistors en silicium puis des radios à transistor à partir de 1954.

En 1958, c’est encore Texas Instruments, grâce à l’ingénieur Jack Kilby, qui réalise le premier circuit intégré ou « puce », dispositif rassemblant plusieurs transistors interconnectés en circuits microscopiques sur un support alors en germanium et dans un même petit boîtier.

De quelques transistors dans les années 1960 (moins de dix), ces circuits passent le cap du million de transistors à la fin des années 1980, avec les circuits intégrés dédiés aux ordinateurs appelés microprocesseurs. Ces derniers, qui exécutent au sein d’une puce unique des instructions et traitent les données des programmes à l’aide de logiques binaires, ont été inventés par Intel en 1971 (avec un premier système à 2 300 transistors). Le cap des 42 millions de transistors est atteint en 2000 avec le microprocesseur Pentium 4, celui du milliard en 2010, avec le microprocesseur Intel Core i7. En 2024, le microprocesseur Blackwell de Nvidia gravé à 4 nm près[164] par TSMC et présenté à vos rapporteurs au siège de l’entreprise dans la Silicon Valley compte 208 milliards de transistors.

Le cofondateur de l’entreprise Intel, Gordon Moore, a laissé son nom à la prédiction, qu’il établit dès 1965 et précisa en 1975, du doublement du nombre de transistors présents sur une puce de microprocesseur tous les deux ans. Cette augmentation exponentielle, nommée « loi de Moore », liée à la miniaturisation, est observée empiriquement jusqu’aux années 2010. Pour qu’elle reste valable, il a fallu prendre en compte le traitement parallèle des calculs dans des architectures multicœurs. Le mur des limites physiques des microprocesseurs, avec le fait d’approcher de la taille moléculaire, est atteint. La contrepartie de cette loi de Moore – fondée sur la réduction de la taille des traits gravés dans le silicium permettant d’augmenter la densité des processeurs et par conséquent leur vitesse – est la « loi de Rock » (du nom d’Arthur Rock) selon laquelle le coût d’une fonderie de semi-conducteurs double quant à lui tous les quatre ans, sous l’effet de procédés de fabrication de plus en plus chers.

Ces différents processus sont assumés par différentes entreprises, même si Nvidia semble être devenu, pour le moment, l’acteur dominant de ce premier maillon de la chaîne. Cette entreprise américaine de la Silicon Valley s’est spécialisée dès sa naissance sur les puces d’accélération pour interface graphique.

Son premier partenariat stratégique est signé en 1994 avec l’entreprise française Thomson et ses premières puces sont commercialisées un an plus tard. Cependant, sa particularité est de produire des puces et des logiciels mais de ne rien fabriquer elle-même : pour ses semi-conducteurs, l’entreprise repose sur l’offre des sociétés de fonderie de semi-conducteurs.

Elle devient ainsi partenaire de l’entreprise de fonderie taïwanaise TSMC à partir de 1998. Puis, un an plus tard, elle commercialise la première carte vidéo GPU grand public. Ces processeurs graphiques dont l’acronyme vient de l’anglais Graphics Processing Units prennent en charge, grâce à des structures de calculs parallèles, l’intégralité des calculs graphiques et optimisent l’affichage 2D et 3D ou encore les vidéos. Leur usage a notamment été accéléré par le succès des jeux vidéo en 3D. Le parallélisme de ces processeurs a conduit à leur utilisation dans le calcul matriciel des nouvelles technologies d’IA des années 2000 et 2010 telles que le Deep Learning.

En 2023, le chiffre d’affaires de Nvidia représentait 71 milliards de dollars, et en juin 2024, avec 3 335 milliards de dollars, l’entreprise était la société avec la plus forte valorisation au monde. En novembre 2024, après avoir été redoublée par Apple quelques mois, sa valorisation de 3 430 milliards de dollars en a refait la première entreprise au monde.

Si Nvidia ne fabrique pas de puces mais les conçoit, comme le font AMD ou Qualcomm, la production de semi-conducteurs en silicium est un marché assez monopolistique, car les coûts fixes sont prépondérants, ce qui le rapproche des conditions d’un monopole naturel.

En dépit de cette caractéristique, cette première étape de la production des puces voit plusieurs entreprises se partager le marché mondial.

Les fabricants de semi-conducteurs sont en effet répartis entre :

- ceux qui conçoivent, fabriquent et commercialisent les puces, que l’on qualifie d’entreprises mixtes ;

- ceux qui ne font que produire les semi-conducteurs et les microprocesseurs (souvent conçus par leurs clients), appelés les fondeurs ;

- et ceux qui conçoivent et commercialisent les microprocesseurs sans les produire (on parle de fabless), choisissant de sous-traiter la fabrication à des sociétés de fonderie.

Le leader mondial de cette dernière catégorie, avec plus de la moitié du marché de la fonderie de semi-conducteurs, est TSMC (pour Taiwan Semiconductor Manufacturing Company Limited), fournisseur de Nvidia, mais aussi d’AMD, d’Apple, de Qualcomm, etc.

Même Intel, Texas Instruments ou STMicroelectronics, qui conçoivent, fabriquent et commercialisent des puces, confient une part de leur production à TSMC. Son chiffre d’affaires représentait 71 milliards de dollars en 2023 et le groupe a rejoint en juillet 2024 le cercle restreint des entreprises valorisées à plus de 1 000 milliards de dollars.

Les trois autres géants de ce marché de la fonderie sont GlobalFoundries (ex-fonderie du groupe américain AMD vendue aux Émirats arabes unis), le taïwanais UMC (United Microelectronics Corporation) et le chinois SMIC (Semiconductor Manufacturing International Corporation).

L’entreprise sud-coréenne Samsung reste quant à elle leader sur la filière semi-conducteurs hors fonderie et fabless, activité dans laquelle elle fait la course en tête avec Intel et qui représente un quart de son chiffre d’affaires.

Le seul Européen qui surnage dans ce contexte oligopolistique, est la société néerlandaise ASML qui s’est spécialisée dans la fabrication de machines de photolithographie nécessaires à la gravure des microprocesseurs sur les galettes de silicium. Elle fournit l’ensemble des fabricants de microprocesseurs, notamment les plus gros comme Samsung, Intel et TSMC, et a pour concurrent les Japonais Nikon et Canon.

b) La couche multiforme des infrastructures

Le deuxième maillon de la chaîne, celui des infrastructures, se subdivise en de nombreuses couches :

- la collecte et le nettoyage de données[165] ;

- le stockage de données dans de vastes data centers ;

- l’informatique en nuage (cloud) pour les calculs ;

- et, lors de la phase de développement des modèles, le recours spécifique à des supercalculateurs.

La multiplication de ces infrastructures et les progrès qualitatifs de leurs équipements conduisent à des coûts immenses[166] et à des impacts environnementaux considérables dont il sera question plus loin.

Selon une analyse de Sequoia Capital de juin 2024, intitulée « La Question à 600 milliards de dollars de l’IA », le coût des infrastructures de Nvidia (réparti à moitié entre les GPU et le reste, c’est-à-dire l’énergie, les bâtiments, les générateurs de secours, etc.) devra conduire à un chiffre d’affaires de 600 milliards de dollars pour permettre un retour sur investissement[167]. L’auteur avait estimé ce montant à 200 milliards de dollars en septembre 2023.

c) L’étape de définition des modèles : de leur architecture au réglage fin

Cette couche de la chaîne de valeur de l’intelligence artificielle qui permet de concevoir les modèles d’IA est elle-même subdivisée entre plusieurs étapes :

- la conception de l’architecture du modèle ;

- l’entraînement du modèle à l’aide des infrastructures vues précédemment et d’algorithmes qui sont des logiciels d’entraînement ;

- le réglage fin qui prend les formes d’apprentissages supervisés et d’une phase « d’alignement », cette phase pouvant être sous-traitée comme le montre l’exemple du recours à Sama par OpenAI.

Les modèle de fondation s’intercalent donc entre la définition de l’architecture du modèle et le fine-tuning permettant aux systèmes d’IA d’être déployés pour telle ou telle application spécifique, voire parfois d’être diffusés auprès du grand public.

d) L’aval : les applications

En dernier lieu, les systèmes d’IA ne sont au final accessibles aux utilisateurs qu’avec une couche de services applicatifs (dont les fameux LLM d’OpenAI, de Meta ou de Mistral, comme ChatGPT, Llama et Mistral Large). Cette étape est indispensable pour permettre la diffusion de la technologie des laboratoires de recherche des entreprises vers les consommateurs, voire le grand public.

Comme pour Google en matière de moteur de recherche, Amazon en matière de e-commerce ou Meta en matière de réseaux sociaux, cette couche applicative spécialisée tend aussi à être monopolistique.

ChatGPT, système d’IA commercialisé par OpenAI – entreprise financée par Microsoft qui détient la moitié de son capital –, a ainsi attiré la majorité des utilisateurs de LLM et reste, depuis son lancement en novembre 2022, le produit dominant sur le marché. Cette position devrait être renforcée par son intégration sous le nom de Copilot dans les logiciels Office de Microsoft (Word, Excel, Outlook, Teams et PowerPoint), dans le navigateur Edge de Microsoft et dans le moteur de recherche Microsoft Bing (qui cherche à contester le monopole actuel de Google sur ce type d’applications).

Schéma de la chaîne de valeur complexe de l’IA

La chaîne de valeur de l’intelligence artificielle est donc complexe, composée de couches, chacune souvent proche de conditions de monopole naturel. Aucune puissance n’est en mesure de posséder aujourd’hui l’ensemble de cette chaîne de valeur sur son seul marché intérieur, seule caractéristique à même de donner une véritable souveraineté en IA. Dans l’hypothèse où cela arriverait, l’État concerné disposerait alors d’un contrôle complet sur le développement des systèmes d’intelligence artificielle.

Même les États-Unis, acteur superdominant du secteur, dépendent encore largement de la fabrication des puces en dehors de leur territoire.

Il faut bien avoir conscience que les coûts correspondants au développement de chacune de ces couches sont considérables. Selon l’Index de l’IA publié chaque année par le Stanford Institute for Human-Centered Artificial Intelligence (HAI)[168], le simple entraînement des modèles prend des mois et coûte de l’ordre d’une centaine de millions de dollars : les calculs ayant abouti à GPT-4 d’OpenAI auraient représenté un coût de 78 millions de dollars et ceux de Gemini Ultra de Google 191 millions de dollars.

Selon le PDG d’Anthropic, Dario Amodei, les modèles en cours de développement auront un coût unitaire approchant désormais le milliard de dollars. Dans cette interview d’avril 2024, il déclare également que les générations de modèles qu’il prévoit de mettre à disposition en 2025 et 2026 coûteront, chacun, entre 5 et 10 milliards de dollars[169].

Compte tenu de ces coûts très significatifs, les modèles de pointe ne sont et ne seront donc développés, ceteris paribus, que par de très grandes entreprises technologiques. Les petites entreprises, tout comme les universités et les organismes publics de recherche, rencontreront de plus en plus de difficultés à développer des modèles avancés d’IA, du fait de leurs ressources limitées. Les difficultés de l’Université la plus riche en matière technologique, Stanford, à suivre les développements en cours, surtout en termes de nombres de microprocesseurs et donc de capacités de calcul, ont été soulignées à vos rapporteurs lors de leurs rencontres dans la fameuse Université du comté de Santa Clara.

On pourrait dès lors douter de la crédibilité de l’ambition de développer une filière nationale autonome en IA. Pourtant, on compte des entreprises françaises et européennes réparties sur l’ensemble de cette chaîne de valeur.

Dans le domaine des puces, Imerys, société minière française, leader mondial des spécialités minérales et des matériaux avancés, possède ainsi une branche spécialisée dans la production de quartz, à partir duquel peut être obtenu du silicium[170], essentiel comme il a été vu à la construction de matériaux semi-conducteurs.

La France possède directement sur son sol des entreprises de semi-conducteurs comme Dolphin Designs ou STMicroelectronics, devenue une multinationale franco-italienne de droit néerlandais cotée au New York Stock Exchange et dont le siège social est en Suisse (BPI France et l’Italie restant les premiers actionnaires) mais qui dans le contexte du « plan composants » de 1978 est d’abord issue d’une coopération entre le CEA et Thomson à travers SGS-Thomson. En 2005, STMicroelectronics se classait encore à la 5e place du classement mondial des entreprises de semi-conducteurs, derrière Intel, Samsung, Texas Instruments et Toshiba. Les entreprises françaises Defacto Technologies, Flex.ai ou Sipearl sont également spécialisées dans la conception de puces (CPU pour Sipearl, ASIC pour Flex.ai, plateforme logicielle RTL de conception de circuits intégrés complexes pour Defacto Technologies).

D’autres aspects de cette couche matérielle de l’IA existent en Europe, par exemple l’entreprise néerlandaise Advanced Semiconductor Materials Lithography (ASML), qui produit les machines lithographiques capables de graver le silicium à l’échelle microscopique ; elle est même le leader mondial de cette activité.

Mais dans certains autres secteurs de cette première étape de la chaîne de valeur, ni la France ni l’Europe ne possèdent aujourd’hui d’entreprises.

C’est le cas pour la fabrication de cartes graphiques (graphics processing unit ou GPU), domaine hautement capitalistique dominé par les entreprises américaines Nvidia, AMD et Intel. Il en est de même pour les fonderies de silicium, domaine dans lequel il n’existe actuellement aucune alternative française ou européenne en état d’entrer sur le marché et de rentrer dans la compétition mondiale.

La France et l’Europe n’ont donc aujourd’hui d’autre choix que de se tourner en matière d’intelligence artificielle vers le marché mondial, au moins à court et moyen terme et pour une partie de la chaîne de valeur. Cela rend nécessaire de se pencher sur la place de la France dans ce marché mondial ainsi que sur les rapports de forces et les coopérations en cours ou à venir concernant l’intelligence artificielle.

B. La multiplication des modèles proposés au grand public

1. Une domination nette de l’IA générative par la Big Tech américaine

En 2017, le rapport de l’Office soulignait déjà en la déplorant « la place prépondérante occupée par la recherche privée, y compris sur le plan de la recherche fondamentale » et le fait que cette recherche était « dominée par les entreprises américaines », devenues pôles d’attraction pour tous les chercheurs du monde, y compris ceux issus de la recherche publique, conduisant à une « concentration des compétences au sein des entreprises privées américaines »[171]. Les chercheurs et développeurs sont souvent sur le territoire des États-Unis mais on les retrouve dans le reste du monde, « ce qui leur permet de perfectionner leurs algorithmes à moindre coût », affirmait l’Office. Un des aspects de cette domination participe du « Big Data » : les technologies d’apprentissage machine, dont le Deep Learning et ses Transformers, recourent à des méthodes statistiques qui nécessitent des données massives pour être efficaces « or ces entreprises disposent d’un avantage comparatif difficile à rattraper : des jeux de données massives, continuellement enrichis par leurs clients et usagers »[172].

Dans ce contexte, les pays du reste du monde ont tendance à ne plus pouvoir être producteurs de technologies d’IA de pointe mais à s’en tenir au rôle de simples consommateurs avec toutes les conséquences que cette situation peut avoir.

Dès 2013, notre collègue sénatrice Catherine Morin-Desailly se demandait dans un rapport si l’Union européenne n’était devenue qu’une simple colonie dans le monde du numérique[173]. Elle y précisait que « les entreprises américaines développent des modèles d’affaires complexes, souvent hybrides : ces modèles d’affaires, qui plus est en recomposition permanente, peuvent reposer sur une offre combinant produits logiciels, services en ligne, plateformes de cloud computing, voire matériel. Le pouvoir de marché qu’ils acquièrent en offrant un service gratuit au plus grand nombre d’utilisateurs leur permet de capter la marge des entreprises du secteur présentes sur l’autre face du modèle ».

Le terme de GAFAM, désignant les grands groupes américains du numérique, soit Google, Apple, Facebook, Amazon et Microsoft devient, à plusieurs égards, de plus en plus dépassé malgré son usage généralisé.

Tout d’abord, plusieurs de ces groupes ont changé de noms depuis la diffusion de ce sigle, ainsi les maisons mères de Google et Facebook – Alphabet et Meta – sont devenues les dénominations usuelles de ces deux groupes. De plus, le terme ne présente pas ces entreprises en fonction de leur importance ou de leur capitalisation boursière respective.

Aussi, vos rapporteurs recommandent d’utiliser le palindrome MAAAM désignant, dans l’ordre, Microsoft, Apple, Alphabet, Amazon et Meta. Ainsi avec ce sigle, non seulement les noms des groupes sont actualisés, mais, en plus, ils sont triés dans un ordre plus proche de la hiérarchie de leur capitalisation boursière, de la plus importante à la moins importante, même si Apple tend parfois à devancer Microsoft (par exemple en octobre 2024, 3 500 milliards de dollars contre 3 200 milliards de dollars).

À cette liste, on pourrait également désormais ajouter l’entreprise de cartes graphiques Nvidia, qui, tirée par le boom de l’IA, a dépassé le seuil des 3 335 milliards de dollars de capitalisation boursière en juin 2024[174] et atteignait même les 3 530 milliards de dollars en octobre et novembre 2024[175], sur le chemin des 5 000 milliards de dollars anticipés par les analystes financiers[176]. Nvidia est le fournisseur de tous les MAAAM et possède un avantage comparatif qu’il sera difficile de contester, en dépit de sa pratique de prix élevés.

Comme l’avait fait le rapport précité de l’Office de 2017, il faut y ajouter les entreprises « historiques » de l’informatique, à commencer par IBM.

Toutes ces entreprises, auditionnées par vos rapporteurs, sont américaines, la domination de ce pays sur le marché de l’IA, et notamment de l’IA générative, est donc indéniable.

Alors que ces géants du numérique pouvaient être considérés comme potentiellement menacés par les géants chinois Baidu, Alibaba, Tencent et Xiaomi (BATX) il y a quelques années, il apparaît aujourd’hui que la Chine rencontre en réalité de plus en plus de difficultés à rivaliser sur le marché mondial, en termes de valorisation financière et commerciale de ses produits, avec les géants américains, dont la croissance creuse l’écart jour après jour.

La domination par la recherche privée américaine s’est considérablement accentuée, comme en témoigne ce graphique tiré des données de l’AI Index Report de l’Université de Stanford et relatif aux systèmes de Machine Learning. Le déclin concomitant de la recherche publique et même des collaborations public-privé doit être souligné.

La domination des entreprises privées dans les modèles d’IA connexionniste

Source : Epoch d’après le Stanford AI Index Report

Cette domination quasi monopolistique a une influence sur l’écosystème de l’IA, y compris à l’échelle nationale, dans notre pays par exemple. En effet, soit les plus grandes entreprises américaines du numérique proposent directement des solutions d’IA, soit elles les proposent indirectement via leurs liens directs avec les sociétés offrant de telles solutions.

Ainsi, si Meta et Google possèdent leur propre gamme de modèles d’IA, notamment avec les LLM Llama et Gemini, ou qu’IBM propose son modèle commercial interentreprises Watsonx à ses clients, les entreprises plus petites sont elles aussi satellisées par ces géants : OpenAI est lié financièrement à Microsoft, Anthropic à Google et à AWS, filiale d’Amazon.

Surtout, ces grandes entreprises américaines n’occupent pas seulement une place à la fin de la chaîne de valeur, mais également dans le reste de la chaîne de valeur, notamment les infrastructures. Aussi, Google et Amazon via AWS sont tous les deux fournisseurs d’informatique en nuage (cloud computing), permettant l’entraînement des modèles d’IA les plus importants.

Face à de si grandes entreprises, des alternatives françaises comme OVH Cloud peuvent difficilement se faire une place. À cause de cela, les entreprises françaises proposant des systèmes d’IA génératives, comme MistralAI ou LightOn, se voient obligées de conclure des partenariats, parfois opaques, avec des entreprises américaines, ce qui peut constituer une menace pour la souveraineté de notre pays, même si les responsables de MistralAI, entendus en 2024 par vos rapporteurs et par la commission des affaires économiques du Sénat se montrent rassurants.

2. Le marché très évolutif des grands modèles de langage (LLM)

Il existe de nombreux systèmes d’IA générative sur le marché. Les principaux modèles que les LLM mobilisent peuvent être récapitulés dans un tableau permettant de les classer selon leur puissance.

Un tableau contributif, géré par l’entreprise HuggingFace, représente une référence en la matière. Il permet de suivre en temps réel la hiérarchie de la puissance des systèmes d’IA et de leurs modèles.

L’excellence d’OpenAI et de son nouveau ChatGPT-4o, talonné par Claude 3.5 d’Anthropic et Gemini Advanced de Google, est indéniable à l’été 2024. Et Mistral se situe en 10e position avec son système Mistral-large.

Les principaux modèles de langage en juillet 2024

Source : HuggingFace, le 1er juillet 2024 https://lmarena.ai/?leaderboard

Le 11 novembre 2024, ce classement est surtout marqué par la course en tête de différents modèles GPT d’OpenAI, le décrochage de Mistral (ses modèles ont disparu de ce tableau car même le meilleur d’entre eux n’est plus que 18e quatre mois plus tard) et, surtout, l’arrivée de Grok, le système de Xai, parmi les technologies de pointe, et appelé à devenir encore plus performant sous l’effet du supercalculateur Colossus et de son prochain doublement de capacités. Un article récent se demande d’ailleurs si xAI ne sera pas le nouveau leader de l’IA générative[178].

L’écart entre les trois premiers modèles d’OpenAI est lié à des usages différents mais ils restent très efficaces : le modèle mini, version allégée de ChatGPT-4o, domine ainsi à lui seul tous les autres modèles du marché. Il peut être noté que le dernier modèle du tableau arrivé en 10e position, à savoir Llama3.1 Nemotron de Meta, est du niveau de performance des meilleurs modèles de juillet 2024.

Les principaux modèles de langage en novembre 2024

Source : HuggingFace, le 11 novembre 2024 https://lmarena.ai/?leaderboard

Deux modèles rendus publics dans le courant du mois de novembre montrent que les progrès se poursuivent. D’une part, une version expérimentale des modèles d’IA de Google appelée Gemini-exp-1114, qui n’est pas destinée à un usage en production, a abouti le 14 novembre 2024 et rivalise avec les meilleurs systèmes d’OpenAI[180]. D’autre part, le modèle de Deepseek, dont la version 2.5 en open source était classée 20e au classement de HuggingFace, a été enrichi d’une nouvelle architecture devant lui permettre de dépasser les autres modèles de LLM.

Annoncé le 20 novembre 2024[181] et renommé DeepSeek-R1-Lite-Preview, il est quant à lui disponible pour le grand public, une version publique gratuite pouvant même être essayée[182]. L’entreprise, filiale du fonds chinois High-Flyer Capital Management, annonce des performances supérieures à celles des autres modèles et, surtout, des capacités de raisonnement inédites améliorées par des processus de réflexion transparents. Ce modèle et ses API ont vocation à être disponibles en open source. Il sera pertinent d’analyser les structures de cette architecture.

Alors que les capacités des LLM pouvaient traditionnellement être extrapolées sur la base des performances de modèles similaires de taille plus petite, les très grands LLM actuels présentent des capacités émergentes : leur déphasage discontinu les conduit en effet à développer des « capacités substantielles qui ne peuvent pas être prédites simplement en extrapolant les performances de modèles plus petits »[183].

Le fait que ces propriétés ne soient pas anticipées par les concepteurs et ne soient pas contenues dans les programmes initiaux des algorithmes pose question. Ces capacités apparaissent après coup, parfois après le déploiement public des modèles, justifiant une vigilance par rapport à la mise sur le marché des modèles. L’article cité recense des centaines de capacités émergentes, dont le raisonnement arithmétique, la passation d’examens de niveau universitaire ou encore l’identification du sens désiré d’un mot.

3. Les autres modèles d’IA générative disponibles sur le marché

Même s’ils sont ceux qui ont le plus tendance à évoluer vers la multimodalité, les grands modèles de langage ne sont pas les seuls types de modèles disponibles sur le marché. D’autres modèles existent.

Par exemple, en plus du traitement automatique du langage, les modèles d’IA générative sont capables de traiter et générer du contenu visuel ainsi qu’en témoignent des modèles comme MidJourney de Stability AI, Stable Diffusion ou, encore, DALL-E d’OpenAI.

En outre, bien qu’encore limités ou peu accessibles, des modèles permettant de générer des vidéos sont également en train d’apparaître sur le marché, tels que Sora d’OpenAI ou Vidu de l’entreprise chinoise Shengshu.

Le traitement et la génération de contenus audio font également leur apparition parmi les modèles d’intelligence artificielle, c’est notamment le cas des modèles SunoAI ou Udio capables de générer une musique à partir d’une description de son style.

4. Des modèles plus ou moins ouverts : la question de l’open source

Les systèmes d’IA peuvent être plus ou moins ouverts. Il n’y a pas sur ce plan de modalité binaire.

La question de l’open source correspond à un continuum complexe de possibilités entre le pôle du modèle propriétaire totalement fermé et celui d’un modèle complètement ouvert, donnant accès à une API (sur le modèle et le fine-tuning), ainsi qu’aux poids, aux données d’entraînement et aux programmes eux-mêmes sans restriction d’usages.

Le continuum de l’open source dans les modèles d’IA

Source : Rishi Bommasani et al., 2023, « Considerations for Governing Open Models »[184]

La place occupée par les solutions open source est grandissante, comme en témoigne le nombre de projets liés à l’IA développés au sein de la plateforme GitHub.

Depuis 2011, le nombre de ces projets est en augmentation constante[185], passant de 845 en 2011 à environ 1,8 million en 2023. Cette augmentation s’est considérablement accrue au cours de la seule année 2023, avec une hausse de 60 % du nombre de ces projets d’IA en open source.

Les modèles de fondation sont de plus en plus nombreux (149 en 2023, soit plus du double par rapport à 2022) et en proportion la part des modèles en open source en leur sein ne fait que croître : 33,3 % en 2021, 44,4 % en 2022 et 65,7 % en 2023[186].

Deuxième partie Les enjeux de l’intelligence artificielle

En 2017, le rapport de l’Office plaçait son chapitre relatif aux conséquences de l’IA sous le patronage d’Isaac Asimov, inventeur dans ses romans du terme de robotique et des lois afférentes. L’auteur prolifique de science-fiction, professeur à l’Université de Boston, écrivait au milieu du XXe siècle, dans le premier tome de son Grand Livre des robots, qu’« il est une chose dont nous avons maintenant la certitude : les robots changent la face du monde et nous mènent vers un avenir que nous ne pouvons pas encore clairement définir »[187]. Remplaçons le mot robots par celui d’intelligence artificielle et l’on obtient une prophétie qui est en train de se réaliser sous nos yeux.

Oui, l’intelligence artificielle change la face du monde et selon des modalités qui ne demeurent que très partiellement connues. Ses domaines d’application sont innombrables et les cas d’usage le sont tout autant, le présent rapport ne cherchera d’ailleurs pas à les recenser.

En revanche, il identifie dans cette deuxième partie quelques enjeux saillants que vos rapporteurs ont choisi de présenter selon un ordre arbitraire : les différentes problématiques politiques ; les impacts contrastés mais globalement positifs pour l’économie et la société ; enfin, les défis pour la sphère culturelle et le monde scientifique.

I. Des problématiques politiques préoccupantes, surtout à l’heure de l’ia générative

A. Une souveraineté de plus en plus menacée : Les enjeux géopolitiques de la chaîne de valeur de l’IA

Le Président de la Fédération de Russie, Vladimir Poutine, a affirmé dès 2017 que : « celui qui dominera l’intelligence artificielle dominera le monde […]. L’intelligence artificielle représente le futur, pas uniquement pour la Russie mais aussi pour toute l’humanité. Cela viendra avec des responsabilités majeures, mais aussi des menaces qui sont difficiles à prédire. »

De même, selon la Brookings Institution, dans une formulation frappante issue d’un article paru, lui, en 2020, « celui qui sera le leader de l’intelligence artificielle en 2030 dominera le monde jusqu’en 2100 »[188]. L’IA est devenue une technologie éminemment géopolitique.

On comprend alors que l’intelligence artificielle n’est pas qu’un enjeu industriel et sectoriel ou même un défi économique national pour la France autour de la question de sa compétitivité : l’intelligence artificielle, en raison de l’accélération de ses progrès et de ses applications potentielles, représente une révolution technologique majeure et globale susceptible non seulement de modifier nos économies et nos sociétés mais aussi de changer les rapports de forces internationaux ou de les amplifier de façon radicale.

1. Tirer les conséquences du fait que l’IA est d’abord américaine

Pour comprendre les questions de souveraineté liées à l’intelligence artificielle, il faut retenir les spécificités de la chaîne de valeur de ces technologies, abordées dans la première partie du présent rapport.

Le monde de l’IA générative est dominé par les États-Unis, on l’a vu. Et ce qui est vrai de l’IA générative est vrai de l’IA tout court. À l’échelle de l’histoire et de la géographie, l’IA est d’abord américaine.

Les États-Unis et ses Big Tech MAAAM (Microsoft, Apple, Alphabet, Amazon et Meta), dont les milliards de données ont facilité le développement du Deep Learning, sont également les leaders de l’infrastructure matérielle de l’IA, en voie de devenir l’actif le plus précieux dans cette compétition mondiale. C’est pourquoi il faut ajouter l’entreprise américaine Nvidia aux MAAAM, car plus encore que les données, c’est aujourd’hui l’amont de l’IA, cette industrie des semi-conducteurs et des processeurs, qui est devenu un enjeu de premier plan qui, certes, dépasse la seule filière de l’IA. Un chercheur américain a même fait de cette brique technologique le premier enjeu stratégique mondial[189].

Le nouvel or noir, ce ne sont pas que les données, ce sont aussi de plus en plus les processeurs. La conception et la fabrication des cartes graphiques (graphics processing unit ou GPU), domaine hautement capitalistique, sont dominées par les entreprises américaines. Le leader mondial du secteur, Nvidia, conçoit les processeurs tandis que son fournisseur TSMC, société taïwanaise[190] et principal fabriquant dans le monde avec plus de la moitié du marché, exécute les commandes de ses clients (qui sont, outre Nvidia, Apple, Intel, AMD, Qualcomm et autres...).

Or, les deux tiers des puces restent à ce jour fabriquées à Taïwan, ce chiffre étant même porté à plus de 90 % si l’on ne retient que les processeurs les plus puissants, dans un contexte où les risques de conflit ouvert entre la Chine et les États-Unis sont de plus en plus grands et où Taïwan est directement à la portée de la puissance militaire chinoise. La bataille pour le contrôle de cette industrie pourrait devenir une guerre ouverte.

Depuis quelques années, les autorités américaines cherchent à rapatrier une part croissante de cette production sur leur sol, Donald Trump a même été accusé publiquement de vouloir « s’emparer du leader taïwanais des puces électroniques »[191]. Dans les faits, cette stratégie prend notamment la forme d’implantations d’usines sur le sol américain, à travers un dialogue avec TSMC. L’année dernière, sa filiale WaferTech a ainsi changé de nom et est devenue TSMC Washington dans le but de signifier ce nouvel ancrage américain du groupe[192].

Cette guerre commerciale prend aussi la forme d’un embargo visant la Chine. En 2022, les États-Unis ont interdit à toute société américaine ou non américaine de fournir la Chine, en équipements ou logiciels qui comprendraient des technologies américaines. Cet embargo a empêché les entreprises chinoises d’importer les produits de TSMC ou de Nvidia. Le Président Biden a encore renforcé les mesures visant la Chine en décembre 2023, en bloquant l’exportation vers la Chine des machines de gravure de puces les plus sophistiquées du néerlandais ASML.

Grâce à leur taille et leur marché à échelle quasi continentale, les États-Unis sont actuellement la puissance hégémonique de l’intelligence artificielle, que seule la Chine peut chercher à défier. Les deux puissances ont pour objectif de devenir le pays le plus avancé dans le domaine de l’intelligence artificielle.

D’un côté, Jake Sullivan, conseiller à la sécurité nationale du Président Biden, affirmait en 2022 que « compte tenu de la nature fondamentale de certaines technologies, telles que les puces à logique et mémoire avancées, nous devons maintenir une avance aussi large que possible »[193].

D’un autre côté, notamment d’après les réponses obtenues par vos rapporteurs auprès de l’ambassade de France en Chine, le gouvernement chinois vise à tirer les conséquences de cette volonté de domination américaine et mène donc une politique visant également à faire de son pays le premier pays du monde en matière d’intelligence artificielle, en possédant l’ensemble de la chaîne de valeur de l’IA sur son territoire d’ici 2030[194].

Le président de Nvidia, Jensen Huang, juge qu’à l’avenir de nombreux pays s’efforceront de « construire leurs propres systèmes d’IA souverains pour rester compétitifs et traiter les données localement »[195]. La bataille mondiale pour la suprématie en IA dépendra de la capacité pour les États de disposer de la chaîne de valeur de l’IA sur leur sol, non pas seulement les modèles d’IA et leurs applications, mais tous les éléments permettant de soutenir ces technologies : les puces, les infrastructures de calcul, les data centers, etc.

2. La France et l’Europe, « colonies numériques », ont-elles déjà complètement perdu la course mondiale à l’IA ?

Le lien entre les technologies, l’IA en particulier, et la question de la souveraineté se renforce et devient de plus en plus direct, alors que la mondialisation, elle, se révèle de moins en moins « heureuse », contrairement à la prédiction de l’essayiste consultant Alain Minc.

L’idée de démondialisation circule, notamment après la pandémie de covid-19 et sous l’effet des tensions géopolitiques mondiales accrues.

La libéralisation des échanges commerciaux dans le monde est freinée par une fermeture progressive de certains marchés, en particulier, pour les pays occidentaux, ceux d’États comme la Chine ou la Russie. Alors que ces derniers cherchent la voie de leur autonomie technologique à l’égard des États-Unis, les États du reste du monde ont tendance à être de plus en plus dépendants d’un techno-mondialisme sous domination américaine, sont-ils condamnés à n’être que des consommateurs passifs de technologies, de véritables colonies numériques ? Les techno-nationalistes chinois ou russes resteront-ils seuls dans leur couloir de cette course à l’indépendance technologique ? D’ailleurs où en est réellement la compétition mondiale en matière d’intelligence artificielle ?

Considérant l’importance du sujet, des travaux de prospective tentent de repérer les variables les plus pertinentes dans l’évaluation du stade de développement de l’IA dans différents pays du monde. Il s’agit de trouver des caractéristiques objectives permettant d’identifier comment se place un pays dans le domaine de l’intelligence artificielle. Identifier de telles caractéristiques permet de prédire certaines évolutions du marché mondial à partir de l’observation actuelle de ces variables.

Dans la revue d’affaires de Harvard (Harvard Business Review), trois chercheurs, Bhaskar Chakravorti, Ravi Shankar Chaturvedi, et Ajay Bhalla, ont publié, sur la base du Digital Intelligence Index de l’université de Tufts, une étude qui tente de répondre à la question. Ils ont mis au point un indicateur de la position relative des pays dans la course à l’hégémonie en intelligence artificielle[196]. Cet indice est nommé « classement des nations de l’IA » ou TRAIN pour Top-Rank AI Nations et s’appuie principalement sur quatre variables :

- l’innovation, c’est-à-dire les avancées dans les modèles d’IA, les techniques, l’exploitation créative de sources de données et les nouvelles applications ;

- le capital à la fois humain et financier, dans la diversité de ses formes, y compris les infrastructures nécessaires à la fabrication d’une IA ;

- les règles nécessaires à l’accessibilité des données ;

- les données, leur volume et la complexité des ressources essentielles utilisées pour entraîner et améliorer les algorithmes.

Dans l’article, cet indicateur est mis en relation avec la vitesse d’augmentation des données disponibles du pays, calculée comme étant la somme des données consommées dans un pays en débit montant (upload) et descendant (download), ainsi qu’avec le volume des données disponibles agrégées en 2022. Y est ajoutée également l’accessibilité des données disponibles qui varient d’un pays à l’autre : les données chinoises sont moins accessibles que les données américaines par exemple. On obtient alors un graphique présentant le score TRAIN des pays en fonction de ces variables, notamment la vitesse d’augmentation de leurs données disponibles de 2017 à 2022 ainsi que l’agrégation des données disponibles en 2022, et colorisé selon l’accessibilité de ces données. Cette représentation graphique, bien qu’antérieure au déploiement de l’IA générative, peut être interprétée comme une photographie récente de l’état des lieux de la compétition mondiale en IA.

La compétition mondiale en IA selon l’indice TRAIN

Source : Chakravorti et al., op. cit.

Ces travaux empiriques confirment, ici sur le plan des données, la domination communément admise des États-Unis et de la Chine sur le marché mondial avec un score TRAIN largement supérieur à celui des autres pays (90,7 pour les États-Unis et 68,5 pour la Chine). La France, elle, confirme également sa place de puissance intermédiaire, juste au-dessus de la moyenne, au niveau d’autres pays européens comme l’Allemagne, mais également de pays comme le Canada, le Japon ou la Corée du Sud.

Les informations données par cette étude mettent également en valeur certaines caractéristiques pertinentes du marché, notamment le fait que, malgré l’avance américaine, les données disponibles chinoises croissent beaucoup plus rapidement tout en étant beaucoup moins disponibles que les données américaines. Cela signifie qu’au fil du temps, la disponibilité des données sera probablement un avantage grandissant pour les développeurs chinois, qui auront accès non seulement à davantage de données disponibles dans leur pays, mais aussi aux données disponibles dans les autres pays, notamment occidentaux.

Ces informations confirment donc la dynamique de sens unique, pointée du doigt par Tariq Krim lors de son audition par vos rapporteurs. Ce dernier constatait qu’un phénomène de « cyber-balkanisation » (ou splinternet) en cours au niveau mondial, c’est-à-dire de fermeture des réseaux de certains pays comme la Chine et la Russie, ce qui crée une relation asymétrique entre ces pays, qui possèdent des réseaux souverains, et les pays occidentaux, utilisant le réseau Internet, accessible à tous.

Là où les pays occidentaux n’ont pas accès à ces réseaux nationaux souverains, l’inverse n’est pas vrai : la Chine et la Russie bénéficient des données présentes sur Internet ; aucun pare-feu ne protège Internet, par définition un réseau ouvert.

Une autre information intéressante est donnée par la partie inférieure droite du graphique : on y voit des pays qui n’ont pas un score TRAIN important ni un grand nombre de données disponibles. Néanmoins, ces pays ont un fort potentiel d’évolution car leurs données disponibles augmentent rapidement mais ne sont pas aisément accessibles. Ainsi, des pays comme l’Inde ou l’Indonésie pourraient devenir des pays aux situations proches de celle de la Chine, c’est-à-dire possédant un grand nombre de données internes pour entraîner leurs modèles d’intelligence artificielle, tout en profitant toujours des données occidentales présentes sur Internet. Ces acteurs, bien qu’ils ne soient pas aujourd’hui en mesure d’être compétitifs face à des pays comme la France, restent à suivre car ils disposeront rapidement des ressources nécessaires pour y parvenir d’ici quelques années.

L’article indique également que les États membres de l’Union européenne, en particulier la France et l’Allemagne, possèdent un avantage comparatif par rapport aux autres pays. Cet avantage, qui n’est pas visible sur le graphique, est celui de la construction en Europe d’une « zone d’IA de confiance ». En effet, les auteurs pensent que l’AI Act européen va certes probablement ralentir les progrès techniques dans le domaine de l’intelligence artificielle ainsi que l’utilisation de données pour l’entraînement des modèles, ce qui devrait entraîner un ralentissement de l’augmentation du nombre de données disponibles. Toutefois, les problèmes de gouvernance d’OpenAI et l’émergence d’acteurs français comme Kyutai ou MistralAI, qui appuient leur business model et leur communication sur la notion d’IA ouverte et de confiance, peuvent apporter une plus-value pour les pays européens et, surtout, pour les entreprises françaises encore en course.

La France et l’Union européenne pourraient être perçues comme des lieux où la régulation de l’intelligence artificielle permet d’accorder davantage de confiance aux modèles qui y sont développés. Or, la confiance est une dimension importante puisqu’elle permet de fluidifier les transactions et de moins subir les fluctuations liées à d’éventuels incidents causés par les modèles d’IA mis sur le marché. Compte tenu des risques existants pour les IA, un écosystème de confiance pourrait être perçu comme un gage de stabilité plus important pour les clients des systèmes d’IA issus des pays européens et permettre une meilleure valorisation de nos entreprises.

3. Une souveraineté française qui peut encore être défendue en tant que puissance intermédiaire

Dans ce contexte, il faut analyser non seulement la place actuelle de l’Europe et de la France dans la compétition mondiale en cours, mais aussi les évolutions possibles pour notre pays, au-delà du seul prisme de la compétitivité. Il faut en effet anticiper les effets probables de la diffusion rapide de ces technologies afin d’identifier s’il est encore possible de conserver notre souveraineté et notre autonomie technologique. De colonie numérique contrainte de s’appuyer sur l’achat de produits à haute valeur ajoutée à des puissances étrangères dominantes et pour lesquelles nous ne sommes qu’un marché de consommateurs, la France a encore les moyens de moins dépendre de la production étrangère et de se retrouver davantage souveraine en matière technologique. C’est d’abord un choix politique.

Avec la complexité de la chaîne de valeur en tête et la nécessité, pour le moment du moins, de s’intégrer dans le marché mondial, vos rapporteurs se sont posé la question de l’avenir de la France dans cette grande compétition mondiale. La place de notre pays est à cet égard un paramètre de premier rang pour garantir notre souveraineté et déterminer nos marges de manœuvre en identifiant les évolutions possibles et souhaitables dans le jeu de ces dynamiques globales marquées par des changements rapides et des incertitudes substantielles.

Devant vos rapporteurs, Arno Amabile et Cyprien Canivenc, rapporteurs généraux du rapport « IA : notre ambition pour la France » ont fait part de leur analyse nuancée quant à la position de la France dans le marché mondial de l’intelligence artificielle.

D’une part, la France et ses partenaires de l’Union européenne ne sont pas des grandes puissances de taille continentale comme le sont la Chine ou les États-Unis. Leurs marchés ne se composent pas de centaines de millions d’individus relativement homogènes, partageant une langue et une culture commune, auxquels il est possible de proposer un produit unique ou des gammes de produits similaires. Cette position apparaît d’autant plus handicapante pour la France que les rendements d’échelle croissent rapidement dans le secteur technologique, surtout s’agissant de l’activité des entreprises produisant des systèmes d’intelligence artificielle. Cette moindre taille de son marché empêche également en partie la constitution de grandes sociétés de capital-risque solides qui permettraient aux entreprises françaises de se développer avec une perspective de rentabilité à long terme.

D’autre part, la France n’est pas pour autant une puissance mineure et n’est pas assujettie à un marché étranger, comme c’est le cas par exemple pour Israël, reposant essentiellement sur sa dépendance au grand marché américain. La France est donc en mesure de développer et de garder des entreprises importantes sur son territoire, capables de servir tant son marché intérieur que le marché international, plutôt que de les voir contraintes de s’expatrier pour aller croître à l’étranger.

Certaines personnes auditionnées ont jugé totalement absurde de vouloir adapter au territoire français, comme nous le faisons depuis 2017, le modèle israélien de « Start-up Nation », avec son bras armé la French Tech[197].

Une telle stratégie est non seulement condamnée à demeurer inefficace[198], mais serait même contreproductive car elle empêche de constituer le tissu d’entreprises et de produits dont la France a besoin en réalité et qui permettrait à son économie de tirer pleinement profit de ses potentialités[199]. Michel Turin a montré, dans Start-up mania : La French Tech à l’épreuve des faits[200], que la réussite des licornes françaises (comme Doctolib ou BlaBlaCar) est l’arbre qui cache la forêt des start-up, qui dans l’ensemble ne dynamisent pas l’économie : « petits employeurs, gros consommateurs de subventions, championnes de la précarité, elles font (dans le meilleur des cas) la fortune de leurs seuls fondateurs, qui cherchent à vendre leurs parts le plus vite possible ».

Le discours incantatoire consistant à vouloir faire de la France un leader mondial de l’IA n’est pas non plus de nature à aider à la construction d’une autonomie technologique, pourtant nécessaire en la matière.

Cette position intermédiaire de la France et de la structure de son marché, à mi-chemin entre les superpuissances continentales et les marchés dépendants ou totalement dominés, fait de notre pays et de certains grands pays de l’Union européenne des puissances intermédiaires de l’IA, capables de maintenir leurs avantages relatifs sur le marché mondial de l’intelligence artificielle et de s’armer des couches technologiques qui leur font aujourd’hui défaut.

À ce titre, la France doit faire en sorte de profiter de cette position à la fois face aux acteurs plus grands et aux acteurs plus petits qu’elle. Elle peut jouer de ces atouts et tenter de dépasser les impasses technologiques qui la handicapent afin d’éviter le déclassement qui constituerait une menace à son économie et à sa souveraineté. Nous devons également être attentifs aux enjeux géopolitiques concernant l’intelligence artificielle, en particulier aux relations complexes qui unissent les acteurs majeurs que sont les États-Unis et la Chine. Notre autonomie stratégique et technologique doit être défendue, plutôt que de s’aligner avec les intérêts américains. Nous n’avons pas les mêmes intérêts dans cette compétition mondiale.

Que ce soit à l’échelle européenne, celle de l’UE ou à travers une coopération renforcée entre quelques pays, ou au niveau national, les nombreux maillons de la chaîne de valeur de l’intelligence artificielle peuvent être présents dans nos territoires pour peu que l’on cherche à reconstruire notre autonomie technologique.

L’absence de volonté politique jusqu’à aujourd’hui n’a pas permis de mettre en œuvre une telle ambition. Un article de dirigeants de Mc Kinsey, publié le 31 octobre 2024 dans Les échos[201], après la rédaction de l’essentiel du présent rapport et dont la référence a été ajoutée au dernier moment, a enchanté vos rapporteurs. Cette tribune se prononce également en faveur de l’idée « d’une stratégie holistique pour couvrir l’ensemble de la chaîne de valeur de la technologie » en Europe, de l’énergie jusqu’aux applications en passant par les semi-conducteurs, les infrastructures et les modèles. L’Europe n’est aujourd’hui leader que dans un seul des segments de la chaîne de valeur de l’IA, celui très précis de la gravure des puces, et ce grâce à ASML. Cette tribune, sans y faire référence explicitement, repose sur le constat dressé quelques jours plus tôt dans une note du Mc Kinsey Global Institute d’octobre 2024[202] analysant la place des pays européens dans chacun des maillons de la chaîne de valeur de l’IA. En dehors de la niche très spécifique d’ASML, les entreprises européennes restent dans la course en matière de conception des modèles, d’applications d’IA et de services. Elles ne représentent que moins de 5 % de parts de marché concernant les matières premières (silicium en particulier), la conception des processeurs, la fabrication des puces, les infrastructures de calcul en nuage et les supercalculateurs. Ces maillons de la chaîne de valeur de l’intelligence artificielle restent à développer.

Certes, ces filières sont dominées par les entreprises américaines ainsi que par les fonderies taiwanaises de silicium, et il n’existe pas encore, à ce stade du moins, d’alternative française ou européenne capable de les concurrencer sur ce marché et d’intégrer la compétition mondiale en tant qu’acteur du même niveau. Aujourd’hui, la France et l’Europe n’ont donc d’autre choix à court terme que de compter, au moins pour une partie de la chaîne de valeur, sur le marché mondial pour le développement des intelligences artificielles. Mais ces filières peuvent être développées à moyen et long terme en France et en Europe, à l’abri du marché mondial, ce qui paraît pertinent au regard des rapports de forces en jeu et des tensions en cours ou à venir dans le domaine de l’intelligence artificielle.

B. Des risques de manipulations politiques voire de déstabilisation

1. Désinformation au carré

L’EPTA, réseau européen des structures parlementaires scientifiques, a consacré son rapport pour l’année 2024 aux relations entre l’intelligence artificielle et la démocratie[203], un travail auquel l’OPECST a apporté sa contribution.

Problématique traditionnelle, la désinformation change désormais d’échelle avec l’IA et en particulier l’IA générative. Les manipulations de l’information avec intention de tromper, qu’il s’agisse de contenus falsifiés ou de fausses informations, sont très largement amplifiées par ces technologies.

L’Observatoire international sur les impacts sociétaux de l’intelligence artificielle et du numérique, structure canadienne, a publié en octobre 2024 un rapport[204] où il rappelle que la désinformation a toujours existé, de la campagne de désinformation menée par l’Empereur Auguste contre ses adversaires dans la Rome antique aux fausses nouvelles entourant la campagne de vaccination contre la covid-19 en passant par la prétendue présence d’extraterrestres sur la surface de la Lune avancée par le journal The New York Sun à des fins de sensationnalisme au XIXe siècle. Mais il souligne que la création de contenus trompeurs à grande échelle grâce à l’IA provoque une augmentation des risques de désinformation. La possibilité de discerner entre ce qui est vrai et ce qui ne l’est pas s’affaiblissant, les conséquences peuvent être très significatives. L’IA accélère cette ère de la post-vérité (Post-Truth Era).

Le Global Risks Report 2024 du World Economic Forum fait même de la désinformation le risque le plus important à court terme dans le monde. Il précise que la majorité des experts interviewés ont mentionné, de façon préoccupante, la perspective d’une polarisation croissante de nos sociétés et plus spécifiquement une polarisation des clivages identitaires et idéologiques dans les prochaines décennies, ce qui menacerait nos démocraties.

Cette désinformation peut d’ailleurs aller jusqu’à viser la déstabilisation de pays entiers ou d’opérations militaires spécifiques. L’un des vecteurs de cette désinformation préjudiciable à nos sociétés sont les deepfakes, ces hypertrucages réalistes que l’IA a récemment perfectionnés.

2. Hypertrucages réalistes (« deepfakes »)

Plus spécifiquement que la désinformation, les IA génératives font courir le risque de trucages hyperréalistes, qui outre les escroqueries, touchent d’ores et déjà le monde politique. Ces deepfakes sont des procédés de manipulation qui recourent à l’intelligence artificielle pour créer des contenus truqués mais ultraréalistes, y compris en matière audiovisuelle avec des vidéos trompeuses. Les personnalités politiques ou les candidats aux élections en sont très régulièrement les victimes : montage par IA de photos truquées, de contenus audio ou vidéo. Les candidats aux dernières élections américaines ont chacun été victimes de nombreux deepfakes, certaines photos, en apparence vraies, ou vidéos avec des voix entièrement reconstituées, ayant été vues plusieurs dizaines de millions de fois.

Ces contenus n’étant pas accompagnés d’indications précisant qu’ils sont produits par IA et donc truqués, ils deviennent des informations partagées, avec une logique parfois virale, qui les font courir plus vite que les rumeurs et qui portent atteinte aux victimes des trucages. Ces deepfakes peuvent influencer le vote de certains électeurs, y compris ceux qui, de bonne foi, voient ces contenus sans jamais pouvoir imaginer qu’ils sont faux.

Alors que les contenus truqués étaient plutôt faciles à détecter auparavant y compris parfois à l’œil nu, une telle discrimination devient désormais de plus en plus délicate à effectuer. Les trucages hyperréalistes générés par IA générative requièrent en règle générale une analyse détaillée voire technique pour déceler leur nature de deepfake. Ils ont explosé depuis un an : des chercheurs ont analysé 136 000 contenus de vérification des faits (fact-checking) produits entre 1995 et novembre 2023, dont la majorité après 2016. Ils notent une explosion de ces faux contenus créés par l’IA à partir du printemps 2023[205].

Une solution qui est avancée autant par la Chine que l’Union européenne, et dans une moindre mesure par les États-Unis, est de rendre obligatoire l’ajout de filigranes discrets (Watermarking) permettant d’identifier ces trucages.

3. Cybersécurité et risque d’attaques à grande échelle

Le présent rapport n’a pas pour objet de traiter l’ensemble des risques liés à l’IA : il se focalise sur les enjeux de cybersécurité spécifiquement liés aux systèmes d’IA génératives. Il aborde également le débat sur le risque existentiel lié à l’arrivée de l’intelligence artificielle générale (IAG).

Les systèmes d’intelligence artificielle ont démontré des capacités avancées pour la programmation informatique avec des modèles comme Codestral de Mistral, capable de maîtriser plus de 80 langages informatiques[206]. Le développement de ces compétences implique des risques pour la sécurité et plus spécialement la cybersécurité, surtout en cas d’utilisations malveillantes de l’IA, d’autant plus que des méthodes existent pour contourner les mesures de sécurité mises en place par les entreprises pour éviter l’utilisation illégale de leurs modèles.

Il est donc important de prendre la mesure de ces risques afin de pouvoir les anticiper et les contrôler. Il est, par exemple, nécessaire non seulement de savoir de quelle nature sont ces risques et quels risques peuvent être anticipés, mais aussi de prévoir les réponses à ces menaces. Ces risques peuvent être causés par les systèmes d’IA générative eux-mêmes ou ce sont ces derniers qui peuvent faire l’objet d’attaques.

a) La typologie des usages malveillants de l’IA générative

Une étude réalisée par Google en 2024[207] a permis d’établir une taxonomie précise et assez complète des « tactiques de mauvais usages de l’IA générative ». Cette typologie montre que les possibilités d’utilisations de l’IA avec des intentions malveillantes sont nombreuses.

Abus exploitant les capacités de l’intelligence artificielle générative

Source : Marchal et al., 2024, op. cit.

b) Comment répondre à ces nouveaux risques en matière de sécurité face à l’essor de l’IA générative aujourd’hui ?

Face aux risques accrus en termes de sécurité avec le développement de l’IA générative, les techniques doivent évoluer. Une vigilance est de mise face aux stratégies de contournement des attaquants. Ces derniers entrent avec les défenseurs dans une spirale de montée en technicité sous l’effet des progrès de l’IA. Les réponses deviennent ainsi de plus en plus complexes à mesure que les attaques se perfectionnent, et réciproquement...

L’Agence nationale de la sécurité des systèmes d’information (Anssi) a publié en avril 2024 un rapport présentant ses recommandations de sécurité pour les systèmes d’IA générative, qui prend la forme d’un Guide[208]. Ce document vient compléter les informations fournies par l’étude de Google et présente également les risques majeurs et prioritaires que fait courir spécifiquement l’utilisation de l’intelligence artificielle générative.

Le rapport dresse notamment la liste des risques et des vulnérabilités concernant les intelligences artificielles génératives qui présentent une menace potentielle pour ses utilisateurs. Ce document ne traite pas de l’éthique de l’IA, ni de la vie privée et de la protection des données personnelles, ni de la sécurité liée à la faible qualité des données ou de la faible performance des modèles d’IA, notamment d’un point de vue métier.

L’utilisation de services d’IA générative tiers, tels que ChatGPT ou DeepL, expose à des risques de perte de confidentialité. Les prestataires de ces services collectent et utilisent les données pour optimiser leurs modèles, empêchant le maintien de la confidentialité des informations sensibles. Il est donc essentiel de ne pas transmettre de données sensibles à ces services grand public, y compris des informations contractuelles, financières, ou des données personnelles.

L’exfiltration de données est une autre menace majeure en lien avec la précédente. Les modèles d’IA générative peuvent être manipulés pour extraire des informations sensibles à partir des données d’entraînement ou des requêtes des utilisateurs. Des techniques d’attaque adverse peuvent être employées pour exploiter des vulnérabilités et accéder à des informations confidentielles, posant des risques significatifs pour la confidentialité et la sécurité des données.

Les systèmes d’IA générative interconnectés à d’autres applications peuvent aussi servir de vecteurs pour des attaques latéralisées. Un attaquant peut ainsi exploiter une vulnérabilité dans le système d’IA pour infiltrer d’autres systèmes critiques, comme des services de messagerie interne. De plus, l’injection de codes malveillants dans du code source généré par l’IA peut entraîner des sabotages d’applications métiers, compromettant la sécurité et l’intégrité des opérations d’une organisation.

Les paramètres ou poids des modèles d’IA propriétaires sont des actifs précieux. Leur vol peut compromettre l’intégrité des modèles et permettre à des attaquants d’améliorer leurs propres systèmes d’IA ou de lancer des attaques plus efficaces. La protection des paramètres des modèles est donc cruciale pour maintenir la sécurité et la compétitivité technologique.

De façon générale, les systèmes d’IA générative exposés au public, risquent de voir leur fonctionnement altéré ou détourné par des acteurs malveillants. Par exemple, un chatbot peut fournir des réponses incorrectes ou inappropriées à la suite d’une manipulation malveillante, affectant ainsi la réputation de l’organisation qui l’utilise. Cette menace est particulièrement critique pour les services interactifs en ligne, où la perception du public joue un rôle crucial.

Pour faire face à ces attaques, l’Anssi recommande des mesures de protection aux développeurs et aux utilisateurs de systèmes d’intelligence artificielle. Elle identifie les bonnes pratiques à mettre en œuvre depuis la phase de conception et d’entraînement d’un modèle d’IA jusqu’à la phase de déploiement et d’utilisation en production.

Il est, par exemple, recommandé aux développeurs :

- de mener une analyse de risque avant l’entraînement du modèle ;

- de sécuriser les données d’entraînement ;

- de limiter l’utilisation de l’IA pour la génération de code critique ;

- de former et sensibiliser les développeurs d’IA aux risques de sécurité et d’attaques ;

- de mettre en place des mesures contre les attaques par déni de service (DDoS) contre les serveurs.

Vos rapporteurs renvoient à ce guide de l’Anssi pour un approfondissement de ses préconisations en matière de sécurité pour les systèmes d’IA générative.

C. La singularité et le risque existentiel : de l’IAG aux scénarios à la Terminator

1. Que sont l’intelligence artificielle générale (IAG) et la Singularité ?

a) La perspective possible mais pas certaine de l’intelligence artificielle générale rend la singularité et le risque existentiel encore moins probables

L’intelligence artificielle générale (IAG) est un système qui serait capable d’effectuer n’importe quelle tâche cognitive humaine et qui, partant, pourrait même en arriver à surpasser l’homme dans toutes ses capacités. Ce dépassement prenant le nom de « singularité ». Il s’agit d’un tournant hypothétique radical dans l’évolution technologique, dont l’intelligence artificielle serait le ressort.

John von Neumann l’évoque dès les années 1950, le collègue d’Alan Turing à Bletchley Park, Irving J. Good, la théorise dans un article en 1966 et Vernor Vinge rédige un essai remarqué à son sujet en 1993[209]. Enfin, Ray Kurzweil la prédit dans plusieurs articles et livres des années 2000 comme devant advenir entre 2030 et 2045.

Le transhumaniste Nick Bostrom parle quant à lui de superintelligence. En 2014, son livre Superintelligence : chemins, dangers, stratégies a rencontré un grand succès. Le terme d’IA forte par opposition à l’IA faible est lui aussi parfois utilisé. Plus loin dans le temps, en 1863, Samuel Butler jugeait le dépassement des capacités humaines par celles des machines inéluctable à long terme[210]. C’est donc une histoire qui vient de loin et un thème qui a largement nourri la science-fiction. De nombreuses œuvres de science-fiction ont décrit ce tournant, qui a été une source d’inspiration très riche pour le cinéma : des films comme « Terminator », « Matrix » ou « Transcendance » sont des exemples de la « singularité technologique », qui est donc bien plus qu’une simple hostilité de l’intelligence artificielle, également souvent au cœur de l’intrigue des œuvres de science-fiction. Le sujet d’une IA superintelligente frappe nos imaginaires, déjà nourris de ces angoisses et suscite des fantasmes sur la nature des relations homme-machine.

Sorti le 4 mars 2024, Claude 3 a été, pendant quelques semaines, le modèle de LLM le plus puissant du marché. Il représente la troisième génération du modèle d’intelligence artificielle d’Anthropic, une start-up fondée par d’anciens d’OpenAI. Ce modèle, lors d’un test réalisé par les développeurs d’Anthropic, a fait remarquer – sans qu’il ne lui soit rien demandé à ce sujet – qu’il était précisément en train d’être testé, semblant révéler une forme de raisonnement métacognitif, c’est-à-dire de réflexivité ou de « pensée sur sa propre pensée »[211].

En 2024, la nouvelle version de GPT-4 s’est révélée être du niveau d’un chercheur en mathématiques : ainsi que l’a expliqué Dan Hendrycks, directeur du Center for AI Safety de San Francisco, les capacités de l’IA éprouvées dans le test avancé de mathématiques qu’il avait créé, appelé MATH, montrent que ce système « est fondamentalement aussi bon que lui en maths »[212]. Et précédemment, en décembre 2023, un modèle d’IA de DeepMind était parvenu à résoudre un problème mathématique jusqu’alors non résolu. Cette réussite est d’autant plus marquante que la solution n’était absolument pas présente dans les données d’entraînement[213].

L’IAG n’est pas qu’un repoussoir : elle représente un potentiel énorme pour nos sociétés et nos économies, surtout pour la recherche scientifique et médicale, permettant de nouvelles découvertes et la résolution de problèmes complexes. Ce point sera abordé plus loin.

Si l’IAG n’est pas une hypothèse probable réaliste à court terme, en revanche c’est une perspective possible à moyen ou à long terme, même s’il n’est pas sûr que l’on y parvienne un jour. Ray Kurzweil, Elon Musk ou Sam Altman l’annoncent comme quasiment imminente mais aucune analyse rationnelle ne justifie une telle prédiction à court ou moyen terme. Les nombreuses limites des systèmes d’IA ont été vues, à commencer par leur mode de raisonnement probabiliste inductif. Le professeur Gérard Berry doute à cet égard de la faisabilité de l’IAG : il compare cette prédiction à celle du stockage parfait de l’électricité, l’espoir est sans cesse réitéré mais bute sur le réel. Des plateaux pourraient être atteints dans l’évolution des technologies d’IA, pour plusieurs raisons, même si les « lois d’échelle » font souvent croire à une amélioration continue des capacités des IA.

b) L’hypothèse des lois d’échelle ou scaling laws

L’hypothèse des lois d’échelle[214] (scaling laws) permettant aux IA d’être de plus en plus efficaces de plus en plus rapidement rend assez probable l’avènement d’une intelligence artificielle générale. Mais cette projection n’est ni une certitude ni la preuve d’un risque existentiel en soi.

Lors de son audition, Simeon Campos a présenté un graphique qui serait une extrapolation à l’horizon 2032 des prochaines générations de systèmes d’IA telles qu’anticipées par un chercheur, en prenant en compte les contraintes de mise à l’échelle des infrastructures de développement.

Projection sur la puissance de calcul des futurs LLM

Source : Audition de Simeon Campos, graphique tiré d’un article à paraître de R. Dean

Le rythme de progression des systèmes – s’il se poursuit – rend plausible la perspective d’une IAG. Les défis pour les développeurs seront notamment d’inventer des algorithmes capables d’apprendre n’importe quelle tâche cognitive humaine et à s’y adapter de manière optimale.

Comme l’affirmait Stephen Hawking dès 2014, la superintelligence est physiquement possible, car « aucune loi de la physique n’empêche les particules d’être organisées de manière à effectuer des calculs encore plus avancés que ceux du cerveau humain »[215].

c) Quelques jalons sur les évolutions en cours : des capacités croissantes et la probabilité de plateaux

Outre le cas de Claude 3 qui semble avoir été « conscient » d’être testé, OpenAI dont le projet ultime a toujours été l’IAG, imagine que son LLM ChatGPT pourra rivaliser avec un bon doctorant de n’importe quelle discipline d’ici un peu plus d’un an[216]. GPT-4 a été capable de résoudre en 2023 un problème complexe de physique du concours d’entrée à Polytechnique[217] et il est d’ores et déjà capable de réussir le concours du barreau américain pour devenir avocat aux États-Unis. Le système d’OpenAI qui a déjà largement progressé depuis cette version de mars 2023, a prouvé par-là l’ampleur de ses connaissances et de ses capacités de « raisonnement ».

Que l’IAG soit atteinte ou pas, les implications des progrès de l’IA seront énormes, avec des opportunités importantes et des risques à maîtriser. Son développement soulève des questions éthiques et de régulation indépendantes de l’avènement possible de l’IAG.

L’hypothèse des lois d’échelle n’a toutefois rien d’une loi : ce n’est qu’une conjecture et des plateaux pourraient être traversés. Yann LeCun, Gary Marcus ou Oren Etzioni ont, depuis plusieurs années, attiré l’attention sur ce sujet, notamment à propos des LLM appuyés sur l’architecture Transformer ou plus généralement des algorithmes de Deep Learning en parlant d’un mur[218].

Pendant l’été 2024, Marc Andreessen et Ben Horowitz, pionniers d’Internet dans les années 1990 et devenus de très grands investisseurs en venture capital, ont expliqué que les modèles d’IA se heurtaient désormais à un mur ou un plafond et que la croissance de leurs capacités commençait à ralentir[219].

Le média The Information a également publié un article le 9 novembre 2024 dans lequel il affirme, sur la base de témoignages d’employés d’OpenAI, que le prochain modèle de la société, GPT-5 rebaptisé Orion, progresserait beaucoup moins que les précédents sauts entre modèles, notamment par rapport au bond constaté entre GPT-3 et GPT-4[220]. OpenAI pourrait donc se recentrer sur des améliorations plus qualitatives de ses modèles (notamment Jarvis, plus tourné vers la maîtrise par IA d’un ordinateur et de sa navigation sur Internet). The Information explique que Google rencontre des difficultés similaires à améliorer son IA Gemini en termes de performances.

Ces vifs débats ont conduit en novembre 2024 le président d’OpenAI, Sam Altman, à démentir le fait que son entreprise ait atteint un plateau en termes d’amélioration des performances de ses systèmes d’IA[221]. Quoiqu’il en soit ce ralentissement du rythme de l’innovation peut être bénéfique puisque l’IA se rapproche de notre évolution humaine, qui a parfois nécessité de prendre le temps de la réflexion : comme l’explique Walter De Brouwer, professeur à l’Université de Stanford, « l’approche de Sapiens, qui consiste à réfléchir avant de sauter, est en train d’arriver ».

L’IAG est donc possible mais pas du tout certaine. La perspective d’un dépassement de l’IAG – la singularité – est elle aussi possible mais encore moins probable que l’IAG. Quant au risque existentiel lié à la singularité, il est encore moins probable que les deux premières.

Ce risque, dont personne ne peut dire avec certitude qu’il existe, inquiète beaucoup. Des spécialistes de l’IA étant eux-mêmes préoccupés, cela justifie de se pencher sur leurs arguments et leurs solutions.