Cet article est extrait du mensuel Sciences et Avenir – La Recherche no. 910 de décembre 2022.
C’est difficile à croire, mais aujourd’hui, il est possible, presque littéralement, de lire dans les pensées. Pour être précis, on dirait plutôt “décoder le contenu cognitif dans le cerveau “, mais les résultats sont là : des images, des mots, lus ou entendus, des mouvements, voire des émotions… Tout commence à se voir dans le cerveau, même les sentiments intimes, grâce aux progrès de la neuro-imagerie couplés à une multiplication par dix des puissance de calcul au cours des dernières années.
“L’idée est que chaque activité cognitive correspond à un certain schéma d’activation cérébrale, s’interroge Bertrand Thirion, chercheur de l’équipe Mind à l’Institut national de recherche en sciences et technologies du numérique (Inria).. Mais si on peut observer l’activité de votre cerveau, on peut aussi faire l’inverse et dire quelle est l’activité cognitive qui correspond à une telle activation neuronale ; et ainsi reconstruire l’image que vous voyez ou imaginez, ou même des phrases avec une certaine sémantique.“
Reconstruire les mots que la personne entend “dans sa tête”
Une équipe française du laboratoire européen Meta AI Research (ex-Facebook), Inria et l’Université Paris-Saclay et Paris analyse les ondes électromagnétiques du cerveau pour reconstituer les mots qu’il entend “dans sa tête”. Sciences & Lettres.
Une étude publiée dans Rapports scientifiques cet automne a de quoi être enthousiasmé : les données des ondes cérébrales de 169 sujets capturées lors de l’écoute d’enregistrements de conversations ont été découpées en séquences de trois secondes. Ces séquences d’ondes cérébrales ont été transmises à l’IA avec les fichiers audio correspondants pour lui apprendre à repérer les schémas d’activité cérébrale correspondant aux mots.
Si la démonstration est surprenante, la précision de l’algorithme est encore trop faible pour envisager des applications à court terme : pour chaque image cérébrale, l’intelligence artificielle (IA) a prédit une liste de 10 mots, et 73 % du temps cette liste comprenait le mot réellement prononcé. Ça peut être mieux… ou pas, la résolution de la neuroimagerie a ses limites.
Côté images, Bertrand Thirion, avec Stanislas Dehaen, expert en neurosciences cognitives, a cartographié en 2006 la correspondance entre les points corticaux des aires visuelles et les coordonnées rétiniennes de l’œil. Ainsi, en observant les points activés du cortex, il a été possible de reconstituer des images simples – notamment des lettres – correspondant à l’empreinte neurale de la rétine dans les champs visuels. Depuis lors, l’intelligence artificielle a été intégrée, ce qui permet d’utiliser non seulement la rétine, mais toutes les zones activées du cerveau.
En 2019, une équipe de l’université de Kyoto (Japon) a fait sensation en reconstruisant le contenu perceptif du cerveau des patients à partir de données recueillies par imagerie par résonance magnétique dite fonctionnelle (IRMf). Cette application de la résonance magnétique classique permet un suivi quasi en direct de l’activité cérébrale. Presque, parce que ce que l’IRMf surveille réellement, ce sont les changements du flux sanguin dans les vaisseaux cérébraux.
Dans ce cas, le principe est simple : des volontaires placés dans un appareil IRM focalisent sur des images qui leur sont montrées pendant quelques secondes (cygne, léopard, vitrail, avion, etc.), des scientifiques analysent les données d’images, et un L’algorithme d’intelligence artificielle tente de représenter les formes et les couleurs des images en question. “Ce qui est nouveau ces dernières années, c’est que nous avons des modèles génératifs plus puissants pour créer des textes et des images de plus en plus réalistes. “, précise Bertrand Thirion.
Ces programmes ont appris à générer automatiquement de nouvelles images ou du texte à partir de critères spécifiés par le texte, ou dans ce cas des données de neuroimagerie, dans de vastes bases de données ; le plus souvent avec l’IRMf ou la magnétoencéphalographie (MEG) ou même avec des implants cérébraux. Encore faut-il pouvoir analyser avec précision le fonctionnement des différents réseaux de neurones impliqués dans la perception “mentale”.
De ce point de vue, une autre expérience marquante : qui est publiée dans Rapports scientifiques neuroscientifiques de l’Université Radboud (Pays-Bas) au tout début de cette année. Ils ont pu reconstruire des visages avec un réalisme époustouflant à partir de schémas d’activation neurale enregistrés par IRMf tandis que des volontaires visionnaient des photographies des visages.
“Ce sont les reconstructions de détection de visage les plus précises à ce jour, se réjouit Thirza Dado, premier auteur de l’étude. Mais vu les progrès rapides de la modélisation générative, on s’attend à des reconstructions encore plus impressionnantes de la perception et peut-être même des images mentales dans Futur proche. Dans le futur, nous pourrons décoder et recréer des expériences subjectives, peut-être même nos rêves. Ces techniques auront également des applications cliniques, notamment pour communiquer avec des patients paralysés ou en état de conscience minimale. Ici, nous développons des caméras d’implants cérébraux qui stimuleront cerveau pour rendre la vue aux aveugles. “
En utilisant l’IRM de l’activité neuronale de deux volontaires regardant des photographies de visages (ligne 1), l’IA a reconstruit ces visages avec un réalisme époustouflant (lignes 2 et 3). Crédit : THIRZA DADO ET COLL. NATURE 2022
Les progrès des connaissances et les algorithmes ne font pas tout. Pour reconstituer ces visages, encore faut-il savoir que leur codage neuronal avec leurs traits fins s’effectue dans une zone spécialisée du système visuel dédiée à leur reconnaissance. Des paramètres précis sont encodés dans cette zone : forme du visage, couleur de la peau et des cheveux, orientation de la tête, luminosité, port de lunettes ou non, visage imberbe ou poilu, etc. C’est ce que l’IA collecte et analyse pour créer ces visages.
“C’est ce que j’appelle la reconstruction en mode hallucinatoire, commente Bertrand Thirion. C’est comme construire une hallucination complète, car l’image reconstruite n’est pas exactement ce que vous avez vu à ce moment-là, mais ressemblera aux caractéristiques que le cerveau a attribuées au visage vu : femme, cheveux longs, plus ou moins jeune, etc. Plusieurs dimensions guideront le modèle génératif. “Mais peu importe la précision et la vivacité du visage rendu par l’IA, il sera toujours légèrement décalé. “Nous hallucinons en quelque sorte l’expérience psychologique d’une personne à partir de ses scanners cérébraux “, explique le chercheur.
“Le code neuronal est très mélangé dans le cerveau”, Stanislas Dehaene, professeur au Collège de France*
“Réflexions frères ? Ces dernières années, pas mal de résultats très impressionnants ont été publiés. Mais il ne faut pas surestimer ce dont nous sommes capables. Des expériences sont menées sur des personnes volontaires, concentrées, qui acceptent de rester concentrées sur une image ou une pensée que je fais ne croient pas au fait que les méthodes d’imagerie non invasives telles que l’IRM ou la MEG peuvent atteindre un niveau de sophistication capable de déchiffrer entièrement le code neuronal.
Dans l’ensemble, c’est très mitigé, et plus on cherche des informations détaillées sur la cognition et la psychologie, plus c’est mitigé. Cela signifie que les groupes de neurones deviennent de plus en plus petits dans tout le cerveau. Mais en supposant que ces techniques soient raffinées au point de pouvoir décoder le contenu cognitif d’une personne à la demande, cela soulèvera des questions éthiques sérieuses et franchement très complexes.”
* Titulaire de la chaire de psychologie cognitive expérimentale. Il est également responsable de l’unité de recherche en neuroimagerie cognitive de NeuroSpin à Paris-Saclay.
50 tâches cognitives cartographiées et décodables
Bien que ces expériences soient impressionnantes, elles ne servent pas finalement seulement pour confirmer les connaissances acquises, qui confirment par une mesure objective ce que les scientifiques ont réussi à déchiffrer dans l’activité cérébrale. L’objectif est de comprendre comment les fonctions cognitives distribuées fonctionnent dans le cerveau. Cependant, ces expériences se concentrent sur des tâches très spécifiques.
Ainsi, l’équipe Inria-CEA Mind et le centre NeuroSpin en France se concentrent désormais sur un défi à la fois plus basique et plus complexe : “Apprendre à deviner ce que fait un sujet à un instant donné, sans rien présumer, juste à partir de données d’images », résume Bertrand Thirion. Avec son équipe, le chercheur a publié en avril dans Rapports scientifiques une liste de 50 tâches cognitives cartographiées et décodées : mouvements des orteils et des mains, gauche ou droite, reconnaissance des visages ainsi que des émotions faciales, calcul mental, prise de décision, reconnaissance de phrases, compréhension d’histoires…
“Nous avons démontré pour la première fois qu’un décodage entièrement ouvert, qui ne prédit aucune activité spécifique, nous permet de deviner grossièrement ce qu’une personne fait, mentalement ou réellement, parmi ces 50 activités cognitives. « Aussi inquiétante soit-elle, cette compréhension de plus en plus fine de l’activité cérébrale ouvre la voie à des applications encore difficilement imaginables. Tant que les finalités sont strictement scientifiques ou médicales, tout ira bien. Mais la possibilité de technologies capables de détecter le contenu conscient du cerveau et, grâce aux implants, de le modifier est à la fois fascinante et alarmante.
A la recherche de la neuroimagerie parfaite
Pour s’approcher au plus près des neurones actifs, les scientifiques disposent de deux techniques non invasives : l’IRM fonctionnelle, qui a une résolution spatiale de l’ordre du millimètre, permettant de découper finement le cerveau en environ un million de points ou des voxels (pixels 3D). ). En revanche, l’activité des neurones est captée indirectement, l’information est enregistrée avec un léger retard de deux ou trois secondes. C’est bien lorsque la personne est exposée à une image fixe, mais pas pour les transitions rapides qui se produisent lors de la compréhension du langage, par exemple.
C’est là que la magnétoencéphalographie (MEG) devient importante, car elle peut enregistrer des événements jusqu’à la milliseconde en se concentrant sur les ondes électromagnétiques émises par les neurones. D’autre part, la résolution spatiale du signal électrique capté par les électrodes sur le cuir chevelu déformé par la boîte crânienne est de taille centimétrique.
Pour atteindre une résolution millimétrique et une capture du signal à la milliseconde, des électrodes sont encore implantées dans le cerveau, en particulier chez les épileptiques équipés de dispositifs anti-épileptiques. Mais alors seule une petite zone est imagée et toute la vue du cerveau est perdue. En théorie, pour déchiffrer entièrement ce code neuronal, il faudrait disposer d’une technique qui couvre l’ensemble du cerveau, tout en ayant une résolution au neurone près et un temps d’acquisition des images de l’ordre de la milliseconde ; un jumeau numérique 4D presque évolutif.
À moins de trancher le cerveau à l’aide de la microscopie, il est encore impossible d’obtenir une telle résolution. Et pourtant, avec environ 100 milliards de neurones dans le cerveau, la quantité d’informations serait probablement écrasante.
