Soutenance de thèse de YAMASAKI Hiroyoshi
Titre de thèse
Dynamique neuronale de la compréhension, de la production et de la coordination en conversation naturelle
Neural Dynamics of Natural Conversation Comprehension, Production, and Coordination
Résumé de la thèse
Les neurosciences du langage ont traditionnellement étudié séparément la com- préhension et la production. Elle a permis de caractériser chaque processus en détail, mais laisse ouverte la question de leur fonctionnement pendant la conversation, lorsque les interlocuteurs écoutent, préparent leurs réponses et coordonnent leur temporalité. La conversation constitue ainsi un problème neurocognitif distinct, im- pliquant parallélisme temporel, coordination interpersonnelle et régulation de l'incer- titude.
Cette thèse étudie les dynamiques neurales de la conversation naturelle en face à face selon une approche naturaliste contrôlée, qui préserve l'interaction spontanée tout en permettant une modélisation précise de la parole et de l'activité cérébrale. Elle examine comment compréhension et production fonctionnent simultanément, comment le partenaire influence la préparation d'une réponse et si leur coordination repose sur des représentations neurales communes ou distinctes.
La partie empirique présente d'abord DUET, un jeu de données d'hyperscanning en double EEG recueilli auprès de dyades francophones réalisant une tâche collaborative au cours de huit blocs de conversation en face à face par dyade. Il associe EEG simul- tané, audio, transcriptions corrigées et caractéristiques acoustiques et linguistiques, et fournit un cadre réutilisable pour étudier la prise de tour et les dynamiques neurales de l'interaction réciproque.
La première étude EEG examine l'activité neurale pendant que les participants écoutent leur partenaire et préparent leur prochaine contribution. Deux processus pré-parole apparaissent. Un potentiel évoqué soutenu précoce, accompagné d'une modulation alpha, commence plus d'une seconde avant la parole et varie avec la durée de la réponse à venir, suggérant le maintien d'un plan de réponse. Une désynchronisa- tion alpha et bêta plus tardive apparaît dans les dernières centaines de millisecondes avant la parole, avec une distribution centrale de type moteur, suggérant une transi- tion vers l'exécution.
La deuxième étude EEG examine l'alignement du débit de parole. Le débit d'un participant est positivement prédit par celui du tour précédent de son partenaire, montrant une convergence locale. Avant la parole, l'activité neurale suit à la fois le débit perçu du partenaire et le débit que le participant s'apprête à produire, mais ces effets diffèrent par leur temporalité et leur distribution et partagent peu de variance expliquée. L'alignement comportemental s'accompagne donc de signatures neurales largement distinctes, soutenant un couplage sans identité représentationnelle.
Le dernier chapitre empirique examine si la conversation spontanée peut contri- buer à la cartographie clinique du langage chez des patients enregistrés en stéréo- électroencéphalographie. L'encodage conversationnel révèle des réponses différen-
4
ciées entre perception et production, et entre basses et hautes fréquences. Il retrouve une partie de la carte obtenue par la perception de syllabes et la dénomination d'images, tout en détectant des contacts frontaux et temporaux non identifiés par ces tâches, et localise des informations phonologiques, lexicales et grammaticales. La cartographie conversationnelle apparaît donc complémentaire aux procédures cliniques standard.
Dans l'ensemble, compréhension et production fonctionnent simultanément pen- dant la conversation, tout en restant distinctes dans leur organisation temporelle, spectrale et anatomique. Les interlocuteurs se coordonnent par convergence et ajus- tement complémentaire, tandis que la préparation de la réponse semble passer d'un maintien précoce à un engagement moteur tardif, transition qui pourrait correspondre à l'intervalle où la décision d'agir est résolue. Ces résultats présentent la conversation comme une activité neurocognitive intégrée, dans laquelle perception et action sont étroitement couplées sans former un processus unique.
Thesis resume
The neuroscience of language has traditionally studied speech comprehension and production separately. This has characterised each process in detail, but leaves open how they function during conversation, when interlocutors must listen, prepare their responses, and coordinate their timing. Conversation therefore constitutes a distinct neurocognitive problem, involving temporal parallelism, interpersonal coordination, and the regulation of uncertainty.
This thesis investigates the neural dynamics of natural face-to-face conversation through a controlled naturalistic approach, which preserves spontaneous interaction while allowing precise annotation and quantitative modelling of speech and brain activity. Rather than treating conversation as comprehension followed by production, it examines how these processes operate concurrently, how the partner's behaviour influences response preparation, and whether their coordination relies on shared or distinct neural representations.
The empirical work first presents DUET, a dual-EEG hyperscanning dataset collected from French-speaking dyads performing a collaborative task across eight face-to-face conversation blocks per dyad. It combines simultaneous EEG with audio, manu- ally corrected transcripts, speech segmentation, and derived acoustic and linguistic features, providing a reusable framework for studying turn-taking and the neural dynamics of reciprocal interaction.
The first EEG study examines neural activity while participants listen to their partner and prepare their next contribution. Two pre-speech processes emerge with different temporal profiles. An early sustained evoked potential, accompanied by alpha-band modulation, begins more than one second before speech and varies with the duration of the upcoming response, suggesting the maintenance of a response plan. A later alpha- and beta-band desynchronisation appears in the final hundreds of milliseconds before speech, with a central motor-like distribution, suggesting a transition towards execution.
The second EEG study examines conversational speech-rate alignment. A par- ticipant's speech rate is positively predicted by that of their partner's immediately preceding turn, demonstrating local convergence. Before speech, neural activity tracks both the partner's perceived rate and the rate the participant is preparing to produce, but these effects differ in timing and scalp distribution and share little explained vari- ance. Behavioural alignment therefore accompanies largely distinct neural signatures of perception and production, supporting coupling without representational identity.
The final empirical chapter examines whether spontaneous conversation can con- tribute to clinical language mapping in patients recorded with stereoelectroencephalo- graphy. Conversational encoding reveals widespread but differentiated responses
6
between perception and production, and between low-frequency potentials and high- frequency activity. It recovers part of the cortical map obtained through syllable perception and picture naming, while also detecting frontal and temporal contacts missed by these conventional tasks, and feature-based models further localise phono- logical, lexical, and grammatical information. Conversational mapping therefore appears complementary to standard clinical procedures rather than a replacement.
Overall, comprehension and production operate concurrently during conversation while remaining distinct in their temporal, spectral, and anatomical organisation. Interlocutors coordinate through both convergence and complementary adjustment, while response preparation appears to shift from early maintenance to late motor commitment, a transition that may correspond to the interval in which the decision to act is resolved. These findings present conversation as an integrated neurocognitive activity in which perception and action are tightly coupled without forming a single shared process.