Soutenance de thèse de Auriane BOUDIN

Différents phénomènes jouent un rôle central dans le développement, la maintenance et la qualité des conversations. Parmi eux, le feedback est connu pour jouer un rôle central. Cette thèse propose une contribution expérimentale et théorique à la description du comportement des auditeurs et de leur production de feedback. À travers une approche interdisciplinaire, trois axes principaux sont développés. Le premier axe se concentre sur la création et l'annotation de corpus, dont le corpus SMYLE qui comprend des données audiovisuelles et neurophysiologiques. SMYLE rassemble 30 dyades de participants engagés dans la narration de trois histoires, suivie de quinze minutes de conversation libre. La tâche de narration comprend deux conditions expérimentales : une condition d'auditeur attentif et une condition d'auditeur distrait. Le deuxième axe aborde la modélisation computationnelle en développant un modèle hiérarchique pour prédire le feedback, multimodal et interprétable. Ensuite, nous proposons un modèle théorique de feedback utilisant une représentation en structure de traits. Ce modèle vise à décrire les feedbacks en termes de forme et de fonction tout en étudiant leurs interactions. Le troisième axe présente un travail expérimental. Une première étude explore la perception du feedback en fonction de son délai de production. Une deuxième étude analyse l'impact de la distraction de l'auditeur sur la production de feedback et la qualité de l'interaction. Enfin, une dernière étude exploratoire vise à définir les styles d'écoute, montrant l'alignement des styles entre les interlocuteurs.

Different phenomena play a central role in the development, maintenance, and quality of conversations. Among them, feedback is known to play a central role. This thesis proposes an experimental and theoretical contribution to the description of listeners' behavior and their feedback production. Based on an interdisciplinary approach, three main axes are developed. The first axis focuses on the creation and annotation of different corpora, including one created specifically for the needs of the thesis: the SMYLE corpus, comprising audiovisual and neurophysiological data. SMYLE involves 30 participant dyads engaged in narrating three stories, followed by fifteen minutes of free conversation. The narration task includes two experimental conditions: an attentive listener condition and a distracted listener condition. The second axis addresses computational modeling by developing a hierarchical model for predicting feedback, multimodal and interpretable. Next, we propose a theoretical feedback model using a feature structure representation. This model aims to describe feedback in terms of form and function while studying their interactions. The third axis presents an experimental work. A first study explores the perception of feedback based on its production delay. A second study analyzes the impact of listener distraction on feedback production and interaction quality. Finally, a third exploratory study aims to define listening styles, showing alignment of styles among interlocutors.