Soutenance publique de thèse de doctorat en informatique - Pierre POITIER

Soutenance publique de thèse de doctorat en informatique - Pierre POITIER

ENGLISH:

Deep learning has become a central part of everyday life, and has given us powerful digital tools such as machine translators, voice assistants, and large language models. The Deaf communities, however, benefit very little from this progress. Sign languages are full natural languages, but they have no widely used written form, so the large text corpora and pretrained models that support these tools for spoken languages have no direct equivalent. As a result, sign language processing is held back by two related problems: a persistent shortage of annotated data, and a lack of tools to analyze the languages themselves.

This thesis focuses on one component of the sign language processing pipeline that has received comparatively little attention: sign language segmentation, the temporal partitioning of a continuous signing video into individual sign units. Segmentation sits between raw video and almost every symbolic task built on top of it, yet it remains poorly understood. The goal of this work is twofold: to advance the segmentation task itself, and to turn sign language processing research into tools that are usable by the Deaf community, with French Belgian Sign Language (LSFB) as the main setting.

The central contribution of this thesis is a set of segmentation models. We first study approaches based on recurrent neural networks, and show that their main difficulty lies in the modeling of the transitions between signs, the brief ambiguous movements that separate one sign from the next and that are easily confused with the signs themselves. This insight motivates the Hydra framework, a new approach that detects each sign as a whole unit rather than deciding, frame by frame, whether a sign is being produced. Concretely, instead of classifying every frame, the model predicts the distance from each frame to the nearest sign boundaries, which makes it less sensitive to the ambiguous regions and improves consistently over prior methods. Around this core, we present further contributions: a sign language-to-text dictionary that recognizes signs from an ordinary webcam, supporting work on isolated sign recognition, and a collaborative platform that gathers new sign data as a side effect of everyday use. Together, these contributions narrow the gap between sign language processing research and the people whose language it concerns.

FRANCAIS:

Le deep learning occupe aujourd'hui une place centrale dans la vie quotidienne et nous a fourni des outils numériques puissants, tels que les traducteurs automatiques, les assistants vocaux et les modèles de langage (LLMs).

Les communautés sourdes, en revanche, ne bénéficient que très peu de ces avancées. Les langues des signes sont des langues naturelles à part entière, mais elles ne disposent pas de forme écrite d'usage courant.

En effet, les grands corpus textuels et les modèles pré-entraînés qui rendent ces outils possibles pour les langues orales n'ont donc pas d'équivalent direct. En conséquence, le traitement des langues des signes est freiné par deux problèmes liés : une pénurie persistante de données annotées et un manque d'outils pour analyser les langues elles-mêmes.

Cette thèse se concentre sur une composante de la chaîne de traitement des langues des signes qui a reçu comparativement peu d'attention : la segmentation des langues des signes, c'est-à-dire le découpage temporel d'une vidéo continue en langage des signes en unités de signe individuelles. La segmentation se situe entre la vidéo brute et presque toutes les tâches symboliques qui s'appuient sur elle, et reste pourtant mal comprise. L'objectif de ce travail est double : faire progresser la tâche de segmentation elle-même, et transformer la recherche en traitement des langues des signes en outils utilisables par la communauté sourde, avec la langue des signes de Belgique francophone (LSFB) comme cadre principal.

La contribution centrale de cette thèse est un ensemble de modèles de segmentation. Nous étudions d'abord des approches fondées sur les réseaux de neurones récurrents et montrons que leur principale difficulté réside dans la modélisation des transitions entre les signes, ces brefs mouvements ambigus qui séparent un signe du suivant et que l'on confond facilement avec les signes eux-mêmes. Ce constat motive le framework Hydra, une nouvelle approche qui détecte chaque signe comme une unité entière plutôt que de décider, frame par frame, si un signe est en cours de production. Concrètement, au lieu de classifier chaque frame, le modèle prédit la distance entre chaque frame et les frontières de signe les plus proches, ce qui le rend moins sensible aux régions ambiguës et améliore les résultats de manière constante par rapport aux méthodes antérieures. Autour de cette contribution centrale, nous présentons d'autres contributions : un dictionnaire langue des signes vers le français qui reconnaît les signes à partir d'une simple webcam, des travaux connexes sur la reconnaissance de signes isolés, et une plateforme collaborative qui collecte de nouvelles données, de nouveaux signes en LSFB, comme effet secondaire d'un usage quotidien. Ensemble, ces contributions réduisent l'écart entre la recherche en traitement des langues des signes et les communautés sourdes.

Contact : Sara Medugno - sara.medugno@unamur.be
Télecharger : vCal