Soutenance publique de thèse de doctorat en informatique - Liesbet DE VOS

Soutenance publique de thèse de doctorat en informatique - Liesbet DE VOS "SignFCG : A Framework for Operationalising Sign Language Constructions in Computational Construction Grammar"

Abstract :

Sign languages express meaning through sequentially and simultaneously produced manual and non-manual articulations, making them structurally different from spoken languages. However, many linguistic theories remain biased towards spoken language structures. An exception is construction grammar, a linguistic theory which analyses language through form-meaning mappings that can involve manual and non-manual articulations and can combine specific and schematic structures. While construction grammar is increasingly used to describe sign language constructions theoretically, computational implementations remain sparse, limiting its systematic application to corpora. The theoretical applicability of construction grammar to signed languages, however, does not guarantee that the theory can be computationally operationalised, which introduces challenges in representation and processing. This thesis addresses these challenges by introducing SignFCG, an extension of Fluid Construction Grammar (FCG). SignFCG introduces phonetic representations of manual articulations that account for their sequential and simultaneous organisation. It also provides avatar visualisations for signed forms and tools to transform linguistic annotations into the proposed format. To investigate the types of constructions that can be operationalised for a restricted domain of French-Belgian Sign Language (LSFB), a computational grammar comprising 904 constructions was manually developed using GeoQuery-LSFB, an extension of the multilingual GeoQuery corpus created as part of this thesis. The grammar was evaluated in comprehension and production, achieving high coverage. A user study based on semi-structured interviews with sign language researchers identified perceptions of SignFCG’s usability and potential adoption. Participants identified promising applications, including exploring and formalising constructions and studying constructional variation across contexts. The user study also identified a need for greater flexibility in SignFCG’s form representation, which may require varying levels of detail to answer different research questions. The contributions of this thesis are situated at the intersection of sign language linguistics research, construction grammar, and computational linguistics. For construction grammar, it demonstrates how constructional principles can be operationalised for the visual-gestural modality and how the combination of specific and schematic structures within constructions can facilitate this. For computational linguistics, it demonstrates the feasibility of bidirectional processing between manually signed forms and structured meanings within a restricted domain, while providing resources for further research. Extending FCG to signed languages also provides a basis for exploring other computational research areas in which FCG has been applied.

 

Résumé : 

 

Les langues des signes expriment le sens à travers des productions manuelles et non manuelles qui sont produites de manière séquentielle et simultanée, ce qui fait qu’elles difèrent structurellement des langues vocales. Cependant, de nombreuses théories linguistiques restent biaisées en faveur des structures des langues vocales. Une exception à cela est la grammaire de constructions, une théorie linguistique qui analyse les langues à travers leurs associations de forme et de sens, lesquelles peuvent impliquer des articulations manuelles et non manuelles et combiner des structures spécifiques et schématiques. Bien que la grammaire de constructions soit de plus en plus utilisée pour décrire théoriquement les constructions des langues des signes, les implémentations computationnelles restent rares, ce qui limite son application systématique à des corpus. L’applicabilité théorique de la grammaire de constructions aux langues des signes ne garantit toutefois pas que cette théorie puisse être opérationnalisée computationnellement, ce qui soulève des défis en matière de représentation et de traitement. Cette thèse aborde ces défis en introduisant SignFCG, une extension de Fluid Construction Grammar (FCG). SignFCG introduit des représentations phonétiques pour les articulations manuelles des langues des signes, en tenant compte de leur organisation séquentielle et simultanée. En plus, SignFCG fournit des visualisations d’avatar pour les formes signées, ainsi que des outils pour transformer des annotations linguistiques vers le format proposé. Afin d’étudier les types de constructions qui peuvent être opérationnalisés pour un domaine restreint de la Langue des Signes de Belgique Francophone (LSFB), une grammaire computationnelle se composant de 904 constructions a été développée manuellement à partir de GeoQuery-LSFB, une extension du corpus multilingue GeoQuery créée dans le cadre de cette thèse. La grammaire a été évaluée en compréhension et en production, atteignant une couverture élevée. Une étude utilisateur, basée sur des entretiens semi-structurés avec des chercheurs en langues des signes, a permis d’identifier leurs perceptions de l’utilisabilité de SignFCG et de son adoption potentielle. Les participants ont identifié plusieurs applications prometteuses, notamment l’exploration et la formalisation de constructions ainsi que l’étude de la variation constructionnelle selon différents contextes. L’étude utilisateur a également identifié un besoin de plus grande flexibilité dans la représentation des formes proposée par SignFCG, différents niveaux de détail pouvant être nécessaires pour répondre à différentes questions de recherche. Les contributions de cette thèse se situent à l’intersection de la recherche linguistique sur les langues des signes, de la grammaire de constructions et de la linguistique computationnelle. Pour la grammaire de constructions, elle démontre comment les principes constructionnels peuvent être opérationnalisés pour la modalité visuo-gestuelle et comment la combinaison de structures spécifiques et schématiques au sein des constructions peut faciliter cette opérationnalisation. Pour la linguistique computationnelle, elle démontre la faisabilité d’un traitement bidirectionnel entre les formes signées manuellement et les représentations sémantiques structurées dans un domaine restreint, tout en fournissant des ressources pour de futures recherches. L’extension de FCG aux langues des signes fournit également une base pour explorer d’autres domaines de recherche computationnelle dans lesquels FCG a déjà été utilisé.

 

Contact : Sara Medugno - sara.medugno@unamur.be
Télecharger : vCal