Reciblage des Expressions sur des Avatars pour les Interactions Homme-Agent et les Applications de Réalité Etendue

L’un des principaux piliers de la révolution industrielle actuelle est la réalité étendue. Ce sujet a suscité beaucoup d’intérêt tant dans le monde universitaire que dans l’industrie (Meta, Apple, Google, Nvidia, etc.), en raison de son impact socioculturel et économique potentiel.

Dans le cadre du projet collaboratif Wal4XR, qui regroupe 5 universités de Wallonie et de Bruxelles autour des XR, cette thèse portera sur l’amélioration du reciblage des expressions audiovisuelles d’un utilisateur sur un avatar 3D. La thèse aura deux objectifs principaux. D’une part, elle se concentrera sur l’amélioration des systèmes de détection d’expressions audiovisuelles dans le contexte des applications XR avec et sans occlusions (présence ou absence d’un Head Mounted Display pour des scénarios tels que les réunions virtuelles). D’autre part, l’objectif est d’explorer des techniques de reciblage robustes et généralisables pour faire correspondre différents utilisateurs à différents avatars de la manière la plus transparente possible.

L’objectif est ici de représenter l’utilisateur qui contrôle l’avatar de la manière la plus précise possible et d’exprimer son intention de communication de la manière la plus précise possible. La manière la plus intuitive d’y parvenir serait de détecter automatiquement les expressions de l’utilisateur et de les recibler sur l’avatar. Cela pose divers problèmes en fonction du support : occlusions dues aux dispositifs montés sur la tête, limitations des technologies de reciblage de l’humain à l’avatar, etc. Il existe des travaux intéressants et prometteurs dans la littérature qui s’attaquent à ces problèmes [1,2]. Mais il y a encore beaucoup de place pour l’amélioration en raison de problèmes tels que les limites des systèmes de détection d’expressions, l’accumulation d’erreurs dans le processus de reciblage, le manque de flexibilité des méthodes de reciblage et la nécessité de prendre en compte la multimodalité dans ces systèmes (ils sont actuellement principalement axés sur les expressions faciales).

[1] Purps, C.F., Janzer, S., Wölfel, M. (2022). Reconstructing Facial Expressions of HMD Users for Avatars in VR. In: Wölfel, M., Bernhardt, J., Thiel, S. (eds) ArtsIT, Interactivity and Game Creation. ArtsIT 2021. Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, vol 422. Springer, Cham. https://doi.org/10.1007/978-3-030-95531-1_5
[2] J. Zhang, K. Chen and J. Zheng, “Facial Expression Retargeting From Human to Avatar Made Easy,” in IEEE Transactions on Visualization and Computer Graphics, vol. 28, no. 2, pp. 1274-1287, 1 Feb. 2022, doi: 10.1109/TVCG.2020.3013876.