Avatars expressifs

Description

Le travail portera sur le retargeting précis des expressions audiovisuelles d’un utilisateur sur un avatar. En effet, l’état de l’art actuel contient des problèmes de précision de détection et d’accumulation d’erreurs à traiter et, à notre connaissance, les problèmes de retargeting pour la modalité audio sont négligés puisque les quelques travaux sur le sujet se concentrent uniquement sur le visuel. La thèse sera divisée en deux objectifs. D’une part, elle se concentrera sur l’amélioration des systèmes de détection des expressions audiovisuelles dans le contexte d’application XR avec et sans occlusions (présence ou absence d’un HMD pour des scénarios tels que les réunions virtuelles). D’autre part, il s’agira d’explorer des techniques de retargeting flexibles permettant de faire correspondre différents utilisateurs à différents avatars de la manière la plus transparente possible.

L’objectif est ici de représenter le mieux possible l’utilisateur qui contrôle l’avatar et d’exprimer son intention de communication de la manière la plus précise possible. La manière la plus intuitive d’y parvenir serait de détecter automatiquement les expressions de l’utilisateur et de les recibler sur son avatar. Cela pose différents problèmes en fonction des supports : occlusions dues aux dispositifs montés sur la tête, limitations des technologies de retargeting l’humain à l’avatar, etc. On trouve dans la littérature des travaux qui s’attaquent à ces problèmes [1,2]. Mais il y a encore beaucoup de place pour l’amélioration en raison de problèmes tels que les limites des systèmes de détection d’expression, l’accumulation d’erreurs dans le processus de re-target, le manque de flexibilité des méthodes retargeting, et la prise en compte de la multimodalité dans ces systèmes (ils sont actuellement principalement axés sur les expressions faciales).

[1] Purps, C.F., Janzer, S., Wölfel, M. (2022). Reconstructing Facial Expressions of HMD Users for Avatars in VR. In: Wölfel, M., Bernhardt, J., Thiel, S. (eds) ArtsIT, Interactivity and Game Creation. ArtsIT 2021. Lecture Notes of the Institute for Computer Sciences, Social Informatics and Telecommunications Engineering, vol 422. Springer, Cham. https://doi.org/10.1007/978-3-030-95531-1_5
[2] J. Zhang, K. Chen and J. Zheng, « Facial Expression Retargeting From Human to Avatar Made Easy, » in IEEE Transactions on Visualization and Computer Graphics, vol. 28, no. 2, pp. 1274-1287, 1 Feb. 2022, doi: 10.1109/TVCG.2020.3013876.