3. Expertises et thématiques

Expertises et thématiques

Les chercheurs de L’institut NUMEDIART concentrent leurs activités sur 5 axes :  la capture de mouvements, les espaces intelligents, la navigation multimédia, le traitement de la parole et du son, et la réalité virtuelle et augmentée. Au cœur de ces travaux, on retrouve un même objectif : mettre au point des systèmes intelligents permettant de créer ou d’interagir avec du contenu média (sons, paroles, textes, images, vidéos, gestes, 3D, etc.)

  • Axe 1: La capture de mouvements

A l’aide de divers capteurs (réseaux de caméras IR, caméras 3D, Capteurs IR, capteurs inertiels, tablettes tactiles, etc.), nous mesurons et analysons avec précision et en temps réel les gestes et mouvements humains :

  • Dans un but de reconnaissance, évaluation et/ou de comparaison de mouvements
  • Pour l’animation de personnages de synthèse, y compris par des transformations stylistiques.
  • Pour la synthèse sonore à partir du geste dans le cadre de performances augmentées, d’instruments augmentés, ou de nouvelles interfaces d’expression musicale

Notre force : explorer, améliorer voire créer des solutions commerciales (ou non commerciales) haut de gamme à partir de capteurs à moindre coût.

NUMEDIART est notamment à la base de la création d’un framework open-source appelé “MotionMachine” (www.motionmachine.org) qui propose des solutions intégrées et flexibles pour visualiser, représenter et transformer les données complexes de mouvement.

Cet axe de recherche est en partie financé via le projet DIGISENSE (Portefeuille de projets DIGISTORM)

  • Axe 2 : Les espaces intelligents

Les “espaces intelligents” sont des espaces dotés de senseurs (micros, caméras, capteurs IR, etc.) et d’une intelligence artificielle leur permettant de comprendre ce qu’y font leurs utilisateurs. Dans ce domaine, NUMEDIART propose une expertise dans :

  • Le « tracking » et l’interaction des personnes évoluant dans desespaces intérieurs
  • L’analyse de l’attention visuelle des utilisateurs basée sur des systèmes non-invasifs
  • La prédiction de l’attention visuelle des utilisateurs sur des images ou des vidéos, par l’utilisation d’algorithmes d’intelligence artificielle

Notre force : développer des applications (ludiques, médicales, muséales, etc…) capables de prédire et d’analyser l’attention et le degré de motivation de leurs utilisateurs.

NUMEDIART a mis en place un outil d’analyse de l’attention (Kinterest) basé sur une caméra 3D et permettant de mesurer en temps réel sur quel point d’un écran des utilisateurs posent leur regard.

Cet axe de recherche est en partie financé via le projet DIGISPACE (Portefeuille de projets DIGISTORM)

  • Axe 3 : La navigation multimédia

NUMEDIART dispose d’un savoir-faire dans le domaine de l’analyse et la compréhension automatique de contenus médias (qu’il s’agisse aussi bien de son que d’images, de dessins, ou encore de vidéos ou de gestes) et propose dans ce cadre de interactions homme-machine customisées et innovantes, basées sur l’intelligence artificielle.

Notre force : nos chercheurs sont capables de créer rapidement des applications créant des ponts entre plusieurs types de média.

Cet axe de recherche est en partie financé via le projet DIGIMIR (Portefeuille de projets DIGISTORM)

 

 

 

 

  • Axe 4: les technologies de la parole et du son

NUMEDIART développe des algorithmes propriétaires pour l’analyse, la transformation, la reconnaissance ou la synthèse de sons (parole, musique, bruits). Notre objectif est de créer des systèmes intelligents, qui comprennent le contenu des signaux pour les manipulent de manière optimale.

Notre force : nous avons directement contribué au développement de l’intelligence artificielle par réseaux de neurones profonds (deep neural nets : DNN) et sommes en contact avec plusieurs laboratoires de pointe dans le domaine.

Nous avons développé des solutions pour l’analyse acoustique du jeu de la guitare, la synthèse vocale et de voix chantée, le ralenti audio pour le sport, la reconnaissance vocale, ou encore la synthèse de signaux affectifs.

  • Axe 5: La réalité virtuelle et la réalité augmentée

La réalité virtuelle et augmentée est un domaine en pleine ébullition, que ce soit pour une expérience individuelle à travers un casque, ou pour une expérience collective  par projection. Notre activité s’oriente vers plusieurs axes principaux :

  • La projection de contenu multimédia/3D sur des surfaces complexes ou en mouvement, et en interaction avec des utilisateurs
  • L’utilisation de casques pour la réalité augmentée et virtuelle avec un positionnement optimisé des objets virtuels
  • La compréhension automatique d’espaces 3D réels pour la création rapide d’univers virtuels.

Notre force : nous disposons de notre propre logiciel de mapping sur des surfaces complexes, ce qui nous permet de le porter sur tout type de machine ; nous combinons VR/AR avec la capture de mouvements et prédiction de l’attention humaine.

NUMEDIART a mis en place un système de projection indoor sur les fenêtres de la Faculté Polytechnique de Mons (bâtiment « Collège de Houdain »). Cette installation a déjà été utilisée pour plusieurs mappings simples ou interactifs avec les visiteurs. Nous avons également réalisé un modèle 3D de la ville de Mons.