Nous vous proposons un petit aperçu de notre travail via des démonstrations et vidéos de projets.

• Pour voir les démonstration liés à nos projets : cliquez ici
• Pour voir les performances et installations auxquelles nous avons collaboré : cliquez ici
• Pour voir les vidéos liées à l’enseignement : cliquez ici
• Pour voir les vidéos du CLICK’ Living Lab : cliquez ici
• On parle de nous dans la presse : cliquez ici

N’hésitez pas à nous suivre sur notre compte www.vimeo/numediart

Projets étudiants

2017

Domogrid

Charles Dehombreux, Yannick Molle & Vincent Stragier
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2 en 2017

LightBag

Francois JANCYS, Romain MORLEGHEM & Florian PIRAS
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3 en 2017

HoloEscape

Adrien Coppens
Prix pour la meilleure vidéo d’un projet «créactif» de FS/Info/MA en 2017

2016

Motion Dancing Puppet

Thuy-Hai Nguyen et Paul Vanderlest
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2 en 2016

PrintMotion

Sophie Aubry et Henri Koch
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3 en 2016

NaoMazeSolver

Emilien Peretti
Prix pour la meilleure vidéo d’un projet «créactif» de FS/Info/MA1 en 2016

2015

OrMotion

Véronique GEORLETTE et François MARELLI
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2

SketchTogether

Benoît Masson & Noé Tits,BA3
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3

Domotinect

Simon Parmentier
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FS/MA1

Description

L’Intelligence Artificielle (IA), et notamment ses composantes Machine Learning (ML) et Deep Neural Nets (DNN) connaît un engouement et des succès considérables dans de très nombreux domaines applicatifs. Citons l’aéronautique, les transports, la santé, la finance, l’IT.

Différents services d’Enseignement et de Recherche de la Faculté Polytechnique et de la Faculté des Sciences, soutenus par les Instituts de Recherche de l’UMONS Numediart et InforTech, proposent un Certificat d’Université Intelligence Artificielle (Hands on AI) constitué d’un module d’enseignements de 5 crédits dispensé en soirée et d’un module de 5 crédits de type « workshop » dispensé sur un week-end.

Infos et inscriptions : cliquez ici 

Innovation et développement de projets transmédia

Le transmédia s’est d’abord développé chez les créateurs et les producteurs des industries créatives mais d’autres secteurs ne peuvent plus en ignorer la plus-value.

Le marketing, l’éducation, le tourisme ou l’architecture (pour n’en citer que quelques-uns) peuvent également en tirer un bénéfice important. En effet, le transmédia renvoie avant tout à un univers narratif décliné sur différents supports médiatiques. Ces derniers constituent autant de points d’entrée dans l’univers en question. Plus l’univers narratif est riche et pensé en phase avec l’intégration des plateformes technologiques, plus l’expérience des usagers et donc leur implication sera forte.

La Faculté Polytechnique de Mons (UMONS) a lancé, en collaboration avec L’Ecole Polytechnique de Louvain (UCL), la Faculté des Sciences Economiques, Sociales, Politiques et de Communication (UCL), la Louvain School of Management (UCL) et l’Institut des arts et de diffusion, un certificat interuniversitaire sur l’innovation et le développement de projets transmédia. Les cours se donnent en soirée à Charleroi à partir d’octobre 2017 à raison d’une fois par semaine (le jeudi soir).

Les atouts du programme

• Un programme unique et innovant en Belgique ;
• L’apprentissage se fait par projet, avec un encadrement théorique et pratique ;
• Ce certificat est multidisciplinaire, deux universités et une école supérieure des arts s’associent, ainsi que des experts de terrain ;
• La formation fournit tous les outils pour l’incubation de projets afin de s’adapter à la réalité de terrain
• Les cours se donnent au Quai 10, un lieu propice à l’innovation transmédia, avec le soutien de l’Université Ouverte.

Les objectifs

L’objectif du certificat en « Innovation et développement de projets transmédia » est d’amener les participants à concevoir des projets finançables d’univers narratifs tirant le meilleur parti des différentes plateformes technologiques, permettant des expériences riches pour les utilisateurs et s’adaptant aux enjeux de différents secteurs professionnels.

À la fin de la formation, vous serez capable de :

• Imaginer, mettre en place, réaliser et produire des projets transmédia originaux et pertinents ;
• Élaborer un monde narratif et le décliner dans un univers transmédia ;
• Comprendre les évolutions technologiques et contextuelles liées au transmédia ;
• Comprendre et analyser les enjeux économiques des projets transmédia, choisir une stratégie et un business model qui leur sont adaptés ;
• Identifier et mobiliser des ressources financières ;
• Proposer une stratégie marketing intégrée ;
• Travailler en équipe et connaître les enjeux des différents métiers impliqués dans les projets transmédia ;
• Développer les projets transmédia via une approche centrée utilisateur adaptée.

Pour qui ?

Les professionnels voulant être accompagnés pour conceptualiser un projet transmédia adapté à leur secteur d’activité et à leur entreprise.

Les étudiants de Master des établissements partenaires voulant être stimulés dans leur démarche d’innovation et entrer en contact avec les industries créatives.

Conditions d’admission, organisation pratique, programme etc

Téléchargez la brochure du certificat Transmédia

« CRéACTIFS! » est une série de 6 ateliers destinés aux étudiants de l’UMONS et du Pôle hainuyer (et par extension au public de Creactive Valley) qui souhaitent découvrir les technologies créatives. Ces ateliers gratuits sont proposés en soirée (de 18h00 à 20h00) et, pour ce qui est des ateliers “Processing”- “PureData” et “Arduino”, ne demandent pas de pré-requis particuliers. Chacun de ces ateliers peut être suivi séparément, sans avoir suivi les autres. D’un point de vue pratique, nous demandons au étudiants « CRéACTIFS! » de venir aux cours avec leur propre ordinateur portable.

Les ateliers « CRéACTIFS! » sont ouverts à tous et organisés avec le soutien de Creative Valley. Les cours d’introduction (Processing basique et Arduino) sont accessibles aux étudiants de secondaire.

Veuillez noter que la séance de présentation des ateliers « Créactifs! » est organisée le lundi 9 octobre 2017 – De 18h00 à 20h00 – Salle Académique – Boulevard Dolez n°31 à Mons. Le contenu des cours et les modalités d’inscriptions y seront détaillés !

Liste des cours « CRéACTIFS! » proposés en 2017

Les étudiants « CRéACTIFS! » ont accès au laboratoire NUMEDIART, dans lequel les chercheurs de l’Institut développent leurs projets de recherche, en collaboration avec des artistes et des industriels. Le FabLab Mons fait également partie des infrastructures qui sont mises à la disposition des étudiants.

Suivez-nous sur la page Créactifs!

Ressources pour les ateliers Créactifs !

2017

Domogrid

Charles Dehombreux, Yannick Molle & Vincent Stragier
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2 en 2017

LightBag

Francois JANCYS, Romain MORLEGHEM & Florian PIRAS
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3 en 2017

HoloEscape

Adrien Coppens
Prix pour la meilleure vidéo d’un projet «créactif» de FS/Info/MA en 2017

2016

Motion Dancing Puppet

Thuy-Hai Nguyen et Paul Vanderlest
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2 en 2016

PrintMotion

Sophie Aubry et Henri Koch
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3 en 2016

NaoMazeSolver

Emilien Peretti
Prix pour la meilleure vidéo d’un projet «créactif» de FS/Info/MA1 en 2016

2015

OrMotion

Véronique GEORLETTE et François MARELLI
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2

SketchTogether

Benoît Masson & Noé Tits,BA3
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3

Domotinect

Simon Parmentier
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FS/MA1

NUMEDIART  a aussi pour mission d’assurer des activités de formation dans le domaine des technologies créatives.

.

Publications of the Institute for New Media Art Technology (Numédiart)

(30 derniers éléments) –  #todo faire appel au webservice pour afficher les 30 dernières publications

• Consulter la liste complète (avec liens vers les textes intégraux disponibles) –
• Télécharger la liste complète en PDF

The institute has a large performance area, equipped with stage lighting and an 8.1 surround sound system. This space is equipped for motion capture (Animazoo IGS, Optitrack, and Qualisys systems), eye tracking (FaceLab system) and GPU nodes for the training of deep neural networks.

CBBL is an Interreg project, led by UMONS through the NUMEDIART Institute, the objective of which is to set up a network of Cross Border Living Labs based on existing physical structures, partly in the three regions concerned by the project, on topics related to digital creativity.

The CBBL project is primarily aimed at cultural and creative industries, which are a strategic sector in Wallonia (Creative Wallonia programme), as well as in France (digital images and cultural industries as a strategic area of activity in Nord-Pas de Calais) and in Flanders (with the design sector).

Created as part of the ERDF DIGISTORM project, CLICK’ is the Walloon Living Lab dedicated to technologies and creative industries. At the heart of the creative Walloon ecosystem and benefiting from the expertise of the NUMEDIART Institute (UMONS), CETIC and Multitel, CLICK’ is the chosen partner for project owners wishing to develop innovative products and services. CLICK’s methodology includes exploration, experimentation and evaluation, in the lab and in the field, and is based on co-creation and feedback from the target audience (user-experience) >> www.clicklivinglab.org

Since May 2015, through NUMEDIART and HUMANORG, UMONS has been in charge of DigiSTORM, a portfolio of ERDF projects co-funded by the European Union and the Région wallonne.

The objective of this portfolio is to develop relationships and collaborations between companies, R&D centres and higher education institutions, particularly through launching the Creative Industries Living Lab in Wallonia, in order to encourage the creation of ICC businesses (Creative and Cultural Industries) and the development of existing economic entities.

FIRST spin-offs have sparked many entrepreneurial vocations among researchers at NUMEDIART in recent years.

Current projects include:

• Mapin, which focuses on the low cost creation of 3D mapping solutions from video retroprojection.
• vCycle, which uses and adapts deep learning methods to simplify searches in image banks. 
• Tangerine, which facilitates and promotes the learning of programming through tangible (non-virtual) games.
• EGC, which establishes an automatic recognition tool for playing guitar, focusing on the links between the notes and expressiveness.    

The Institute has been very productive regarding the number of spin-offs launched in recent years.

One of the early spin-offs is Acapela, a company that offers solutions for speech synthesis.

More recently, NUMEDIART has seen Hovertone and Ittention become independent entities:

• Hovertone (www.hovertone.com) offers services for the creation of innovative interactive experiences.
• Ittention (www.ittention.com) offers vision predication solutions for graphic design and communication professionals.

In the unstable geostrategic context that we know, the need for video surveillance is obvious in both public (stations, airports, etc.) and private structures (supermarkets, etc.). The objective of this project is to provide a robust brick to re-identify an unlimited number of people and/or objects for video surveillance purposes. This generic module makes it possible to track a person in the long term, even on images from several cameras.

IGLU – Interactive Grounded Language Understanding

Natural language is one of the most unique abilities of our species. Research on grounded language understanding is a real challenge in the field of artificial intelligence.  The project brings together scientists from 8 partner institutions (including UMONS), experts in speech and language technologies, deep learning, neuro-morphic computing, affective computing and developmental robotics.

The objective of the ParkAR project is to carry out research and develop innovative solutions to achieve interactions in augmented reality with small groups of people.

Augmented reality requires consistency of virtual content and the surrounding real space through specialised glasses such as the high-profile Microsoft HoloLens. While the development of augmented reality for a single individual has been widely explored by manufacturers of glasses and visualisation headsets, group interaction of individuals in a common physical space remained unexplored until the implementation of this project, which brings together two universities (including UMONS through the NUMEDIART Institute) and an industrial partner (Alterface SA).

NUMEDIART is one of the partners of this Région wallonne project, which aims to develop algorithms based on machine learning for video data processing systems and the transmission of sports competitions. The idea is to provide assistance and automation in the annotation and editing of content for broadcasting and semi-live production.

The Institute essentially develops its activities through collaborative research projects.

These projects:

• Are based on interdisciplinarity
• Prioritise collaborative research and co-development
• Rely on partnerships with all sectors of society (industries, services, research centres, governmental institutions, etc.)
• Bring together provincial, regional, federal, European and international partners.

The Institute is active in setting up research projects, with its partners, which respond to the emerging problems linked to the Institute’s field.

Below you can find a list of some key projects, which highlight some of the issues our researchers tackle.

NUMEDIART boasts internationally recognised expertise in deep learning and computational attention. These tools are now experiencing considerable growth and are the reason for the revival of artificial intelligence. They are at the heart of most of the work carried out within the Institute, which can be categorised around 5 main axes:

• Motion capture (MOCAP) and analysis of the resulting data:

These analyses can be carried out for the purpose of recognition, evaluation and/or comparison of movements, for the animation of synthetic characters and for the gesture control of sound synthesis.

• Smarts spaces:

Expertise in the “tracking” and interaction of people in indoor spaces, in the analysis of visual attention based on non-invasive systems, and in the prediction of visual attention on images and videos using artificial intelligence algorithms.

• Understanding and navigating multimedia data:

NUMEDIART has unique expertise and algorithms in the field of the analysis and automatic understanding of media content and, in this framework, offers customised and innovative human-machine interactions

• Natural human-computer interaction and voice technologies :

NUMEDIART develops cutting-edge research into voice technologies, resulting in algorithms for voice analysis, transformation, recognition and synthesis. As well as voice analysis, non-verbal and expressive behaviours are also studied to facilitate interaction with the user or to influence their mood. This is the domain of affective computing.

• Virtual reality and augmented reality:

Projection of multimedia/3D content onto complex or moving surfaces, in interaction with users; use of headsets for augmented and virtual reality with optimised positioning of virtual objects; automatic understanding of real 3D spaces for the rapid creation of virtual worlds.

NUMEDIART’s activities fall within the theme of Cultural and Creative Industries (ICC), representing 4.3% of EU GDP, and bringing together different markets associated with visual and performing arts, video games, music, cinema, architecture, and advertising. The integration of technology into these markets has grown in recent years, particularly due to the introduction of digital intelligence.

The institute also contributes to applied research and the creation of new activities in the creative industries sector by relying on the expertise of 13 research units in areas as diverse as audio and visual signal processing, electronics, architecture, computer science, and management. NUMEDIART has many collaborations in Europe and Canada with digital arts schools, the creative industries sector, and universities and research centres which focus their research in this domain.

Effective member services of the Research Institute :

L’institut dispose d’un grand espace de type performatif, équipé d’éclairages de scène et d‘une sonorisation 8.1. Cet espace est équipé pour la capture de mouvements (systèmes Animazoo IGS, Optitrack, et Qualisys) et du regard (système FaceLab) ainsi que de nœuds de calcul GPU pour l’entrainement de deep neural nets.

Publications de l’Institut NUMEDIART pour les Technologies des Arts Numériques (Numédiart)

(30 derniers éléments) –  #todo faire appel au webservice pour afficher les 30 dernières publications

• Consulter la liste complète (avec liens vers les textes intégraux disponibles) –
• Télécharger la liste complète en PDF

Services membres effectifs de l’Institut de Recherche :

CBBL est un projet Interreg dont L’UMONS est chef de file, via l’institut NUMEDIART. L’objectif du projet est de mettre en place un réseau de living labs transfrontalier (Cross Border Living Labs) en s’appuyant sur les structures physiques existantes en partie dans les trois régions concernées par le projet, dans les thématiques liées à la créativité numérique.

Le projet CBBL vise en premier lieu les industries culturelles et créatives, qui sont un secteur stratégique en Wallonie (programme Creative Wallonia) mais également en France (images numériques et industries culturelles en tant que domaine d’activité stratégique en Nord-Pas de Calais) et en Flandre (avec le secteur du design).

>> www.crossborderlivinglabs.eu 

Le CLICK’ accompagne les porteurs de projet (industriels, startups et artistes) afin de les aider à faire émerger des produits ou services innovants.  L’objectif : démontrer la faisabilité d’un projet et/ou réaliser un prétotype solide permettant au porteur de projet de passer aux premières phases de mise sur le marché.

En tant que Living Lab, le travail du CLICK’ s’articule autour de 2 grands principes :un travail en co-création avec un réseau d’experts technologiques et non technologiques et la recherche d’adéquation avec les attentes du public visé (User Experience)

Le CLICK’ bénéficie de l’expertise technique de plus de 50 chercheurs/ingénieurs travaillant au sein de trois structures reconnues : l’Institut NUMEDIART (Institut de recherche pour les technologies créatives de l’Université de Mons, le CETIC et Multitel

Le CLICK’ est une initiative soutenue par la Région wallonne et le FEDER (portefeuille DIGISTORM).

Plus d’informations :  www.clicklivinglab.org

Depuis mai 2015, l’UMONS (via l’Institut NUMEDIART et l’Institut HUMANORG) est chef de file d’un portefeuille de projets FEDER  et co-financé par l’Union Européenne et la Région Wallone  dont le nom est DIGISTORM.

’objectif de ce portefeuille est le développement des liens et synergies entre entreprises, centres de R&D et enseignement supérieur, notamment grâce à la mise en place, via le projet DIGILIABS, du living lab wallon des industries créatives (le CLICK‘)  , pour favoriser la création de nouvelles entreprises ICC (Industries Créatives et Culturelles) et le développement des entités économiques préexistantes.

Chaque année, un ou plusieurs projets pilotes sont menés par les partenaires de DigiSTORM, pour déboucher sur des projets tiers, à l’initiative d’acteurs ICC et avec le soutien du living lab. Ces projets sont alimentés en technologie par les équipes de recherche de l’institut NUMEDIART avec un soutien de centres de recherche MULTITEL et CETIC (via les projets DIGIMIR, DIGISPACE et DIGISENSE) ; ils reçoivent également un soutien entrepreneurial par La Maison de l’Entreprise (LME) et par l’Institut HumanORG (UMONS), et la formation continue des personnes qui y sont attachées sera assuré par Technocité. Les projets sont orientés « développement urbain » (musées 2.0, eTourisme, Spectacles urbains, etc.).

L’UMONS est également un des partenaires fondateurs du HUB Créatif du Cœur de Hainaut (Creative Valley). Le portefeuille DigiSTORM va permettre de poursuivre et de développer l’action passée de NUMEDIART dans le domaine des ICC, avec cette fois un positionnement fort dans le partenariat du HUB, et une mission entrepreneuriale explicite. Les indicateurs de performance annoncés prennent donc cette fois en compte non seulement la qualité des recherches mais aussi le nombre d’emplois créés à terme.

Un bâtiment pour le projet Digilabs

La construction d’un bâtiment est également prévue sur le Parc Initialis pour héberger UMONS et LME à proximité des bureaux de Technocité, et accentuer les synergies avec les entreprises de la Digital Innovation Valley (projet DIGICAMPUS)

Les partenaires DIGISTORM

2017

Domogrid

Charles Dehombreux, Yannick Molle & Vincent Stragier
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2 en 2017

LightBag

Francois JANCYS, Romain MORLEGHEM & Florian PIRAS
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3 en 2017

HoloEscape

Adrien Coppens
Prix pour la meilleure vidéo d’un projet «créactif» de FS/Info/MA en 2017

2016

Motion Dancing Puppet

Thuy-Hai Nguyen et Paul Vanderlest
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2 en 2016

PrintMotion

Sophie Aubry et Henri Koch
Prix pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3 en 2016

NaoMazeSolver

Emilien Peretti
Prix pour la meilleure vidéo d’un projet «créactif» de FS/Info/MA1 en 2016

2015

OrMotion

Véronique GEORLETTE et François MARELLI
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FPMs/BA2

SketchTogether

Benoît Masson & Noé Tits,BA3
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FPMs/BA3

Domotinect

Simon Parmentier
Prix «Créactifs! 2015» pour la meilleure vidéo d’un projet «créactif» de FS/MA1

Véritable pouponnière de Spin-offs, l’appel First Spin-Off a suscité ces dernières années de nombreuses vocations entrepreneuriales parmi les chercheurs de l’Institut NUMEDIART.

Parmi les projets en cours, on trouve  :

• Mapin, travaillant sur la création de solutions de mapping 3D interactif « low cost » à partir de rétroprojection vidéo.
• vCycle, qui vise à utiliser et adapter les méthodes d’apprentissage profond pour simplifier les recherches dans des banques d’images.
• Tangerine dont l’objectif est de faciliter et promouvoir l’apprentissage de la programmation à travers des jeux tangibles (non virtuels).
• EGC visant mise en place d’un outil de reconnaissance automatique du jeu de guitare centré sur les articulations entre les notes et l’expressivité.    

L’activité de l’Institut a été très productive en ce qui concerne le nombre de structures indépendantes (Spin-offs) lancées ces dernières années.

Une des premières à avoir pris son envol est Acapela, société qui propose des solutions de synthèse de la parole.

Plus récemment, NUMEDIART a vu les porteurs d’Hovertone et Ittention prendre leur indépendance:

• Hovertone (www.hovertone.com) propose des services variés pour la création d’expériences interactives innovantes.
• Ittention (www.ittention.com) propose quant à elle des solutions de prévision du regard destinés aux professionnels du graphisme et de la communication. 

Dans le contexte géostratégique instable que nous connaissons, les besoins en vidéosurveillances sont évidents, que ce soit dans les structures publiques (gares, aéroports etc) ou privées (entreprises supermarchés, etc).  L’objectif de ce projet est de fournir, pour le domaine de la vidéosurveillance, une brique robuste de ré-identification d’un nombre non limité de personnes et/ou d’objets. Ce module générique permet par exemple de suivre sur le long terme une personne même sur des images issues de plusieurs caméras.

IGLU – Interactive Grounded Language Understanding

Le langage naturel est l’une des aptitudes les plus singulières de notre espèce. Les recherches en compréhension située du langage (« grounded language understanding ») constituent un véritable enjeu dans le domaine de l’intelligence artificielle.  Le projet rassemble des scientifiques de 8 institutions partenaires (dont l’UMONS), experts en technologies de la parole et du langage, en apprentissage profond, informatique neuro-morphique, informatique affective et robotique développementale.

L’objectif du projet ParkAR est d’effectuer des recherches et de développer des solutions innovantes pour la réalisation d’interactions en réalité augmentée avec des groupes restreints de personnes.

En effet, la réalité augmentée demande la mise en cohérence de contenu virtuel et de l’espace réel environnant au travers de lunettes spécialisées comme les très médiatisées Hololens de Microsoft. Alors que la mise au point de la réalité augmentée pour un individu isolé a été largement explorée entre autres par les fabricants des lunettes et casques de visualisation, l’interaction en groupe d’individus dans un espace physique commun était, quant à elle, restée inexplorée jusqu’à la mise en place de ce projet rassemblant 2 universités (dont l’UMONS, via l’Institut NUMEDIART) et un partenaire industriel (Alterface SA).

NUMEDIART est un des partenaires de ce projet RW visant à développer, pour la retransmission de compétitions sportives, des algorithmes basés sur l’apprentissage automatique et destinés à des systèmes de traitement de données vidéo.  L’objectif est de remplir des fonctions d’assistance ou d’automatisation de l’annotation et de l’édition de contenu, que ce soit pour de la diffusion (broadcast) ou de la post-production (semi-live).

L’Institut développe ses activités essentiellement au travers de projets de recherche collaboratifs.

Ces projets de recherches :

• Se basent sur l’interdisciplinarité
• Privilégient la recherche collaborative et le co-développement
• S’articulent sur une logique partenariale avec tous les acteurs de la société (industries, services, centres de recherche, collectivités territoriales, institutions gouvernementales, etc.)
• Tissent des partenariats à l’échelle provinciale, régionale, fédérale, européenne et internationale.

L’Institut s’implique dans le montage de projet de recherche avec ses partenaires pour répondre aux problématiques émergentes liées aux domaines de l’Institut.

Nous présentons ici, à titre indicatif, quelques projets phare de l’Institut qui illustrent   les problématiques abordées par nos chercheurs.

Les chercheurs de L’institut NUMEDIART concentrent leurs activités sur 5 axes :  la capture de mouvements, les espaces intelligents, la navigation multimédia, le traitement de la parole et du son, et la réalité virtuelle et augmentée. Au cœur de ces travaux, on retrouve un même objectif : mettre au point des systèmes intelligents permettant de créer ou d’interagir avec du contenu média (sons, paroles, textes, images, vidéos, gestes, 3D, etc.)

• Axe 1: La capture de mouvements

A l’aide de divers capteurs (réseaux de caméras IR, caméras 3D, Capteurs IR, capteurs inertiels, tablettes tactiles, etc.), nous mesurons et analysons avec précision et en temps réel les gestes et mouvements humains :

• Dans un but de reconnaissance, évaluation et/ou de comparaison de mouvements
• Pour l’animation de personnages de synthèse, y compris par des transformations stylistiques.
• Pour la synthèse sonore à partir du geste dans le cadre de performances augmentées, d’instruments augmentés, ou de nouvelles interfaces d’expression musicale

Notre force : explorer, améliorer voire créer des solutions commerciales (ou non commerciales) haut de gamme à partir de capteurs à moindre coût.

NUMEDIART est notamment à la base de la création d’un framework open-source appelé “MotionMachine” (www.motionmachine.org) qui propose des solutions intégrées et flexibles pour visualiser, représenter et transformer les données complexes de mouvement.

Cet axe de recherche est en partie financé via le projet DIGISENSE (Portefeuille de projets DIGISTORM)

• Axe 2 : Les espaces intelligents

Les “espaces intelligents” sont des espaces dotés de senseurs (micros, caméras, capteurs IR, etc.) et d’une intelligence artificielle leur permettant de comprendre ce qu’y font leurs utilisateurs. Dans ce domaine, NUMEDIART propose une expertise dans :

• Le « tracking » et l’interaction des personnes évoluant dans desespaces intérieurs
• L’analyse de l’attention visuelle des utilisateurs basée sur des systèmes non-invasifs
• La prédiction de l’attention visuelle des utilisateurs sur des images ou des vidéos, par l’utilisation d’algorithmes d’intelligence artificielle

Notre force : développer des applications (ludiques, médicales, muséales, etc…) capables de prédire et d’analyser l’attention et le degré de motivation de leurs utilisateurs.

NUMEDIART a mis en place un outil d’analyse de l’attention (Kinterest) basé sur une caméra 3D et permettant de mesurer en temps réel sur quel point d’un écran des utilisateurs posent leur regard.

Cet axe de recherche est en partie financé via le projet DIGISPACE (Portefeuille de projets DIGISTORM)

• Axe 3 : La navigation multimédia

NUMEDIART dispose d’un savoir-faire dans le domaine de l’analyse et la compréhension automatique de contenus médias (qu’il s’agisse aussi bien de son que d’images, de dessins, ou encore de vidéos ou de gestes) et propose dans ce cadre de interactions homme-machine customisées et innovantes, basées sur l’intelligence artificielle.

Notre force : nos chercheurs sont capables de créer rapidement des applications créant des ponts entre plusieurs types de média.

Cet axe de recherche est en partie financé via le projet DIGIMIR (Portefeuille de projets DIGISTORM)

• Axe 4: les technologies de la parole et du son

NUMEDIART développe des algorithmes propriétaires pour l’analyse, la transformation, la reconnaissance ou la synthèse de sons (parole, musique, bruits). Notre objectif est de créer des systèmes intelligents, qui comprennent le contenu des signaux pour les manipulent de manière optimale.

Notre force : nous avons directement contribué au développement de l’intelligence artificielle par réseaux de neurones profonds (deep neural nets : DNN) et sommes en contact avec plusieurs laboratoires de pointe dans le domaine.

Nous avons développé des solutions pour l’analyse acoustique du jeu de la guitare, la synthèse vocale et de voix chantée, le ralenti audio pour le sport, la reconnaissance vocale, ou encore la synthèse de signaux affectifs.

• Axe 5: La réalité virtuelle et la réalité augmentée

La réalité virtuelle et augmentée est un domaine en pleine ébullition, que ce soit pour une expérience individuelle à travers un casque, ou pour une expérience collective  par projection. Notre activité s’oriente vers plusieurs axes principaux :

• La projection de contenu multimédia/3D sur des surfaces complexes ou en mouvement, et en interaction avec des utilisateurs
• L’utilisation de casques pour la réalité augmentée et virtuelle avec un positionnement optimisé des objets virtuels
• La compréhension automatique d’espaces 3D réels pour la création rapide d’univers virtuels.

Notre force : nous disposons de notre propre logiciel de mapping sur des surfaces complexes, ce qui nous permet de le porter sur tout type de machine ; nous combinons VR/AR avec la capture de mouvements et prédiction de l’attention humaine.

NUMEDIART a mis en place un système de projection indoor sur les fenêtres de la Faculté Polytechnique de Mons (bâtiment « Collège de Houdain »). Cette installation a déjà été utilisée pour plusieurs mappings simples ou interactifs avec les visiteurs. Nous avons également réalisé un modèle 3D de la ville de Mons.

;

;

L’activité de L’institut NUMEDIART s’inscrit dans la thématique des Industries Culturelles et Créatives (ICC), secteur représentant 4,3% du PIB de l’Union Européenne et rassemblant différents marchés liés aux arts visuels ou performatifs, le jeu vidéo, la musique, le cinéma, l’architecture et la publicité. L’intégration de la technologie dans ces marchés s’est fait grandissante ces dernières années, notamment grâce à l’avènement de l’intelligence numérique.

L’institut contribue par ailleurs à la recherche appliquée et à la création de nouvelles activités dans le secteur des industries créatives. Pour ce faire, il s’appuie sur l’expertise de 13 services de recherche dans des domaines aussi variés que le traitement du signal (sonore et visuel), l’électronique, l’architecture, l’informatique et le management. L’institut est également riche de nombreuses collaborations, avec les écoles en arts numériques, le secteur des industries de la création, et les universités et centres de recherche travaillant dans ce domaine, en Europe et au Canada.