la plateforme Virtualia

 

                                   présentation 

Sa naissance

La plateforme Virtualia est née du besoin de faire converger, dans les domaines des Neurosciences, Neuropsychologie et sciences cognitives, l’expérimentation comportementale de laboratoire avec l’expérimentation physiologique en modifiant son contexte pour le rendre plus écologique.

Le premier outil de Virtualia a été la réalité virtuelle sous forme de serious game dès 2007 pour étudier les faux souvenirs. Sont venus se greffer l’utilisation de systèmes physiologiques permettant de justifier les réponses comportementales étudiées au sein du LMC² puis les périphériques permettant une visualisation simultanée des mouvements sur l’avatar du sujet.

L’objectif de Virtualia depuis a toujours été double :

  1. Permettre un contexte écologique de passation grâce à la réalité Virtuelle
  2. Justifier les données comportementales par des données physiologiques

Depuis 2014 nous essayons de faire converger ces deux objectifs.

LA VR

Notre premier serious games a été développé avec le logiciel Virtools : immersion du sujet dans un univers urbain. La navigation se faisait au volant d’une voiture ou à pieds. En 2009 l’utilisation des casques VR nécessitait un budget trop important : Après une collaboration avec le collège de France (A. Berthoz) : pour plonger le sujet dans un univers où ce qu’il voyait était de taille réelle nous avons créé un système de visualisation doté de 3 projecteurs et d’un écran courbe sur 180° de 5m de diamètre.

De par des collaborations avec le CPN nous avons pu tester des périphériques tels que les cyber gloves enrichissant les modes d’interactions et d’immersion possibles au sein d’un univers 3D. Notre premier pas vers l’embodiment était fait.

Depuis 2012 nous nous concentrons sur l’élaboration de systèmes d’interactions écologiques : Comment être immerger au niveau visuel et au niveau moteur dans un univers3D : comment marcher dans un univers3D quand l’exploration se fait dans une salle de 5m par 5m ? Comment donner l’impression au sujet d’interagir réellement avec les objets et scènes virtuelles ?

En 2015 la palteforme Virtualia a acquis le casque VR oculus DK2 entrant définitivement dans l’ère de la RV.

. Ensuite nous avons acquis en 2016 le DK2 avec l’eye tracker SMI intégré : nous couplions mesures physiologiques et immersion RV.

Fin 2016 le premier HTC VIve permettait à Virtualia d’avoir dès le port du casque deux controleurs pour intégrer les mains du sujets. En 2018 la marche était possible grâce à la plateforme de marche Omnix de Virtuix.

 

L’embodiment

Nos premières publications sur l’incarnation d’un avatar ont été faites avec la kinect2. Le sujet était immergé grâce ç un casque oculus DK2 et la kinect2(camera en face du sujet) traquait les mouvements de face du sujet. Le tracking restait limité, le sujet pouvait géné le tracking en se mettant de coté ou en effectuant une rotation. Grâce à la révolution des capteurs HTC Vive trackers nous avons créé une solution viable d’embodiment.

 

La création d’univers 3D

L’immersion passe également par un rendu 3D qui permet de comprendre et s’approprier une scène vue dans l’environnement. Nous devons rendre alors cohérentes les scènes et les interactions entre personnages dans l’univers3D. Créer du contenu approprié : les décors, les personnages, mettre en scène les comportements de chaque personnage, appliquer les lois de la physique à cet univers, créer nos propres animations d’avatar, leur donner la parole, un regard cohérent quand ils regadent un objet particulier.

Les données physiologiques

La plateforme Virtualia s’est dotée d’un système de mesures physiologiques (BIOPAC) en 2013 : nous pouvions dès lors avoir un feedback physiologique grâce au signal électrocardiogramme, la réponse électrodermale, la respiration ou les réponses musculaires (EMG).

En 2015 nous avons ajouté l’eye tracker à nos données physiologiques : intégré dans un casque RV (2015), intégré sur des lunettes et relié à un enregistrement mobile pour des conditions réelles (modélisation de la gare sncf rer saint michel ettests reel vs RV) ou en barre posée sous un écran PC (2015) rendant possible l’utilisation synchronisée de plusieurs systèmes de physiologie comme l’EEG : actichamp (64 électrodes) de brainproduct (2016). Comme solution de Neurofeedback en 2016 nous avons utliser le système Procomp avec 2 électrodes.

 

La convergence VR-systèmes physiologiques

En 2017 nous synchronisions pour la première fois trois systèmes de Virtualia la barre d’eye tracking, le système EEG et le jeu de stimuli dans un environnement RV, chacun piloté par un PC différent.

En 2018 c’était au tour du biofeedback avec l’ECG d’entrer dans un mode interactif avec la RV.

En 2020 l’eye tracker fait parti intégrante du casque HTC VIVE PRO EYE fa

isant une fois de plus tomber l’obstacle budgétaire pour accéder à une technologie de pointe.

Et, en 2021-2022 grâce au casque DSI-24 de sensing wearable c’est la convergence de nos 2 objectifs que nous allons atteindre : casque EEG à électrodes sèches couplé à un casque HTC VIVE PRO EYE et au système de mesures physiologiques BIOPAC.

 

Virtualia au fil de l’eau

Notre plateforme évolue à chaque innovation rendue accessible et maitrisée par nos personnels (post docs, chercheurs, ingénieurs) ainsi nous envisageons le matériel que nous utilisons en fonction de nos besoins du moment (projets ANR, recherche exploratoire, création d’outils ou de contenu, etc…) tout en gardant une ligne cohérente d’acquisition visant un couplage aisé et des enregistrements cohérents avec l’ensemble de nos précédents résultats.

À lire aussi