Modélisation, Interaction, Simulation (MIS)
MIS est l’un des cinq axes du Contrat de Projet Etat-Région (CPER) intitulé Modélisations, Informations et Systèmes Numériques (MISN), avec la Région Lorraine (2007-2013).
Principales caractéristiques de MIS:
Place du projet dans le contexte local, national et européen
Résumé:
Nous nous intéressons à la modélisation de phénomènes complexes tels qu'ils apparaissent lors de l'analyse de systèmes physiques, biologiques ou moléculaires ou de l'étude de l'humain et de ses caractéristiques perceptives, motrices et cognitives, lors de son interaction avec son environnement. Les connaissances et les technologies actuelles permettent de réaliser des simulations interactives où l'humain peut interagir avec son environnement réel ou simulé. En retour, la modélisation de l'humain dans son environnement peut permettre d'offrir une interaction naturelle et utilisable. Se fondant sur un regroupement de compétences rare en France, le présent projet explique comment les équipes engagées proposent de développer des activités de recherche communes permettant également d’établir un véritable réseau d’expertise dans ces domaines porteurs. Pour ces sujets, l’importance des considérations technologiques et expérimentales rend indispensable la création d’un centre de compétences permettant l’étude et l’utilisation de dispositifs interactifs novateurs.
Présentation thématique
Trois thèmes scientifiques sont au cœur des recherches considérées ici :
Modélisation numérique : Pour une meilleure compréhension du sujet humain et de son environnement, les modèles développés portent souvent sur la géométrie ou l’évolution temporelle d’un ou de plusieurs signaux. Les défis sont d’arriver à proposer des modèles concis, précis et fidèles par rapport au monde réel. D’une part, nous étudions des modèles géométriques dont la nature dépend à la fois de leur utilisation numérique et des objets à représenter. D'autre part, nous étudions, modélisons et simulons des phénomènes complexes considérés comme des systèmes dynamiques. Ces systèmes dynamiques peuvent être modélisés par des systèmes d’équations différentielles, résolues par des méthodes numériques, ou encore être le siège de phénomènes d'auto-organisation complexes, dont les propriétés émergentes sont simulées par des modèles stochastiques, multi-agents et neuromimétiques. Un point essentiel est donc de pouvoir appréhender les interactions entre les objets ou agents d’un système dynamique. La maîtrise de ces modèles de calcul numériques et de leurs caractéristiques est indispensable pour permettre ensuite les développements que requièrent les phénomènes complexes visés, les couplages de modèles et la mise au point de modèles hybrides. La complexité des phénomènes implique fréquemment le recours au calcul distribué (décomposition de domaines et multi-échelles), par exemple en utilisant des formalismes à base d’agents, ou d’automates cellulaires. Savoir accélérer les calculs est souvent indispensable pour garder un caractère naturel et utilisable à l’interaction avec une visualisation ou pour que le temps de réaction d’un robot reste compatible avec l’activité du monde extérieur. De plus, le calcul distribué permet d’approcher des phénomènes émergents qui correspondent souvent à des propriétés recherchées dans les phénomènes considérés.
Interactions homme-machine: Il s’agit d’analyser et d’offrir des modalités et des formes d’interaction nouvelles à des sujets humains. Le défi est de rendre l’utilisation de ces modalités d’interaction la plus simple et naturelle possible pour l’être humain afin de garantir leur utilisabilité. Pour cela il faut souvent s’appuyer sur la modélisation de l’environnement et des sujets. Pour les sujets, une modélisation cognitive permet d’obtenir une interaction pertinente et par conséquent perçue comme intelligente. Les aspects de synthèse au sens large (e.g., images, parole) sont donc importants pour générer des retours visuels, acoustiques ou haptiques, tout comme la robustesse des modalités en entrée. Les défis sont donc à la fois technologique (maîtrise de périphériques innovants) et scientifique (développement des connaissances sur les caractéristiques physiques, physiologiques et cognitives de l’interaction de l’humain avec son environnement et impact sur les modèles multi-domaines correspondants).
Simulation et visualisation: la visualisation offre au chercheur un retour direct du comportement de la simulation numérique du système qu’il étudie. C’est vraisemblablement l’une des avancées majeures récentes que l’informatique a rendu possibles. Le défi est de lier simulation et visualisation au cours de la simulation et pas seulement à l’issue des calculs. Cela pose en particulier des problèmes de modélisation numérique, de génération d’images pertinentes, d’interactions entre l’utilisateur et des objets artificiels, et de transport de données distantes volumineuses. Des voies pour lever ces contraintes consistent à proposer des représentations géométriques communes pour l’ensemble du cycle de modélisation, à savoir coupler des logiciels développés pour différents aspects du phénomènes ou encore à savoir utiliser des architectures matérielles à haute performance (calcul distribué) pour traiter les gros volumes de données.
Il existe des relations profondes entre ces trois thèmes de recherche : Pour que les interactions homme-machine soient pertinentes et efficaces il faut que l’environnement, les sujets humains et l’objet de l’interaction soient bien modélisés et, avant cela, que les méthodes de calcul développées soient bien maîtrisées. Plus généralement, les phénomènes d’interaction, au cœur de la boucle système-environnement, sont pour nous un objet d’étude privilégié.
De même, le développement de modèles est souvent grandement facilité par l’existence de moyens de visualisation et de simulation efficaces. Enfin, les outils de visualisation et de simulation sont d’autant plus efficaces qu’ils offrent à l’utilisateur une grande facilité d’interaction avec la simulation et la visualisation en cours.
Notre ambition est de développer des coopérations régionales sur et entre ces thèmes. Elles sont de deux natures : D’une part, les équipes du domaine STIC et Maths doivent participer conjointement à la mise au point de modèles multi-domaines, au développement numérique et informatique de méthodes de résolution d’équations et d’inférence de modèles ainsi qu’à la bonne exploitation des technologies innovantes utilisées (calcul distribué, interfaces). D’autre part, ces mêmes équipes pourront également collaborer avec des équipes d’autres disciplines essentiellement portées sur l’observation de phénomènes complexes relatifs à des systèmes physiques, biologiques ou moléculaires ou encore à l’humain en interaction avec son environnement et ses caractéristiques perceptives, motrices et cognitives. Dans ce cas, l’échange de connaissances porte principalement sur la mise au point du modèle et son adaptation aux contraintes logicielles et matérielles.
Ces domaines scientifiques, qui seront précisés à la section suivante, renvoient à des méthodes d’investigation et à des exigences de nature différente. D’une part, la modélisation de systèmes physiques, biologiques et moléculaires met l’accent sur les performances en termes de visualisation (graphisme, rendu) et les modélisateurs demandent souvent à être immergés dans leur création et pouvoir interagir avec elle pour mieux l’appréhender. Ces exigences se traduiront ci-dessous par la demande d’achat du Cave pour équiper notre centre de compétences. D’autre part, vue sa complexité, la modélisation de l’humain dans son environnement n’est généralement pas abordée dans son ensemble mais en focalisant sur des compétences particulières. Il s’agit donc d’une sorte de laboratoire virtuel permettant de décomposer, expérimenter et capitaliser les connaissances en vue de retours vers les sciences du vivant, les sciences humaines mais aussi la technologie interactive. En attendant de pouvoir être confrontés, en immersion ou devant un robot, à des avatars humains complets, on sera donc avant tout intéressés par l’expérimentation de boucles sensori-motrices ou l’obtention de propriétés émergentes ou de capacités cognitives. Ce laboratoire virtuel regroupe les autres équipements demandés pour le centre de compétences : matériels d’interaction, robots et plateformes de calcul distribué.
Positionnement applicatif du projet au plan national
Les activités de recherche sur le thème MIS sont susceptibles d'avoir des retombées importantes dans les domaines de la CAO/CFAO (Conception et Fabrication Assistée par Ordinateur), de l'énergie, de la santé et de l’interaction homme-machine multimodale et de l’insertion des citoyens. Nous évoquons les principaux défis scientifiques à relever dans ces domaines :
Les secteurs de la santé, de l’enseignement et du handicap ont été au cœur des réalisations marquantes de l’axe TOAI du précédent CPER. Ces thèmes sont des défis pour les années à venir compte tenu de leur coût économique direct –la santé-, de leur importance stratégique pour garantir l’avenir économique et technologique –l’enseignement- et de la nécessité d’insérer tous les citoyens dans la société –handicap-. Ces trois domaines nécessitent des outils d’interaction multimodale évolués, robustes, naturels et très efficaces de manière à les rendre aussi transparents que possible pour les utilisateurs.
CAO/CFAO
Les secteurs de la CAO et de la CFAO sont traditionnellement d'importants consommateurs de ces technologies. La nouvelle tendance dans le design et la gestion des cycles de vies des produits complexes (par exemple les avions, les voitures, les trains) consiste à développer des bases de données communes, partagées par tous les métiers impliqués dans le développement du produit (à savoir la simulation numérique, l'ingénierie mécanique, le design industriel). Par exemple, l'entreprise aéronautique Dassault a développé le nouveau Falcon F7X en utilisant une approche de maquette numérique unifiée. Cette maquette unifiée a été utilisée durant tout le processus industriel de création de l'avion, depuis les premières phases de design, jusqu’à la planification de la maintenance, en passant par la simulation numérique en soufflerie virtuelle. Ces différentes opérations de design et d'optimisation sont effectuées dans un équipement de type "Reality Center".
Energie
Le secteur de l'énergie est le secteur d'activité qui représente le plus grand consommateur de ressources de calcul. Nous listons rapidement ici quelques exemples, impliquant les énergies d'aujourd'hui (électricité et pétrole), et celles de demain (physique des plasmas, fusion thermonucléaire). La production et le transport de l'électricité, comme du pétrole, requièrent de gigantesques infrastructures. La simulation du comportement global de ces structures est une tache spécialement difficile, en particulier par la nature multi-échelle du problème. L'autre difficulté concerne la mise au point et l'ingénierie de grand systèmes logiciels, ce qui explique que ces entreprises sont de gros consommateurs de supercalculateurs.
En ce qui concerne l’énergie de demain, l'initiative internationale ITER a pour objectif de construire un réacteur de fusion expérimental et la mise au point et le fonctionnement de cette grande installation, ainsi que la mise au point des modèles et des simulations vont nécessiter de très grandes ressources de calcul, ainsi que des technologies informatiques sophistiquées.
Santé
Dans le domaine de la santé, les avancées en imagerie 3D peuvent à présent produire des images à haute résolution de l'intérieur du corps humain, d'une manière non-intrusive ou encore pouvant être utilisées dans un cadre interventionnel. La mise au point de nouvelles molécules et de nouveaux médicaments est une autre application possible des technologies de l'image dans le domaine de la santé. La biologie structurelle étudie les liens entre les structures des molécules et leur fonction biologique. D'une manière générale, ce domaine couvre des problèmes liés à la pharmacologie (mise au point de médicaments) et de la biologie cellulaire (comprendre le fonctionnement de la cellule). La visualisation joue un rôle important dans ce domaine, en particulier dans un contexte immersif. Ceci permet à la fois de mieux percevoir les phénomènes, et de "ressentir" les forces physiques impliquées, grâce à l'utilisation de dispositifs à retour d'effort. L’aide à la personne et le handicap sont également concernés par de tels dispositifs, à la fois sous l’angle technologique considéré ici ainsi qu’à travers la meilleure connaissance de l’humain agissant dans son environnement comme décrit ci-dessous.
Interaction Homme-Machine multimodale
Dans le domaine de l’interaction homme-machine multimodale, l’association d’une modélisation de plus en plus fine des caractéristiques perceptives, motrices et cognitives de l’être humain et des puissances de calcul et des interfaces innovantes disponibles aujourd’hui offre des outils inédits pour approfondir nos connaissances sur la boucle humain-environnement, avec des impacts considérables sur les sciences du vivant et sur la qualité du caractère interactif des simulations, seule garantie de son utilisation effective. Ces réalisations peuvent permettre des applications aussi variées que la robotique autonome, l’aide au handicap ou encore l’intelligence ambiante.
En résumé, ces applications concernent :
- les chercheurs eux-mêmes en facilitant leur recherche sur la compréhension des interactions Homme-environnement, mais aussi sur l'exploration de données qu'ils ne pourraient pas manipuler autrement parce qu'elles sont inaccessibles par leur volume ou leur distance, par exemple en visualisant la fusion nucléaire dans le cadre de ITER.
- les professionnels en augmentant leurs possibilités d'interaction avec l'objet de leur travail, par exemple en facilitant le suivi d'un grand nombre de paramètres médicaux par un médecin, en fusionnant plusieurs modalités d'imagerie médicale que le chirurgien peut utiliser avant ou pendant une opération, ou enfin en présentant un rendu très réaliste d'un objet en cours de conception.
- les citoyens en leur facilitant l'accès à la formation, par exemple l'apprentissage de l'oral d'une langue étrangère, et en favorisant l'insertion des handicapés, par exemple en mettant à la disposition d'un handicapé moteur un fauteuil dont la conduite est plus simple, en offrant aux jeunes enfants sourds des aides visuelles pour suivre les cours à l'école et apprendre leur langue maternelle et aux handicapés moteurs des moyens d'interaction adaptés, par exemple la commande par le regard. On utilisera pour cela des dispositifs technologiques innovants, permettant d'émuler le comportement émergeant des modèles (ex : robotique autonome), d'instrumenter les interactions entre un sujet humain et son environnement (ex : réseaux de capteurs, dispositifs de capture de mouvement) et de visualiser et manipuler les représentations obtenues (ex : centre de réalité virtuelle).
Place du projet dans le contexte national et européen
Ce projet s'inscrit dans les perspectives stratégiques européennes et nationales:
De façon générale, on peut tout d’abord souligner que les priorités visant à insérer le citoyen dans la société de l’information ou encore favorisant l’e-inclusion mettent en avant l’usage d’interfaces ou de dispositifs matériels ou logiciels rendant plus naturelle la communication avec des machines. On peut également penser à la thématique de l’intelligence ambiante en plein essor.
Dans le 7ème programme cadre de l'Union Européenne figure l'objectif suivant: Simulation, visualisation, interaction and mixed realities: To develop new information and communication technologies tools for innovative design and for creativity in products, services and digital media and to progress towards natural and context-rich interaction with technology, machines and devices.
De même, dans le cadre du plan stratégique 2005-2008 de l'INRIA apparaît également le défi: Coupler simulation, visualisation et interaction.
Savoir modéliser des phénomènes physiques complexes et maîtriser l'intégration de l'humain avec les environnements intelligents, interactifs et immersifs sont des enjeux stratégiques aujourd'hui pour stimuler et renforcer la connaissance, l'innovation, avec des retombées économiques et sociétales. Nous avons souligné plus haut que cette démarche se retrouvait également dans les plus grands groupes industriels pour leurs activités liées au transport (Dassault, Airbus , Renault, PSA), à l’énergie (EDF, TotaFinaElf, PetroBras, CGG), etc. Lors du projet Intelligence Numérique du CPER précédent, les axes TOAI et CRVHP dont les équipes se retrouvent principalement dans cette proposition MIS avaient montré que les activités permises par ces travaux avaient joué un rôle important dans la participation à de nombreux projets européens du 5eme et 6eme PCRD.
Intérêt de cette opération au plan local et pour la région; identification des impacts socio-économiques :
Outre l’intérêt scientifique majeur de ce projet (recherches originales dans un domaine en plein développement, constitution d’un réseau de collaborations et leurs impacts en termes de visibilité), la création associée d’un centre de compétences regroupant matériels, chercheurs et ingénieurs qualifiés est un élément essentiel de cette demande. La réalisation d'un tel centre en Lorraine s'appuie sur un certain nombre d'atouts :
- Il s'adosse à des laboratoires de recherche en Informatique, Automatique et Mathématiques, avec le soutien du CNRS, de l'INRIA et des Universités de Nancy,
- Il offre des dispositifs matériels de pointe. La construction dans le nouveau bâtiment LORIA d'espaces dédiés permet de mettre en place dans un environnement de qualité un super calculateur, une grappe de PC graphiques, une salle de réalité virtuelle, un dispositif de type CAVE, une salle d'expérimentation robotique.
- Il est à proximité de l'Espace Transfert du LORIA et de l'INRIA Lorraine, ce qui permettra d'héberger des entreprises ou des projets de création d'entreprises en lien avec ces recherches.
- Sa position stratégique au cœur du Campus scientifique et proche des Ecoles d'ingénieurs de Nancy (ENSEM, EMN, ESSTIN, ESIAL), permettra l'accueil d'étudiants sur des cursus spécifiques s'inscrivant dans l'offre LMD des Universités de Nancy. Il constituera ainsi un centre de formation à ces technologies innovantes.
Les projets qui y seront développés s'inscriront dans des collaborations avec d'autres projets régionaux et nationaux : visualisation de la fusion nucléaire (ITER), matériaux
(MIPI), modélisation moléculaire (bioinformatique, chimie), géomodélisation (consortium Gocad), CAO/maquettes numériques (Renault, CRAI), imagerie médicale, robotique, interfaces, handicap,...
Les retombées attendues sont les suivantes.
- Le développement de recherches pluridisciplinaires: un tel centre peut concerner à terme plusieurs autres disciplines:
mathématiques (visualisation de surfaces), physique (plasmas), chimie moléculaire, biologie, géologie (visualisation du sous-sol), architecture (études d'impact à l'échelle 1 et visualisation de bâtiments), art (création d'effets spéciaux, design), psychologie du comportement, médecine...
- La création d'emplois hautement qualifiés car des compétences techniques sont nécessaires et vont nécessiter des recrutements.
- Une source d'attractivité pour le territoire lorrain, qui attirera ainsi étudiants et chercheurs étrangers.
- La présence d'un centre de compétence et d'expertise ouvert aux PME/PMI Lorraine, qui pourrait dans un premier temps s'appuyer sur l'Espace Transfert de l'INRIA Lorraine.
- Des collaborations fortes avec le pôle de compétitivité MIPI.
Ce projet répond à l'objectif de la Lorraine de s'inscrire dans la société de la connaissance et de l'innovation, en permettant de promouvoir une technologie innovante de pointe accompagnant des projets régionaux.
Laboratoires impliqués:
liste initiale des laboratoires impliqués et nombre de chercheurs et d’enseignants chercheurs travaillant sur le projet
Sur ces thèmes, les laboratoires STIC et Maths engagés regroupent une centaine de chercheurs en enseignants-chercheurs sur poste:
- IECN Nancy (EDP et calcul scientifique, projet Calvi; probabilités, projet Omega) 25 personnes
- LASC (Automatique de Systèmes Coopératifs, Metz) 5 personnes
- LICM (Interfaces Capteurs et Microélectronique à Metz) 3 personnes
- LITA Metz (modéles de calcul discrets, IHM) 6 personnes
- LMAM Metz (EDP et calcul scientifique) 3 personnes
- LORIA Nancy équipes Adagio (algorithmique discrète et bioinformatique), Algorille (calculs distribués), Alice (calcul géométrique et visualisation haute performance), Cortex (calcul neuronal), Magrit (réalité augmentée), Maia (agents stochastiques), Merlin (modélisation de l'utilisateur), Parole (traitement automatique de la parole) 60 personnes
- Supélec, campus de Metz (interactions multimodales, calculs neuromimétiques parallèles) 5 personnes
Les laboratoires partenaires d'autres disciplines ont un potentiel de chercheurs équivalent sur des thématiques désireuses de développer leurs modèles:
- Centre Alexis Vautrin (cancérologie)
- ENSG Nancy (géomodélisation)
- Faculté de Médecine (neuroradiologie)
- GREEN Nancy (Génie électrique)
- GTL Metz (nano-structures)
- INCM Nancy équipe Edam (systèmes moléculaires)
- IRR Nancy (Institut Régional de Réadaptation)
- LABPSYLOR Metz équipe Etic (interactions sociales et technologiques)
- LASC Metz (assistance à la personne handicapée)
- LCM3B Nancy (cristallographie)
- LMOPS Metz (optique non linéaire et microstructures)
- LPMIA Nancy (plasma)
- PPMS (Pôle messin de modélisation et simulation pour les sciences physiques)
- LPMC (Metz, physique moléculaire)
- URAPA Nancy (Neurosciences comportementales)
Bibliographie:
A titre d’illustration, nous indiquons quelques références bibliographiques récentes reportant des activités scientifiques des équipes concernées dans les domaines scientifiques suivants :
Graphisme
-N. Ray, W.-C. Li, B. Levy, A. Sheffer, P. Alliez, Periodic Global Parameterization, ACM Transactions on Graphics, 2006
-L. Castanie, C. Mion, X. Cavin, B. Levy, Distributed Shared Memory for Roaming Large Volumes, IEEE Transactions on Visualization and Computer Graphics, 2006
-N. Ray, X. Cavin, J.-C. Paul, B. Maigret, Intersurf : dynamic interface between proteins, Journal of Molecular Graphics and Modeling, 2005
Réalité augmentée
-J.-F. Vigueras, G. Simon, M.-O. Berger: Calibration Errors in Augmented Reality: a Practical Study, 4th IEEE and ACM International Symposium on Mixed and Augmented Reality - ISMAR'05,Vienna, Austria, 10 2005.
-B. Wrobel-Dautcourt, M.-O. Berger, B. Potard, Y. Laprie, S. Ouni, A low-cost stereovision based system for acquisition of visible articulatory data', 5th Conference on Auditory-Visual Speech Processing -AVSP'2005, Vancouver Island (BC) /Canada.
-M. Gorges, E. Kerrien, M.-O. Berger, Y. Trousset, J. Pescatore, R. Anxionnat, L. Picard, Calibration of the intrinsic parameters of a vascular c-arm for 3D enhanced fluoroscopy'', 9th International Congress and Exhibition Computer Assisted Radiology and Surgery - CARS'05}, Elsevier, Berlin, Germany, 06 2005.
Traitement de la parole
-Christophe Cerisara, Luca Rigazio, Jean-Claude Junqua. - «Jacobian environmental adaptation ». - Speech Communication 42 , 1 (january 2004), pp. 25-41. – Special Issue on Adaptation Methods for Automatic Speech Recognition.
-Slim Ouni, Michael M. Cohen, Dominic W. Massaro. - « Training Baldi to be
multilingual : A case study for an Arabic Badr ». - Speech communication 45, 2 (february 2005), pp. 115-137.
-Slim Ouni, Yves Laprie. - « Modeling the articulatory space using a hypercube codebook for acoustic-to-articulatory inversion. ». - Journal of the Acoustical Society of America (JASA) 118 (1) (2005).
-Olivier Menard and Herve Frezza-Buet and Frederic Alexandre . Towards Word Semantics from Multi-modal Acoustico-Motor Integration: Application of the Bijama Model to the Setting of Action-Dependant Phonetic Representations. In Biomimetic Neural learning for Intelligent Robots. Lecture Notes in Artificial Intelligence 3575. Intelligent Systems, Cognitive Robotics and Neuroscience. Stefan Wermter, Sunderland, UK and Gunther Palm, Ulm, Germany (Eds.). Springer. 2005.
IHM
-N. Carbonell (2006). Ambient Multimodality: towards Advancing Computer Accessibility and Assisted Living. Universal Access in the Information Society Journal (Springer), 5(1), 96-104.
-N. Carbonell, S. Kieffer (2005). Do oral messages help visual search? In J. van Kuppevelt, L. Dybjkaer, N.O. Bernsen (Eds.), Advances in Natural Multimodal Dialogue Systems, Dordrecht (NL): Springer, Vol. 30, Series 'Text, Speech and Language Technology', pp. 131-157.
-O. Christmann, N. Carbonell (2006). Browsing through 3D representations of Unstructured Picture Collections: an Empirical Study. Proc. ACM Working Conference on Advanced Visual Interfaces (AVI 2006), Venezia (Italy), May 23-26, 2006, pp. 445-448.
Calcul distribué
-Nicolas P. Rougier and Julien Vitay, "Emergence of Attention within a Neural Population", Neural Networks, 2005.
-Julien Vitay and Nicolas P. Rougier and Frédéric Alexandre, "A distributed model of visual spatial attention", in Biomimetic Neural Learning for Intelligent Robotics, Springer, 2005.
- Nazim Fatès, Michel Morvan, Nicolas Schabanel, Eric Thierry Fully asynchronous behavior of double-quiescent elementary cellular automata Mathematical Foundations of Computer Science Proceedings LNCS 3618 Version longue acceptée pour publication dans la revue Theoretical Computer Science
Télé-assistance
-J. Saboune, F. Charpillet Markerless human motion tracking from a single camera using interval particle filtering, to be published in Int. J. on Artificial Intelligent Tools
- S. Nogueira, F. Gechter, Y. Ruichek, A. Koukam, F. Charpillet, Environment perception for vehicle autonomous navigation in urban areas, to be published in DSP for In-Vehicle and Mobile System, vol 2, Abut, Hüseyin; Hansen, John H.L.; Takeda, Kazuya (Eds.), Springer
Equipements envisagés:
Dans l'objectif scientifique d'explorer l'immersion interactive, et celui, complémentaire, de transfert de compétences avec des partenaires académiques et industriels, notre projet doit se doter et mettre à disposition des utilisateurs les dispositifs suivants:
- une plateforme d'environnement immersif, appelée CAVE (Cave Automatic Virtual Environment) localisé dans le nouveau bâtiment du LORIA ;
- des moyens de calculs graphiques permettant d’animer à la fois le CAVE et la salle de réalité virtuelle (reality center), déjà acquise, au LORIA ;
- un cluster de PC pour l'affichage dans le CAVE,
- des clusters de PC pour la mise au point de modèles
- des matériels d'interaction, d'instrumentation de l'utilisateur et de recueil de mesures physiologiques: en particulier, baguette de désignation, gant haptique, eye-tracker, capture du mouvement.
- des plateformes de robotique autonome pour la simulation de comportements humains
- des cartes FPGA et des flottes de robots élémentaires pour des études portant sur le calcul distribué et l’émergence
- des logiciels facilitant l'utilisation de ces matériels.
- notons enfin que la prise en main et le suivi de tels matériels innovants nécessitent le recours à des personnels techniques qualifiés, en support des chercheurs. Les ingénieurs présents dans nos laboratoires seront également impliqués mais, en attendant de futurs recrutements espérés, ils ne peuvent faire face à l’ensemble des dispositifs qui seront développés.