NGSENS est très heureux et fier de participer et d’avoir été à la base de l’expérience Digital Masks en collaboration étroite avec la Association Werner Strub.

L’expérience Digital Masks

Alors que la réalité virtuelle plonge l’utilisateur dans un monde totalement virtuelle et en 3D, la réalité augmentée présente à l’utilisateur, ou au visiteur dans notre cas, une vision du réel augmentée d’une couche virtuelle. C’est le mariage entre ces deux mondes que sont le virtuel et le réel qui déclenche l’étonnement et l’intérêt de la part du visiteur. Véritable objet de médiation, ce dispositif permet au visiteur non seule­ment d’expérimenter virtuellement le masque sur son propre visage, mais lui offre aussi l’opportunité d’entrer dans le monde du personnage et plus large­ment dans l’univers de l’œuvre théâtrale. Ainsi ce dispositif permet d’offrir à tout visiteur une expérience interactive, créative, ludique et virtuelle unique : celle de voir projetée, sur grand écran et en temps réel, sa propre image en mouvement, la tête recouverte de manière virtuelle d’un masque.

Association Werner Strub

Nous avons eu de la chance de pouvoir compter sur le soutien de l’Association Werner Strub et particulièrement de son Président François Passard qui nous a fait une totale confiance. En effet, sans cette confiance, nous aurions perdu un temps précieux à devoir rassurer et sûr communiquer et ce, vu la pression élevée dans la réalisation du projet.

Université de Bournemouth

Grâce à ses contactes académique avec l’Université de Bournemouth en Grande Bretagne, NGSENS a pu, créer un partenariat avec cette haute institution spécialisée dans le domaine de la représentation 3D (participation à la réalisation du film Avatar) pour la numérisation des masques de la collection de Werner Strub.

Fondation Bodmer

La Fondation Martin Bodmer nous a accueilli avec grand intérêt et enthousiame, et a fait preuve d’écoute et de flexibilité pour que puissions joindre l’expérience Digital Masks en toute harmonie à l’Exposition Masque et Théâtre. Cette exposition se déroule du 16 octobre 2020 au 11 avril 2021 à la Fondation.

Remerciement par Félicien Fleury aux personnes qui ont rendu ce projet possible lors du vernissage le 15 octobre 2020 à la Fondation Martin Bodmer à Cologny.

Actmedia

NGSENS a aussi inclus sa branche Actmedia pour la réalisation des contenus animé de présentation et pour la réalisation de l’environnement sonore. Actmedia avait aussi participer à la réalisation de l’environnement sonore pour l’expérience de réalité virtuelle Genève 1850 réalisée en collaboration avec la société Artanim.

La genèse

C’est au retour de la visite de l’atelier de Werner Strub en septembre 2018, que l’idée a émergé l’idée de vouloir rendre possible le port des masques par des visiteurs. Cette solution répond à la problématique de la fragilité relative des masques et la volonté de permettre au plus grand nombre de se voir porter virtuellement un masque de cette sublime collection.

Mise sur pied

La mise sur pied de cette expérience a été hors norme. D’une part, le fait de partir d’un objet réel pour le faire porter une personne, a demander la mise sur pied d’un dispositif de numérisation sophistiqué et une infrastructure performante. Il faut savoir que la numérisation d’un masque débute avec la prise d’environ 900 photographies haute résolution pesant chacune d’elle environ 120 MB pour une résolution de 60 méga pixels. Pour ces travaux de photographie, nous avons pu compter sur l’accueil bienveillant d’Alain Trétout et Jean-Claude Fernandez dans la maison où Werner Strub a terminé sa vie. Ensuite, il a fallu effectuer le travail de génération des masques par calcul qui remet ensemble toutes les photographies prises sur trois axes et sur trois angles de vue pour composer le modèle digital du masque. En parallèle de cette numérisation, une application basée sur le moteur de rendu graphique Unity a été spécialement développée. Cette dernière utilise des procédés d’apprentissage automatique aussi appelé intelligence artificielle pour adapter le masque numérisé sur le visage du visiteur. Il a fallu des centaines d’heures de développement pour arriver au bout des difficultés pour assurer un alignement des yeux et de la bouche avec ceux du masque et assurer une performance de plus de 30 images par seconde pour la reproduction du masque sur l’écran.

Moins trois mois

D’autre part, il a fallu se battre contre le temps. En effet, les perturbations liées à la crise sanitaire ont diminués de trois mois le temps disponible pour la réalisation des différentes tâches, certaine ressource étant insidponible. Et contrairement à un projet courant, les projets dans le domaine culturel ont des dates fixes de lancement qu’il n’est pas possible de reporter. Il fallait donc être prêt le 15 octobre 2020. Failure is not a option. Et c’est grâce à la vaillante volonté et la détermination des membres de l’équipe que le délai a pu être tenu. Nous avons dû prioriser, segmenter et s’unir pour que tout soit prêt le jour J.

 

L’équipe de projet

Un projet, c’est d’abord une équipe à savoir, par ordre alphabétique :

Akop Kirakosyan
Développement Unity3D Face tracking and face masking

Alain Renaud
Gestion de projet et ingénierie digitale

Christopher Ferraris
Design modèle 3D

Christos Gatzidis
Conseillé scientifique

Félicien Fleury
Gestion projet et ingénierie digitale

Stelios Petrakos
Développement Unity3D face masking

Tom Davis
Conseillé scientifique