L’interprétation de la chanson Medellín par Madonna au Billboard Music Awards le 1er mai dernier avait de quoi surprendre. La performance débute avec l’icône pop chantant au sol, seule sur scène. Les secondes passent et des danseuses virtuelles apparaissent, chacune dans son costume, avec sa propre chorégraphie : cinq Madonna chantent et dansent en même temps pour le public à la télé.
«C’était la première fois que la capture volumétrique était utilisée en direct à la télé», explique Simon Tremblay, chef des nouveaux médias chez Reflector, un jeune studio spécialisé dans le contenu multiplateforme mis sur pied par Alexandre Amancio, anciennement d’Ubisoft, et Guy Laliberté, le cofondateur du Cirque du Soleil.
https://www.youtube.com/watch?v=P2vt4YvwOQg
La collaboration est née d’une rencontre entre le studio et le gérant de Madonna, qui était à la recherche d’une technologie jamais employée à ce jour pour projeter simultanément plusieurs avatars de sa cliente sur scène. «La capture volumétrique était une technologie qui répondait aux critères et qu’on avait ciblée pour créer un jour des expériences narratives. C’était donc un bon moyen pour nous familiariser avec elle et la tester dans un contexte réel. On l’a proposée et ils ont accepté. Le tout s’est déroulé très rapidement, nous n’avions que deux mois pour tout faire», raconte Simon Tremblay.
La capture volumétrique est une technologie récente, qui permet de filmer des acteurs en trois dimensions. «Des caméras au laser génèrent une géométrie tridimensionnelle d’un avatar virtuel, et des caméras traditionnelles filment les textures et les couleurs», explique Simon Tremblay.
La technologie, notamment mise de l’avant par Microsoft et Intel, convertit les données recueillies en un personnage à l’allure réaliste, en trois dimensions, qui peut être intégré à un moteur de jeu vidéo. Le processus informatique est long et complexe. Il a fallu attendre deux semaines pour terminer le traitement des cinq minutes de Madonna filmées dans un studio de Londres en mars dernier.
Ce que l’on peut en faire ensuite est limité seulement par l’imagination des créateurs. Certains pourraient les utiliser dans des applications de réalité virtuelle, dans une expérience en réalité augmentée avec un casque comme les Hololens ou, comme dans ce cas-ci, dans une performance télévisée en direct où des avatars réels interagissent avec des personnes en chair et en os.
Ce n’est pas la première fois que des hologrammes sont déployés de la sorte pendant un spectacle. Le rappeur Tupac avait notamment chanté sur scène au festival Coachella en 2012, soit 16 ans après sa mort. «Ces hologrammes sont conçus en projetant une image sur du verre ou un film transparent», explique Simon Tremblay. Cette technologie a l’avantage de pouvoir être appréciée par les spectateurs sur place (ceux qui assistaient en personne à la performance de Madonna ne voyaient qu’une seule chanteuse, puisque les quatre avatars étaient ajoutés à l’écran seulement), mais elle ne peut être utilisée dans des univers 3D, par exemple.
Et contrairement à la capture de mouvements employée dans le jeu vidéo, où des capteurs placés sur le corps d’un acteur permettent de produire un squelette en trois dimensions sur lequel un personnage est ensuite créé, la capture volumétrique conçoit des personnages photoréalistes. Ceux-ci n’ont toutefois pas la flexibilité d’un personnage de jeu vidéo traditionnel. Le costume enfilé par Madonna lorsqu’elle a été filmée sera par exemple celui que son hologramme portera sur scène et ses expressions faciales ne pourront être modifiées.
La technologie évolue, assure cependant Simon Tremblay. «On a entre autres travaillé avec un studio de Halifax, Arcturus, pour faire des retouches. Il y a de plus en plus d’entreprises qui développent des solutions pour rendre la technologie plus flexible», observe-t-il.
La capture volumétrique est encore toute jeune. À l’exception de la performance de Madonna au Billboard Music Awards, elle est surtout utilisée pour les casques de réalité augmentée, une autre technologie naissante. Le fabricant de processeurs Intel, qui possède un grand studio de capture volumétrique aux États-Unis, s’est aussi servi de la technologie au dernier salon Consumer Electronics Show pour présenter un concept de publicité 3D interactive.
Pour Simon Tremblay, la capture volumétrique pourrait être particulièrement intéressante en réalité virtuelle. «Beaucoup de gens n’aiment pas l’aspect dessin animé des personnages 3D. Avec cette technologie, on peut voir de vrais acteurs. Ça amène le réalisme à un autre niveau», estime-t-il.
«Quand la réalité virtuelle et la réalité augmentée vont rejoindre le grand public, on pourrait par exemple imaginer avoir un professeur de yoga en 3D dans son salon, dont on pourrait faire le tour pour bien étudier les poses», croit-il. Pour le chef des nouveaux médias chez Reflector, la technologie pourrait aussi être utilisée pour avoir de vrais acteurs dans les jeux vidéo.
La capture volumétrique devra toutefois être améliorée avant qu’on la retrouve dans des projets du genre. «La fidélité est encore limitée», observe Simon Tremblay. La taille des studios de capture volumétrique affecte en effet le réalisme des images. Un personnage filmé en plan américain, comme Madonna pour sa performance aux Billboard Music Awards, pourra apparaître pixélisé si on s’en approche de trop près. D’autres studios permettent de filmer en gros plan, mais on perd alors le corps de l’acteur.
Ces problèmes pourraient néanmoins être de courte durée. «C’est tellement nouveau comme technologie que la clientèle n’a pas encore défini quels sont les besoins. Plus ces besoins seront clarifiés, plus la technologie va se raffiner», prédit-il.
D’autres enjeux seront aussi plus éthiques que technologiques. «Si on faisait un spectacle en réalité virtuelle avec Madonna, on ne pourrait pas te permettre d’aller mettre ton nez juste devant elle, explique Simon Tremblay. Il faut être sensible avec ces choses-là. Nous devrons trouver comment mettre les artistes en valeur, tout en protégeant leur image.»
