Faire ses Storyboards en VR - 2020 Part 1

De nombreux auteurs immersifs se sont essayé à cet outil très utile qui nous vient de la tradition du cinéma d’animation et très utilisé par de nombreux réalisateurs outre Atlantique. Par exemple, Alfred Hitchcock était connu pour préparer ses films à la perfection avec... le Storyboard !

Pourquoi dessiner pléthore de petites vignettes représentant les plans de votre film, tout en sachant que parfois, vous ne respecterez pas ce « guide » visuel ?

Dessiner ou faire dessiner par un artiste, les plans que vous imaginez, peut vous aider à clarifier l’idée que vous avez de votre film sous forme d’images couchées sur le papier et non plus dans votre tête. Deuxième bénéfice à la clé, en ayant les idées claires, vous allez réduire considérablement votre budget sur de nombreux postes (jours de tournage, jour de développement/programmation, postproduction, pipeline d’animation, etc.)

Au moment précis où notre regard parcourt les dessins du storyboard, on s’aperçoit assez souvent que certaines idées ne fonctionnent pas tout à fait comme on l’avait imaginé. Alors on modifie, on retravaille, on affine notre scénario et le découpage. Mieux, on trouve de nouvelles idées, bien meilleures que les précédentes et on ré-agence les scènes, etc. Vous le comprenez, l’écriture est un travail en perpétuel mouvement et un des outils de « modelage » de l’histoire est le storyboard.

Le storyboard est particulièrement utile dans les cas de tournages ou d’animations complexes à visualiser et coûteuses. Et c’est pour cette raison que je pense qu’il est utile d’en parler dans sur un blog consacré à l'écriture de contenus immersifs, car il est évident que nous nous confrontons toujours plus à de nouvelles complexités narratives dans le monde de l’immersion.

Sur le papier

Certains dessinent des vignettes sous la forme de la vidéo « équirectangulaire », ce qui oblige le storyboardeur et le réalisateur à penser en terme de vue « sphérique dépliée ». D’autres préfèrent dessiner plusieurs vignettes représentant seulement les angles des objectifs de la caméra 360 où se déroule l’action principale.

Ce n’est vraiment pas le plus pratique et franchement, en tant que professionnels du monde de « l’immersif » nous devrions avoir qu’une seule envie : voir nos « scénosphères » (ou plans à 360°) en immersion, avec un casque VR et les parcourir en 6 DOF !

C’est dans ce cas précis que nous aurions besoin de logiciels graphiques simples, dans lesquels on pourrait dessiner nos scènes mais, c’est essentiel, directement en immersion dans un espace en 3 dimensions avec notre casque VR sur la tête ! Le tout simplement, sans avoir des années de pratique du dessin derrière soi…

Allez ! Tous en VR !!

Et bien oui, c’est bien ce que je propose dans ce nouvel article, c’est de scénariser, clarifier votre univers et le rendre puissant sur le plan narratif en créant votre storyboard en VR…

Mais nous allons aller au-delà de la simple représentation de votre expérience pour le réalisateur et son équipe. Votre storyboard devient un outil de présentation face à vos clients ou vos financiers et, on le verra dans des articles futurs, rendre ce storyboard interactif sans programmer une ligne de code et transformer votre travail de préparation (de préproduction) en réel prototype.

Première étape : pour créer et dessiner un storyboard en VR, quel logiciel, quel matériel ?

Le matériel, soyons clair, est limité aux casques qui ont deux contrôleurs (mains droite et gauche) et pour lesquels les logiciels dont je vous parle, ont été développés. Cela nous limite à l’Oculus Rift ( et le S), le Quest (avec quelques restrictions selon les logiciels), le HTC et ses déclinaisons, le Valve Index et Pimax, bref tous ceux qui utilise la technologie Steam VR. Et pour certain softs de dessins, aux casques Windows Mixed Reality (logiciels que je n’ai pas testés).

Au sujet des logiciels, dans une liste non exhaustive nous avons Tiltbrush, Masterpiece Studio, Quill, Medium, Tvori, Gravity Sketch ou Blocks. Aucun n’est spécialement fait pour le storyboard mais tous peuvent être détournés afin de storyboarder nos expériences immersives.

De plus, certains nous permettent d’exporter les scènes sous forme de vidéo 360 et de faire un prémontage VR ou, au format 3D « .fbx » pour des logiciels comme Unity ou Unreal Engine et pour des outils de prototypage simplifiés que nous aborderons plus loin.

Tvori reste un cas à part : à sa sortie, c’était un logiciel d’animation, puis des outils de sculpture ont été intégrés (version Pro) et pour finir, il est le premier (et le seul) à proposer un export VR 6 DoF dans le but de créer des prototypes.

Pour que vous puissiez vous faire une idée et trouver chaussure à votre pied, je vous propose de détailler ces softs dans l’objectif de préparer vos plans à 360°, donc, du storyboarding en VR.

Tout d’abord quel outil choisir pour dessiner en VR, donc en 3D ??

Les outils de dessins

J’ai consacré sur ce blog deux articles sur ces logiciels de dessin en VR, et nous allons poursuivre cette investigation et en voir de nouveaux.

Peu importe le logiciel que vous choisirez, il vous faut garder en tête deux possibilités en sortie de ces logiciels :

- Exporter des vidéos ou image fixe équirectangulaire afin de les monter dans un logiciel de montage à 360°

- Exporter votre scène à 360° au format FBX afin de l’utiliser en 6 DoF dans un moteur 3D « temps réel ».

Par chance, la plupart des logiciels VR de dessin que nous allons découvrir proposent ces deux options.

Ces logiciels graphiques VR qui vont nous aider dans l’écriture de nos projets !

Tiltbrush

Pour en savoir plus, reportez-vous à ce premier article où je décris largement ce logiciel et je ne vais pas revenir ici sur le descriptif de celui-ci.

Un petit mot pour dire que Tiltbrush a très peu évolué malgré une communauté toujours grandissante. C’est assez décevant de la part de Google qui édite ce logiciel alors autant se rabattre sur les fans qui font beaucoup pour ce dernier.

Seule évolution, on peut animer une caméra sur un chemin vectoriel (courbes de Bézier) et préparer une vidéo qui se déplace dans l’univers que vous avez sculpté. Utile pour simuler un déplacement pour une présentation dans notre cas de storyboard.

L’interactivité de Tiltbrush dans Unity pour un storyboard poussé

Pour Tiltbrush précisément, vous devez télécharger (gratuitement), le SDK « boite à outils » nécessaire à l’importation des sculptures. Chercher sur Google, ou cliquez ici pour télécharger le SDK Tiltbrush. Vérifiez de bien prendre la dernière version et de l’importer dans Unity. Une fois le SDK intégré dans Unity, vous pourrez glisser-déposer le fichier FBX de vos exports Tiltbrush et ils seront considérés somme des objet 3D à part entière. Vous pourrez les animer simplement, mais surtout créer de l’interactivité.

Si votre prototype reste simple en terme d’interactivité vous pourrez, selon vos envies et vos capacités, et avec quelques tutoriels, arriver à réaliser seul votre projet. Si vous êtes un néophyte en la matière cela peut vous prendre beaucoup de temps, sinon, il faudra faire appel à un développeur Unity.

Pourquoi pousser l'expérience si loin ?

Par exemple vous pouvez charger la totalité des scènes de votre expérience, vous déplacer dans votre décor, à l’échelle que vous avez décidée et passer de scène en scène selon les éléments déclencheurs que vous aurez prévus (triggers). A propos de ces derniers, on peut utiliser des zones invisibles dans lesquelles l’utilisateur peut passer, ou un objet à saisir, un point précis à regarder, etc.

Une fois votre storyboard/prototype prêt vous pourrez l’exporter en tant qu’application auto-exécutable et la présenter à vos client ou financiers. Mais avant tout, vous pourrez vivre et tester votre propre expérience et la peaufiner si besoin.

Les tutos disponibles

L’éditeur ne s’est pas trop donné de moyens pour l’apprentissage de son logiciel. Il existe une documentation et quelques vidéos assez peu didactique. La solution pour apprendre Tiltbrush c’est la chaine Youtube de SABBY LIGHF.

Sabby, cette jeune femme talentueuse, est une artiste Tiltbrush, mais pas uniquement. Sa générosité la pousse à réunir la communauté des artistes Tiltbrush et VR sur une page FaceBook et d’y créer des concours hebdomadaire et mensuel d’œuvres de sculpting/painting VR et même un festival de performances, le « VR Burn Festival ». Egalement, elle a décortiqué Tiltbrush sous forme de tableaux pour en extraire des fonctions qui ne sont pas notés dans la documentation et même des fonctions cachées. De plus, Sabby est une personne très accessible via sa page facebook.

Tous les liens pour mieux connaitre Tiltbrush à travers Sabby Lighf :

Chaine Youtube : https://www.youtube.com/channel/UCPZljvp-eEhbvOcoQGIv5Cg

Communauté Facebook : https://www.facebook.com/groups/VRArtLIVE/

Sabby Lighf website : https://www.thesabbylife.com/

Masterpiece Studio : Creator et Motion (ex MasterpieceVR)

C’est, selon mon expérience, le meilleur outil de création 3D et 2D actuellement présent sur le marché à l’heure où je vous écris. Anciennement MasterpieceVR, l’éditeur a « refondu » son logiciel pour en proposer deux versions totalement complémentaires.

Creator

Creator ressemble à s’y méprendre à MasterpieceVR. Il reste le logiciel principal de Sculpture 3D.

La partie 3D se présente sous la forme d’un outil ayant la forme de primitives (sphère, cube, tore, etc) qui émettent de la « glaise » 3D ou plutôt de la « Clay » (pâte à modeler) selon la forme choisie.

2 outils de création : Clay et Mesh

La « Clay » définit tout ce qui est 3D pure. Comme décrit ci-dessus, une primitive apparaît au-bout de votre manette et « éjecte » de la matière « glaise » ou « pâte-à-modeler ».

Le « Mesh » définit des pinceaux, un peu comme dans Tiltbrush, dont certains sont même plus beau. Dommage que l’on n’en compte que huit, qui sont multipliés par la forme des pinceaux/primitives (plat, cylindrique, carré), la forme des extrémités variables (3 options), la réduction de taille selon la vitesse (flow). Mais avoir le double de styles de pinceaux ne serait pas un luxe.

A son avantage, Masterpiece propose des outils très poussés de retouches 3D (option clay seulement) comme le lissage, l’ajout de « bruit » (de la rugosité sur la surface 3D), l’étirement, le repoussage, le shrink, le bulge, le twist qui permettent le contrôle de la surface que vous allez peindre et travailler directement en VR.

Vous pouvez donc, peindre à l’aérographe ou au pinceau, vous pouvez mélanger les couleurs (blur), modifier la teinte, luminosité, saturation/désaturation, peindre avec des taches selon un motif (splatter), le tout directement sur la texture.

L’export de la 3D et des textures a été grandement travaillé et c’est, pour le moment, l’outil VR le plus performant du marché pour exporter vers des logiciels comme Maya, Z-Brush, Houdini, etc.

Le point sur lequel Masterpiece a fait un effort de développement énorme est d’avoir eu l’intelligence de comprendre qu’un système de calques serait idéal pour les créateurs et mettrait leur logiciel (au moins) au niveau de son concurrent Medium qui possède ces incontournables calques depuis le début.

Mais il existe un second logiciel, totalement lié au premier, Motion.

Dédié au rigging, c’est-à-dire la construction de squelette d’animation pour un personnage, un animal et tout ce qui peut être animé, il possède également un module d’animation en VR avec un système d’image clé et de time line.

Ce module peut-être intéressant pour ajouter à votre storyboard quelques animations, voire le transformer en prototype.

Retour sur Creator

Mais justement qu’est ce qui fait malgré tout de Masterpiece Creator, apparemment « trop » performant pour notre storyboard, un outil intéressant ??

Creator est un outil COLLABORATIF ! Ce qui veut dire que vous pouvez inviter dans une scène plusieurs personnes dans votre storyboard avec différents types d’autorisations : travailler, retoucher le sculpt, ou seulement regarder… Ce qui veut dire clairement que vous pouvez travailler à plusieurs et faire une présentation en VR en étant DANS l’univers VR en même temps que votre invité/producteur et, bien entendu, les collaborateurs peuvent être à distance d’une ville ou d’un pays !!!

Conclusion Le point fort global de Masterpiece est le dynamisme de cet éditeur, je le précise, privé. Ce n’est pas un Google, un Adobe ou un FaceBook/Oculus et, loin d’être un mastodonte, cette jeune société a réussi à développer le meilleur outil 3D/2D du marché, simplement en ayant foi en leur projet.

Le point faible est qu’il s’adresse un peu plus aux professionnels de la sculpture et paint 3D qu'aux simples créateurs de Storyboards.

Je pense qu’en tant qu’auteur-réalisateur VR/AR, on peut créer sur Masterpiece des expériences sous forme de « maquettes » (storyboard) ou de A à Z, c’est-à-dire finalisées. C’est sa grande force.

Sachez que vous pourrez retrouver des chapitres détaillés dans mon eBook version 2020 à paraître bientôt (gratuit pour les possesseurs de la 2019) sur le Storyboard VR avec des méthodes et des techniques approfondies.

inscrivez-vous ! A bientôt.