RVAU: Introduction a la Realite Virtuelle

Lien de la note Hackmd

Realite virtuelle

C’est quoi ?

C’est toutes les technologies utilisees pour immerser un humain dans un monde virtuel

Contrairement au cinema, on est acteur

Terme introduit par Jaron Lanier en 1988

Maybe we should go over what Virtual Reality is. We are speaking about a technology that uses computerized clothing to synthesize shared reality.

Une definition

“La realite virtuelle est un domaine scientifique et technique, exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entite 3D, qui sont en interaction en temps reel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermediaire de canaux sensori-moteurs” P. Fuchs, Le traite de la realite virtuelle vol. 1

C’est un univers 100% virtuel

Realite augmentee

Il faut la distinguer par rapport a la VR

Le but est d’incruster sur le monde reel des elements du monde virtuel

Realite mixte

Un continuu, d’experiences sensorielles

Historique

• Stereoscope
  • Premiere forme de la VR d’aujourd’hui
  • C’etait pour les images fixes
• Sensorama (1962)
• The ultimate display (1965)
  • Premiere reference a la VR
  • Pas une invention, une vision du futur de l’informatique
• The sword of Damocles (1968)
  • Le premier casque VR
  • Tellement lourd qu’il devait etre accroche au plafond
• GROPE Haptic display (1967-1988)
  • Simule le toucher
• Dataglove
• Vived
  • Combinait l’affichage avec des gants
  • Avec commandes vocales
• EyePhone (1989)
  • Premier iPhone
  • Coutait 10k$
• View (1990)
• Cave (1992)
  • Dispositif different
  • Immersion avec des projecteurs
• SPIDAR (1992)
  • Genere un retour de force
  • Genre bague reliee a un fil
• Flock of Birds (1992)
• Casque pour le jeu video (90’s)
  • Technologie encore balbutiante
• Annees 2000-2010
  • Casque de l’ordre de 20k$
  • Plus grosse resolution: 6 millions de pixels par oeil
  • Par comparaison: 1er occulus, 500k pixels par oeil
  • Cave de Renault
    • 5 faces
    • $2\times4k$ par face
    • Plusieurs millions d’euros
• Haption Virtuose 6D (2001)
• Depuis 2010
• Leap motion (2013)

Caracteristiques de RV

Immersion

Mesure selon laquelle le peripherique de RV est capable de remplacer les stimulations sensorielles du monde reel par celui du monde virtuel

Pour chacun de nos sens, la simulation est panoramique

Un appareil qui peut en simuler un autre est plus immersif que ce dernier

Un casque peut simuler un ecran de PC, il est plus immersif

Presence

Le sentiment d’etre present dans l’environnement virtuel

Sur l’image a droite, pour passer de droite a gauche, tout le monde a fait le tour du trou au lieu de passer par-dessus (alors que le sol est en-dessous, il n’allait pas tomber)

Affichage pour la realite virtuelle

Peripherique d’affichage

• En haut a droite: workbench
  • Ecran 3D avec dispositif d’interactions
  • Possibilite d’interagir avec une maquette
  • Donne une zone de travail

Rendu 3D

• Model au monde:
• Projection:
• Pyramide de vue:
  • Near clipping: distance minimale pour voir les objets
  • Far clipping: distance max
• Z-Buffer
• Shaders

Stereoscopie

Bawi on veut de la 3D

On a dans notre monde virtuel 2 cameras

Plusieurs facons de le faire:

• Anaglyphe
  • Filtre de couleurs
  • Une couleur par oeil
  • pb: rendu des couleurs fausse
  • Ce n’est pas du tout utilise pour la RV
• Stereoscopie active
  • Besoin d’electricite
  • Va occulter chaque verre l’un apres l’autre en permanence
  • Pour du 60 fps, on va faire du 120 fps et afficher une fois pour l’oeil droit et une fois pour l’oeil gauche
• Seteroscopie passive
  • Lunettes beaucoup plus legeres
  • Filtres polarisants
  • 2 projecteurs differents
  • Certains rayons pour l’oeil gauche, d’autre pour l’oeil droit

Ecrans auto-stereoscopiques

Ce sont des ecrans qui n’ont pas besoin de lunettes pour etre vus en 3D

Inconvenients:

• ca reduit la resolution de l’ecran par 2
• Il suffit de se deplacer un peu pour que la 3D saute

C’est utilise pour la 3DS :0

Dans un casque de RV

• On applique une correction avec les lentilles pour l’effet vignette

Calibration

• Probleme pour les caves
• Les images doivent etre coherentes et geometriquement justes

Interactions pour la RV

Peripheriques d’interaction

Metaphores d’interaction

Metaphore

Au lieu d’exploiter un comportement sensori-moteur et acquis de la personne, nous lui proposons, visuellement en général, une image symbolique de l’action ou de la perception souhaitée

Manipuler un objet ?

Utiliser une manette, un pointeur, etc.

Utiliser une main virtuelle

Co-localisation

Que la main virtuelle apparaisse a l’endroit de notre main reelle

Gestes

Gizmos

Des “poignees” utilisees pour deplacer les objets dans le monde virtuel

Rayon

Comme un rayon laser, on vise un objet pour interagir avec

Portal-gun style

Tactile

Controles de l’application

Metaphores de navigation

Comment se deplacer dans l’environnement virtuel ?

On pointe et on se teleporte Un utilise un joystick Un tapis roulant dans toutes les directions

Room scale

• Beaucoup utilise par les casques
• Utilise par HTC vive

Deplacement continu

Teleportation libre

Teleportation point a point

Materiel dedie

Monde en miniature

Redirected walking

On tourne legerement l’environnement virtuel, pour faire un mouvement courbe IRL en allant tout droit IVL

Realite augmentee

Le but est d’incruster des elements virtuel au monde reel.

Mais comment ?

• Vue indirecte (video see-through)
  • Aka pokemon go
• Vue indirecte (optical see-through)
  • Donne l’impression que l’objet virtuel est reel
• Projection dans l’environnement
  • Dans le cas d’une voiture

Nouveaux peripheriques de realite augmentee

• Hololens

Ces peripheriques peuvent embarquer differents capteurs