Los secretos de la estereoscopía

ESCUELA TÉCNICA SUPERIOR EN INGENIERÍA INFORMÁTICA (ETSII)

MASTER EN INFORMÁTICA GRÁFICA,

JUEGOS Y REALIDAD VIRTUAL

Marcos García marcos.garcía@urjc.es

Historia

• Siglo II: Claudius Galenus

• Siglo III: Euclides

• Siglo XV: Leonardo da Vinci

• Siglo XVII: François d'Aguilon -> Opticorum Libri Sex philosophis juxta ac mathematicis utiles

• 1833: Sir Charles Wheatstone primer estereoscopio

• 1849: Sir David Brewster crea un estereoscopio que funciona con fotografías

Historia

• 1858: Joseph d’Almeida primer sistema anaglifo.

• 1885: Etienne Jules Marey aplica el estero a sus imágenes en movimiento

• 1903: L’Arrivée du train, primer corto en 3D de los hermanos Lumiere

• 1915: Primer corto comercial.

• 1922: Primera película 3D: The Power of Love.

Historia

• 1922: Prizma Color y Teleview

• 1935: Propaganda Nazi

• 1936: Se aplican los filtros polares al mundo del 3D

• 1952-1955: Bwana Devil, Dial M for Murder …

• 1982: Se emite un programa de TV en 3D

• 1986: IMAX

• 2010: Se emite un evento deportivo. Se venden televisores 3D de forma masiva.

RV

¿Podemos confiar en nuestros

sentidos?

¿Cómo percibimos la profundidad?

http://www.youtube.com/watch?v=bBQQEcfkHoE

http://www.youtube.com/watch?v=Jd3-eiid-Uw

Fundamentos de la visión estéreo

• Nuestros ojos captan dos imágenes desde dos puntos de vista distintos – Depende de la separación intraocular (DIO)

• Entre 45-75mm (65mm es lo habitual)

– Disparidad o divergencia: entre las dos imágenes existen diferencias en la dirección horizontal

• Son interpretadas como una única imagen, información de la distancia (fusión y estereopsis)

• La sensación de profundidad depende de la disparidad y la disparidad de la DIO – A mayor DIO mayor disparidad, mejor captación de la profundidad en

objetos lejanos

Pequeño experimento

Los ojos convergen en el pulgar.

El fondo se ve doble

Los ojos convergen en el fondo.

El pulgar se ve doble

Fundamentos de la visión estéreo

• Convergencia: punto en el cual intersecan los ejes ópticos

– Punto de divergencia 0

– En puntos muy alejados los ejes ópticos son casi paralelos

– La divergencia nunca se produce

– A partir de ciertas distancias no se distingue la profundidad • Depende de las personas

• Entre los 60 y 100m

• Acomodación: enfoque óptico de un punto

• Fusión: proceso conjunto de acomodar un punto y hacer converger los ejes ópticos en él

Imagen estéreo

• Llamaremos imagen estéreo a la fusión de la imagen del ojo derecho con la imagen del ojo izquierdo

• Cada una de los dos elementos que componen la imagen estéreo recibe el nombre de campo

Parámetros estéreo

• Distancia intraocular (DIO)

• Distancia al centro de proyección (d)

• Paralaje (Paralax) – Depende de los

factores anteriores

• Traslación horizontal de la imagen HIT

DIO

d

Plano de proyección

Cámara Izquierda

Cámara Derecha

Paralaje

• Paralax: distancia entre las dos proyecciones de un punto en el plano de proyección

• Disparidad: distancia entre las dos proyecciones de un punto en las retinas

• Paralax Disparidad Fusión Estéreopsis

• Depende de

– La distancia intraocular

• A más DIO más paralax

Paralaje

• Tipos de paralaje

• Según el eje – paralaje horizontal

– paralaje vertical (no debe producirse)

• Según la distancia – Cero paralaje: El punto se encuentra sobre el plano de

proyección. (ZPS: Zero Parallax Setting)

– Paralaje positivo. El punto se encuentra detrás del plano de proyección.

• Divergente: no debe producirse

– Paralaje negativo

Paralaje

paralaje Positivo Cero paralaje paralaje Negativo

Horizontal Image Translation

• Traslación horizontal de los campos del par estéreo

• Parámetro de ajuste (tunning)

• HIT paralax

– HIT no depende de la distancia

Problemas a tener en cuenta

• Relación acomodación/convergencia

• Imágenes congruentes

• Bordes

• Imágenes cruzadas

• Paralaje vertical y divergente

Relación

acomodación/convergencia

• Punto de enfoque Punto de convergencia

• Acomodación en la pantalla

• Puede estar por delante o por detrás

• No hay problema para puntos con 0 paralax

• Produce – Dificultades en la fusión

– Incomodidad

Acomodación

Convergencia

Relación

acomodación/convergencia

• El efecto depende de:

– La persona

• En niños y gente que trabaja con imágenes estéreo e problema es menor

– Depende de la escena que visualicemos

– Del tamaño de la pantalla (mejor cuanto más grande)

– De la distancia al plano de proyección (mejor cuanto mayor)

– Del tipo de paralaje (mejor el paralaje positivo)

Relación

acomodación/convergencia

• Se intenta que el paralaje no exceda los 1’5º

1’5º d

Max paralax

Max paralax = 2*d*tan (1’5º/2)

Imágenes congruentes

• Las dos imágenes deben tener

– Congruente brillo

– Igual intensidad

– Igual contraste

• Deben mostrar la misma escena

• Provoca

– Dificultades en la fusión

Bordes

• Las imágenes que no están totalmente contenidas en la pantalla dan problemas

• Imágenes con paralaje negativo – El paralaje indica que el objeto está delante de la

pantalla

– El corte con el borde indica que está detrás

– Son más tolerantes al recorte horizontal que al vertical

• El paralaje positivo no es un problema

Paralaje vertical o/y divergente

• Nunca debe de producirse

• Provoca

– Dificultades en la fusión

– Incomodidad (incluso malestar)

– Obliga al ojo a realizar un movimiento no natural

• Se produce por

– Movimientos del usuario

– Utilización de algoritmos equivocados

Imágenes cruzadas

• Este efecto se produce cuando un ojo ve una imagen que no le corresponde

• Se produce el efecto de imagen fantasma o ghosting

• Se debe a problemas tecnológicos

– Problemas con los filtros (movimientos del espectador)

– Problemas de sincronización con los dispositivos

– Problemas de latencia de la pantalla o los proyectores

– …

Ortoesterografía

• Buscar imágenes isomorfas con el mundo real

• Requiere conocer la posición del usuario

• Imposible si hay mas de un espectador

Como mejorar las sensaciones del usuario

• No buscar la ortoesterografía

• Controlar el paralaje – Central el objeto principal en el plano de proyección

• Alejar al espectador de la pantalla – Situación respecto la pantalla

Como mejorar las sensaciones del usuario

• Estresar la perspectiva

Efecto ventana

Efecto ventana

Tipos de dispositivos

• Dispositivos activos – Muestran alternativamente los campos de una imagen

estéreo

– Requieren mecanismos de sincronización costosos

– Los proyectores son baratos

• Dispositivos pasivos – Las dos imágenes son mostradas a la vez

– No requieren mecanismos de sincronización

– Los proyectores son caros

Tipos de dispositivos

• Anaglifo

• HMD

• Proyectores – Pasivos: 2 proyectores

• Filtros: – Polares

– Cromáticos

– Activos: más de 200Hz • Señal de sincronización infrarroja.

Tipos de dispositivos

Tipos de dispositivos

http://eu.trioviz.com/fr

red-green pure red pure green monochrome

red-blue pure red pure blue monochrome

red-cyan pure red pure cyan (green+blue)

color (poor reds, good greens)

anachrome dark red cyan (green+blue+some red)

color (poor reds)

mirachrome dark red+lens cyan (green+blue+some red)

color (poor reds)

Trioscopic pure green pure magenta (red+blue)

color (better reds, oranges and wider range of blues than red/cyan)

INFICOLOR complex magenta complex green

color (almost full and pleasant natural colors with excellent skin tones perception)

ColorCode 3D amber (red+green+neutral grey)

pure dark blue (+optional lens)

color (almost full-color perception)

magenta-cyan magenta (red+blue) cyan (green+blue) color (better than red-cyan)

Infitec white (Red 629 nm, Green 532 nm, Blue 446 nm)

white (Red 615 nm, Green 518 nm, Blue 432 nm)

color (full color)

Tipos de dispositivos

• Televisiones actuales: – Pasivos: 2 leds por color y punto.

Cromáticos.

– Activos: frecuencias superiores a 200Hz

• Monitores auto estereoscópicos: – Sistema pasivo sin gafas

• Sistemas volumétricos [X,X]

Formatos

• Líneas entrelazadas

• Above-below

• Syde-by-side

• Red-Cyan

• Quadbuffer

• Otros (White line code)

Líneas entrelazadas

• Se utilizan la líneas pares para un campo y las líneas impares para el otro campo

• Problemas

– Reduce la definición vertical (menos puntos por columna)

Above-below

• Se divide el área de renderizado verticalmente

• Debe introducirse como parámetro el tamaño de la línea de separación de campos

• Problema

– Pérdida de resolución horizontal

Above-below (II)

Syde-by-side

• Se divide le área de renderizado horizontalmente colocando un campo al lado del otro

• Debe introducirse como parámetro el tamaño de la línea de separación de campos

• Problema – Pérdida de resolución vertical

Syde-by-side (II)

Red-Cyan

• Un campo se pinta con tonalidades de rojo y el otro con tonalidades de cian

• Problemas

– Suele darse el fenómeno de ghosting

– Se pierde congruencia entre los campos de la imagen estéreo

Quadbuffer

• Extensión del doblebuffer para estéreo

• Se utilizan dos buffers para cada campo

• Problemas

– Necesita sincronización hardware

– Necesita una tarjeta con velocidades de refresco altas

Implementación

• Implementación para sistemas con dos planos de proyección (HMD)

• Implementaciones para sistemas con uno único

– Toe-in

– Off-axis

Implementación para sistemas con

dos planos de proyección

DIO

Cámara Izquierda

Cámara Derecha

• Proyección sobre dos cámaras

– Separadas una distancia DIO

– Con la misma orientación

• Parámetros

– Distancia intraocular (DIO)

Toe-in

• Proyección sobre dos cámaras – Separadas una distancia DIO – Orientadas hacia el centro del

plano de proyección

• Orientación

• Parámetros – Distancia intraocular (DIO) – Distancia al plano de

proyección (d)

• Este método introduce paralaje vertical

)2

arctan(º90DIO

d

DIO

Plano de proyección

α

β

d

DIO/2

DIO

Plano de proyección

Toe-in

Off-axis

• Centro de proyección estéreo (SCOP)

w

h

h

d

SCOP

w

d

SCOP

)2

arctan(2d

w

)2/tan(

)2/tan(

h

wa )

2arctan(2

d

h

Off-axis

• Centro de proyección del campo izquierdo (LCOP)

w/2+DIO/2

d

LCOP

q

DIO

r

t

)2

)2/tan(arctan()2

arctan(

))2/tan('arctan(

)2

)2/tan(arctan()2

arctan(

2

)2/tan(

)2/tan('

d

DIOa

d

DIOw

a

d

DIOa

d

DIOw

h

DIOa

h

DIOwa

r

q

q

qt

t

Off-axis

Off-axis

Off-axis

• Proyección sobre dos cámaras

– Separadas una distancia DIO

– Con la misma orientación

• Parámetros

– Distancia intraocular (DIO)

– Distancia al plano de proyección (d)

– Ángulo de apertura vertical () o tamaño de la pantalla

– Relación altura (h) anchura (w), aspect-ratio (a=w/h)

Off-axis

• Creación del frustrum en openGl

Off-axis

• Creación del frustrum en openGl

Dudas ???

Bibliografía

• Virtual Reality Technology (Second Edition) Grigore C. Burdea, Philippe Coiffet Ed. Wiley-IEEE Press, 2003

• http://www.cs.unc.edu/Research/stc/FAQs/Stereo/stereo-handbook.pdf

• http://local.wasp.uwa.edu.au/~pbourke/projection/stereorender/ – Calculating Stereo Pairs

– 3D Stereo OpenGL example

– A portable rear projection stereoscopic display

• http://www.captain3d.com/stereo/html/tutorial.html