RI Tema 14. Avances en Visión

Tema 13. Introducción a la visión por computador

Página 1

Robótica Industrial. Grado en Electrónica Industrial y Automática.

Curso 2014-15. Escuela de Ingeniería Industrial. Universidad de Vigo.

1Tema 13. Introd. visión por computador. Robótica Industrial. Grado en Electrónica Industrial y Automática. E.I.I. Univ. de Vigo

Tema 14. Avances en Visión Artificial

Índice� Introducción al reconocimiento de patrones

� Segmentación y extracción de características.

• Áreas (Blobs)• Fronteras o bordes• Vértices o puntos

� Visión tridimensional

• Estéreo• Luz estructurada• Cámaras TOF


Introducción al reconocimiento de patrones.

� El reconocimiento de patrones va mas allá de la mejora de la imagen, buscando identificar características o patrones relevantes de la imagen.

� Lo más normal es partir de una imagen “pre-procesada” mediante técnicas de bajo nivel.

� El reconocimiento de patrones suele englobarse en tres etapas :

• Segmentación : Clasifica a los puntos dentro de un conjunto de clases (2 en el caso binario).

• Etiquetado : Agrupa puntos con características similares para formar objetos.

• Clasificación : Determina la clase, categoría o modelo al que pertenecen los objetos.


Página 2




Introducción al reconocimiento de patrones.

Segmentación Etiquetado Clasificación


Segmentación y etiquetado de imágenes

� En cuanto a la unidad significativa que rige la segmentación, ésta suele corresponder a regiones, contornos o vértices que muestran o disciernen una similitud en cuanto a intensidad, color, textura, movimiento, etc.

� Esto lleva a distintos tipos de técnicas y representaciones encaminadas a conseguir objetivos diversos.


Página 3




Segmentación de imágenes – regiones conexas.

� Los algoritmos básicos asocian cada pixel de la imagen a una determinada clase según su nivel de gris.

� Es necesario determinar los rangos de intensidad que representan a cada clase. Para ello se emplean técnicas basadas en el análisis de histogramas.

• Umbrales constantes• Umbrales locales• Umbrales óptimos

� Métodos más elaborados emplean la noción de conectividad para agrupar zonas:

• Algoritmos de crecimiento de regiones conexas basados en criterios de similitud.

• “Split and Merge” y sus variantes piramidales.


Clasificación basada en regiones.

� Una vez que se dispone de un modelo mas o menos

abstracto de la imagen segmentada en regiones, se

procede a la clasificación, destacando 2 etapas :

• Extracción de propiedades salientes. Se determinan una serie de valores que caracterizan a cada uno de los objetos.

• Clasificación. Se asocia cada objeto a una de las clases de un banco de modelos.


Página 4




Extracción de propiedades.

� Un método clásico consiste en calcular una serie de

propiedades simples (Análisis de BLOBs):

• Área.• Perímetro.• Elongación• Anchura• Compacidad• Centro de gravedad.• Momentos invariantes• Descriptores de Fourier


Clasificación.

� Los n valores calculados conforman un punto en el espacio Rn. Los modelos de cada clase también forman

un punto en dicho espacio.

� La clasificación consiste en encontrar el modelo más

cercano.

• Criterios Bayesianos.• Redes Neuronales.• Métodos exhaustivos.


Página 5




Segmentación de imágenes - Contornos.

� Se basan en suponer que existe una correspondencia entre las discontinuidades en intensidad de una imagen y la frontera de los objetos contenidos en la misma.

� Algoritmos basados en máscaras de convolución => problema: selección del umbral.

� Algoritmo de Marr-Hildred: cruces por cero del Laplacianodel Gausiano (LoG)

� Algoritmo de Canny. Incluye pre-suavizado, detección de máximos locales y selección dinámica del umbral.


Ejemplos de detección de bordes

Sobel, th=0.05 M-H, sig=1

M-H, sig=2Sobel, th=0.1 Canny, sig=2, th=0.2

Canny, sig=1, th=0.1


Página 6




Comparativa Marr-hildred vs Canny

CannyMarr Hildred

sigma=1 sigma=1 sigma=2sigma=2

sigma=3sigma=3 sigma=4 sigma=4


Segmentación de imágenes – Detección de Rectas.

� Aproximación poligonal:

• Unión de vértices• Algoritmos de Split&Merge

– Aproximación del contorno

– Aproximación de la curva Fi/S

� Transformada de Hough

• Acumulador: espacio paramétrico• Detección de rectas y arcos


Página 7




Transformada de Hough


Ejemplo de aplicación:Reconocimiento de piezas parcialmente solapadas


Página 8




Ejemplo de aplicación:Reconocimiento de piezas parcialmente solapadas


Segmentación de imágenes - Vértices

� Los vértices del contorno del objeto proporcionan, en

general, información mínima y suficiente para describir el

objeto.

� Suelen ser fácilmente distinguibles

� Análisis de curvatura, análisis del gradiente,

� Puntos de interés:

• Moravec• Harris & Stephens• SUSAN• SIFT• FAST, BRIEF, BRISK,…


Página 9




� Operador de Moravec.

• Varianza direccional de las intensidades en las 4 direcciones en una ventana centrada en el pixel.

– Valor interés = min (V,H,D1,D2).

• ¿ Punto de interés ?– Valor de interés > Umbral.

&

– Máximo Local.

V

H

D1D2

Detección de puntos de interés.


Enlaces a vídeos (1)

Vídeos relacionados con la detección de vértices y sus aplicaciones

� Video tutorial (demo a partir del segundo 1208)

• https://www.youtube.com/watch?v=AewJi9HSdOk#t=1208

� Ejemplo de odometría visual

• https://www.youtube.com/watch?v=2YnIMfw6bJY

� 3D reconstruction

• https://www.youtube.com/watch?v=QTKd5UWCG0Q


Página 10




Detección y reconocimeinto de caras (objetos)

� Viola Jones face detection algorithm:

• Integral image• Haar Features• Adaboost• Cascading


Enlaces a vídeos (2)

Videos relacionados con el algoritmo de Viola-Jones de detección de

caras

� Video tutoriual sobre el algoritmo de Viola-Jones

• https://www.youtube.com/watch?v=Wwn81tVIR10

� How Haar-cascade works

• https://www.youtube.com/watch?v=hPCTwxF0qf4

� Varias aplicaciones relacionadas con el método de Viola-Jones

realizadas en Matlab por Zdenek Kalal

• https://www.youtube.com/watch?v=1GhNXHCQGsM&list=UULKlh0JStv3fQm7rl4vDZlA


Página 11




Técnicas de visión 3D

� Estéreo• Estéreo binocular• Estéreo con múltiples cámaras/puntos de vista• Flujo óptico

� Luz estructurada• Plano de luz (2D1/2)• Retículas (3D)

� Profundidad a partir del enfoque (depth from focus/defocus)

� Cámaras TOF (Time Of Flight)


� Fundamento geométrico

Semejanza de triángulos: (cámaras alineadas, coplanarias)

siendo d la disparidad

� Resolución en función del rango:

• empeora con el cuadrado de la distancia medida• mejora linealmente al aumentar :

– la distancia entre cámaras

– la distancia focal

– la resolución de las imágenes

Visión estéreo

r

b

dl dr

f f


Página 12




Visión estéreo

� Proceso básico:

• Seleccionar un punto (3D) en una imagen• Localizar dicho punto en la otra imagen: correspondencia

• Medir las posiciones laterales respecto a una referencia común• Calcular el rango a partir de la disparidad de desplazamiento lateral

� Simplificaciones:

• Cámaras alineadas• Plano de imagen común• Zona de interés acotada (horopter)• Restricción epipolar• Procesado multiresolución (algoritmos piramidales)• Representación foveal

� Variaciones del mismo tema:

• Estéreo con más de dos cámaras• Estéreo con luz estructurada


Visión estereoscópica

– Disparidad = d = x’L - x’R

– Parámetros intrínsecos (f,dx).

– Parámetros extrínsecos (b)

L

R

Par conjugado(PR , PL)

PPL(u,v)

PR(u,v)

Línea epipolar


Página 13




Luz Estructurada: franjas




Página 14






Cámaras TOF

� MESA SwissRanger

� 3DV Zcam

� Microsoft Kinect

RI Tema 14. Avances en Visión

Documents

Transcript of RI Tema 14. Avances en Visión