Visión - dccia.ua.es · • Los pesos se denominan el kernel (o máscara) del filtro • Ejemplo:...
43
Visión Sesión 2: Filtrado de imágenes Departamento CCIA http://www.jtech.ua.es/vision/2011/
Transcript of Visión - dccia.ua.es · • Los pesos se denominan el kernel (o máscara) del filtro • Ejemplo:...
VisiónSesión 2: Filtrado de imágenes
Departamento CCIAhttp://www.jtech.ua.es/vision/2011/
Hoy
• Representación de imágenes• Tipos de datos e imágenes en OpenCV• Filtros lineales• Suavizado del ruido• Resaltado de aristas con filtros lineales• Operadores morfológicos• Filtros y operaciones en OpenCV
• Referencias• Svetlana Lazebnik• Michael J. Black• Derek Hoeim
2
Imágenes como funciones
• Podemos pensar en una imagen como una función f, de R2 to R:
• f ( x, y ) devuelve la intensidad en la posición ( x, y )
• En la realidad, la imagen sólo está definida sobre un rectángulo [a,b]x[c,d]
• Una imagen de color son tres funciones juntas. Podemos formalizar este concepto con una función color image is just three functions pasted together. We can write this as a “vector-valued” function:
3
(S. Seitz)
¿Qué es una imagen digital?
• Trabajamos con imágenes digitales (discretas):• Muestreamos al espacio 2D sobre una rejilla regular• Discretizamos cada muestra (se redondea hasta el
entero más cercano)
• Si nuestras muestras están separadas en Δ, podemos escribir esto como:• f[i ,j] = Quantize{ f(i Δ, j Δ) }
• La imagen puede representarse entonces como una matriz de valores enteros
4
Discretización
• Array de sensores
• Perfil real 1D
5
Sensor Array
CMOS sensor
©Michael J. Black CS143 Intro to Computer Vision
Actual 1D profile
Imágenes digitales
• Niveles de gris
• Color, 3 canales (R,G,B)
6
The raster image (pixel matrix)0.92 0.93 0.94 0.97 0.62 0.37 0.85 0.97 0.93 0.92 0.990.95 0.89 0.82 0.89 0.56 0.31 0.75 0.92 0.81 0.95 0.910.89 0.72 0.51 0.55 0.51 0.42 0.57 0.41 0.49 0.91 0.920.96 0.95 0.88 0.94 0.56 0.46 0.91 0.87 0.90 0.97 0.950.71 0.81 0.81 0.87 0.57 0.37 0.80 0.88 0.89 0.79 0.850.49 0.62 0.60 0.58 0.50 0.60 0.58 0.50 0.61 0.45 0.330.86 0.84 0.74 0.58 0.51 0.39 0.73 0.92 0.91 0.49 0.740.96 0.67 0.54 0.85 0.48 0.37 0.88 0.90 0.94 0.82 0.930.69 0.49 0.56 0.66 0.43 0.42 0.77 0.73 0.71 0.90 0.990.79 0.73 0.90 0.67 0.33 0.61 0.69 0.79 0.73 0.93 0.970.91 0.94 0.89 0.49 0.41 0.78 0.78 0.77 0.89 0.99 0.93
Color ImageR
G
B
(Hoeim)
Tipos de datos de OpenCV
• Tipos de datos en OpenCV
• Matrices e imágenes• CvArr: clase abstracta• CvMat: matriz 2D multi-canal
• Constructor: CreateMat(filas: int, columnas: int, tipo: int)• tipo = CV_<bit_depth><S|U|F>C<num_channels>
• Ejemplo: CreateaMat(200,200, cv.CV_32FC3) devuelve una matriz formada por tuplas de 3 números reales de 32 bits
• Otros constructores:• CreateMatHeader(filas: int, columnas: int, tipo: int)• CreateData(array: CvArr)
• IplImage: imagen. Añade algunos elementos a CvMat propios de imágenes.• CreateImage (size: CvSize, depth: int, channels: int)
7
Estructura de imagen en OpenCV
• Las matrices se mapean en memoria como una secuencia de números del tipo especificado
• Para recorrer las matrices de forma eficiente (C):
• Posición de un punto en la matriz
• ROI: Región de interés• xOffset, yOffset, height, weight
8
Filtros
• Transforman imágenes in nuevas imágenes • Aplicaciones:
• Suavizado del ruido• Resaltado de aristas y otras características de la
imagen• Búsqueda de plantillas
• Filtros lineales y convolución• Muestreo y aliasing• Filtros como plantillas• Pirámides gaussianas
9
Hybrid Images, Oliva et al., http://cvcl.mit.edu/hybridimage.htm
Filtro lineal
• Operador de vecindad: el valor resultante de un píxel se calcula como una función de su vecindad
• Filtro lineal:
• El componente h se denomina el núcleo o máscara del filtro y los valores k,l representan la vecindad del píxel i,j
• La operación anterior es una correlación
• Convolución:
10
f
Convolución
• Reemplazamos cada píxel con la media ponderada de los píxeles vecinos
• Los pesos se denominan el kernel (o máscara) del filtro
• Ejemplo: la media de los 9 puntos vecinos se calcula con el siguiente kernel (mean filter)
• Filtros de imagen en OpenCV
• Filter2D realiza una convolución
11
111111111
Propiedades de los filtros lineales
• Linealidad:
filter(f1 + f2) = filter(f1) + filter(f2) filter(a f1 + b f2) = a filter(f1) + b filter(f2)
• Invarianza al desplazamiento (shift invariance): el mismo comportamiento independientemente de la posición del pixel:
filter(shift(f)) = shift(filter(f))
• Resultado teórico: cualquier operador lineal invariante al desplazamiento se puede representar con una convolución
• La linealidad nos permite construir filtros complejos:
12
Propiedades de los filtros lineales
• Linealidad:
filter(f1 + f2) = filter(f1) + filter(f2) filter(a f1 + b f2) = a filter(f1) + b filter(f2)
• Invarianza al desplazamiento (shift invariance): el mismo comportamiento independientemente de la posición del pixel:
filter(shift(f)) = shift(filter(f))
• Resultado teórico: cualquier operador lineal invariante al desplazamiento se puede representar con una convolución
• La linealidad nos permite construir filtros complejos:
12
Gaussianunit impulse
Laplacian of Gaussian
Ejemplos con distintas máscaras
13
• Blur
Sharpening
14
original smoothed (5x5)
–
detail
=
sharpened
=+
original detail
El problema del borde
• Cuando la máscara llega a los puntos del borde de la imagen no es posible hacer la convolución
• Varias técnicas posibles para “inventarse” los nuevos puntos:
• CopyMakeBorder es la función de OpenCV
15
Ruido en las imágenes
• Distintos tipos de ruido
• Ruido de sal y pimienta (salt and pepper noise): ocurrencias aleatorias de píxeles blancos y negros
• Ruido de impulso (impulse noise): ocurrencias aleatorias de píxeles blancos
• Ruido gausiano (gaussian noise): variaciones en la intensidad generadas por una distribución gausiana normal
16
Ruido gaussiano
• Modela bien el ruido real: suma de múltiples factores
• Ejemplo: ruido en imágenes reales• Comparativa de 5 cámaras: iPhone 4S, iPhone 4,
Samsung Galaxy SII, Olympus XZ-1, Canon 20D
17
Ars Technica: Can the iPhone 4S replace a "real" digital camera?
Suavizado del ruido con el filtro de media
• El filtro de media reemplaza un pixel por la media de valores de su vecindad
• Se denomina también filtro de caja (box filter)• Suaviza la imagen, eliminando las diferencias y,
por tanto, el ruido
• Mejora: filtrado gausiano, sustituimos el kernel por un kernel gaussiano que da más peso al centro y menos a los bordes
18
1 2 12 4 21 2 1
Kernel gaussiano
• Distintos valores de la σ y del tamaño del kernel cambian la forma de la gaussiana
• Consejo: el ancho del kernel debe ser 6σ
19
Choosing kernel width• The Gaussian function has infinite support,
but discrete filters use finite kernels
Source: K. Grauman
Choosing kernel width• Rule of thumb: set filter half-width to about 3ı
Separabilidad del filtro gaussiano
• Aplicado a convolución de un kernel gaussiano:
20
Separability example
2D convolution(center location only)( y)
The filter factorse e ac o sinto a product of 1D
filters:
* =Perform convolutionalong rows:
* =Followed by convolutionl th i i l
Source: K. Grauman
along the remaining column:
Filtrado gaussiano para eliminar ruido
• Aplicación de un filtro gaussiano y de caja
• Distintos valores de σ tienen distintos efectos en el filtrado del ruido. Mayores σ eliminan más ruido, pero difuminan más la imagen
21
Filtrado de mediana
• El filtro gaussiano no funciona bien con ruido sal y pimienta
• Filtro de mediana
• La mediana es un estimador robusto frente a outliers
22
Noise
• Salt and pepper noise: contains random occurrencesrandom occurrences of black and white pixels
• Impulse noise: contains random occurrences of white
Original Salt and pepper noise
occurrences of white pixels
• Gaussian noise: variations invariations in intensity drawn from a Gaussian normal distributiondistribution
Gaussian noiseImpulse noise
Source: S. Seitz
Original 3x3 5x5 7x7
Filtrado de mediana
• El filtro gaussiano no funciona bien con ruido sal y pimienta
• Filtro de mediana
• La mediana es un estimador robusto frente a outliers
22
Noise
• Salt and pepper noise: contains random occurrencesrandom occurrences of black and white pixels
• Impulse noise: contains random occurrences of white
Original Salt and pepper noise
occurrences of white pixels
• Gaussian noise: variations invariations in intensity drawn from a Gaussian normal distributiondistribution
Gaussian noiseImpulse noise
Source: S. Seitz
Original 3x3 5x5 7x7
Ejemplos del filtro de mediana
23
108 3 Image processing
(a) (b) (c) (d)
(e) (f) (g) (h)
Figure 3.18 Median and bilateral filtering: (a) original image with Gaussian noise; (b) Gaussian filtered; (c)median filtered; (d) bilaterally filtered; (e) original image with shot noise; (f) Gaussian filtered; (g) median filtered;(h) bilaterally filtered. Note that the bilateral filter fails to remove the shot noise because the noisy pixels are toodifferent from their neighbors.
3.3 More neighborhood operatorsAs we have just seen, linear filters can perform a wide variety of image transformations.However non-linear filters, such as edge-preserving median or bilateral filters, can sometimesperform even better. Other examples of neighborhood operators include morphological oper-ators that operate on binary images, as well as semi-global operators that compute distancetransforms and find connected components in binary images (Figure 3.11f–h).
3.3.1 Non-linear filtering
The filters we have looked at so far have all been linear, i.e., their response to a sum of twosignals is the same as the sum of the individual responses. This is equivalent to saying thateach output pixel is a weighted summation of some number of input pixels (3.19). Linearfilters are easier to compose and are amenable to frequency response analysis (Section 3.4).
In many cases, however, better performance can be obtained by using a non-linear com-bination of neighboring pixels. Consider for example the image in Figure 3.18e, where thenoise, rather than being Gaussian, is shot noise, i.e., it occasionally has very large values. Inthis case, regular blurring with a Gaussian filter fails to remove the noisy pixels and insteadturns them into softer (but still visible) spots (Figure 3.18f).
Median filtering
A better filter to use in this case is the median filter, which selects the median value from eachpixel’s neighborhood (Figure 3.19a). Median values can be computed in expected linear timeusing a randomized select algorithm (Cormen 2001) and incremental variants have also been
Original con ruido Filtro mediana
Original con ruido
108 3 Image processing
(a) (b) (c) (d)
(e) (f) (g) (h)
Figure 3.18 Median and bilateral filtering: (a) original image with Gaussian noise; (b) Gaussian filtered; (c)median filtered; (d) bilaterally filtered; (e) original image with shot noise; (f) Gaussian filtered; (g) median filtered;(h) bilaterally filtered. Note that the bilateral filter fails to remove the shot noise because the noisy pixels are toodifferent from their neighbors.
3.3 More neighborhood operatorsAs we have just seen, linear filters can perform a wide variety of image transformations.However non-linear filters, such as edge-preserving median or bilateral filters, can sometimesperform even better. Other examples of neighborhood operators include morphological oper-ators that operate on binary images, as well as semi-global operators that compute distancetransforms and find connected components in binary images (Figure 3.11f–h).
3.3.1 Non-linear filtering
The filters we have looked at so far have all been linear, i.e., their response to a sum of twosignals is the same as the sum of the individual responses. This is equivalent to saying thateach output pixel is a weighted summation of some number of input pixels (3.19). Linearfilters are easier to compose and are amenable to frequency response analysis (Section 3.4).
In many cases, however, better performance can be obtained by using a non-linear com-bination of neighboring pixels. Consider for example the image in Figure 3.18e, where thenoise, rather than being Gaussian, is shot noise, i.e., it occasionally has very large values. Inthis case, regular blurring with a Gaussian filter fails to remove the noisy pixels and insteadturns them into softer (but still visible) spots (Figure 3.18f).
Median filtering
A better filter to use in this case is the median filter, which selects the median value from eachpixel’s neighborhood (Figure 3.19a). Median values can be computed in expected linear timeusing a randomized select algorithm (Cormen 2001) and incremental variants have also been
Filtro gaussiano Filtro de mediana
El filtro de suavizado en OpenCV
• Smooth realiza un suavizado de la imagen aplicando distintos tipos de filtros
24
Filtrado para resaltar aristas
• Aristas: píxeles de la imagen donde se produce un fuerte gradiente (tanto positivo como negativo)
• Imagen suavizada con gaussiana
• Primera derivada
25
©Michael J. Black CS143 Intro to Computer Vision
Edges
•� Correspond to fast
changes
–� Where the magnitude
of the derivative is
large
©Michael J. Black CS143 Intro to Computer Vision
Edges
•� Correspond to fast
changes
–� Where the magnitude
of the derivative is
large
©Michael J. Black CS143 Intro to Computer Vision
Simple Signal
Discontinuous Smoothed with Gaussian
©Michael J. Black CS143 Intro to Computer Vision
Simple Signal
Discontinuous Smoothed with Gaussian
Derivadas con filtros lineales
• Podemos calcular la derivada con un filtro lineal
• En 2D tenemos que utilizar las derivadas parciales con respecto a x e y
26
©Michael J. Black CS143 Intro to Computer Vision
Compute Derivatives
We can implement this as a linear filter:
0 1 -1
1.0
0 1 -1
1.0
- [ -1 1]
Or [-1 0 1]
symmetric
¿Funciona con el ruido?
• Imagen original
• Suavizada con una gaussiana
• Derivadas
27
©Michael J. Black CS143 Intro to Computer Vision
Actual 1D profile
©Michael J. Black CS143 Intro to Computer Vision
Smoothed with a Gaussian
©Michael J. Black CS143 Intro to Computer Vision
Barbara signal and derivatives
Filtro suavizado gaussiano y derivada
• En 1D
• En 2D
28
©Michael J. Black CS143 Intro to Computer Vision
Derivatives and Smoothing
G dG
©Michael J. Black CS143 Intro to Computer Vision
In 2D
Compare with [-1 0 1] filters.
¿Funciona?
• La derivada amplifica las pequeñas variaciones
• Se podría utilizar un umbral para “detectar” las aristas
29
©Michael J. Black CS143 Intro to Computer Vision
1D Barbara signal
Smoothed Signal First Derivative
Note the “amplification” of small variations.
©Michael J. Black CS143 Intro to Computer Vision
Thresholding the
Derivative?
©Michael J. Black CS143 Intro to Computer Vision
Thresholding the
Derivative?
Una solución mejor: segunda derivada
• Cálculo de la segunda derivada
• Las aristas estarían en los cruces por el cero (zero crossing)
30
©Michael J. Black CS143 Intro to Computer Vision
Second Derivative
Filter kernel?
[1 -2 1]
©Michael J. Black CS143 Intro to Computer Vision
Maxima of first
derivative
“zero crossings”
of second
derivative
En 2D: Laplaciana
• Formulación
• Un filtro lineal
• Kernel de la Laplaciana
31
©Michael J. Black CS143 Intro to Computer Vision
The Laplacian
Just another linear filter.
©Michael J. Black CS143 Intro to Computer Vision
The Laplacian
Just another linear filter.
Aproximación de la Laplaciana
• La Laplaciana también se puede aproximar como una diferencia de gaussianas a diferentes escalas
32
©Michael J. Black CS143 Intro to Computer Vision
Approximating the Laplacian
•� Difference of Gaussians at different
scales.
©Michael J. Black CS143 Intro to Computer Vision Sept, 2007
expand
Gaussian Pyramid Laplacian Pyramid
The Laplacian Pyramid
- =
- =
- =
Pirámides de imágenes
• Las pirámides de imágenes permiten representar una imagen a múltiples escalas• Múltiples usos: características, compresión
• Pirámides gaussianas y laplacianas
33
Cruces por cero
• Imagen original
• Cruces por cero de la laplaciana
• Se denomina operador de Marr/Hildreth
34
©Michael J. Black CS143 Intro to Computer Vision
sigma=2�sigma=4�
LoG zero crossings �(where the filter response changes sign)�
Ponce & Forsyth
Otros filtros
• Sobel
• Imágenes “híbridas”, Oliva et al., http://cvcl.mit.edu/hybridimage.htm
35
Funciones en OpenCV
• Laplace aplica un filtro de Laplace
• Sobel aplica un filtro de Sobel
36
• PyrDown reduce la imagen después de aplicar un filtro gaussiano
• Threshold realiza un umbralizado de la imagen
37
Funciones en OpenCV
Filtros morfológicos
• Filtros no lineales para imágenes binarias• Convolución de la imagen con el elemento
estructurante (kernel), seguida de una umbralización• Definimos la umbralización:
• Definimos la convolución entre una imagen f y el elemento estructurante s como el número de píxeles que están a 1 dentro del elemento estructurante de tamaño S
• Operaciones:• dilatación(f,s) = 𝜃(c,1)
• erosión(f,s) = 𝜃(c,S)
• mayoría(f,s) = 𝜃(c,S/2)
• apertura(f,s) = dilatación(erosión(f,s),s)• cierre(f,s) = erosión(dilatación(f,s),s)
38
• CreateStructuringElementEx devuelve un elemento estructurante
• Erode realiza una erosión
• Dilate realiza una dilatación
39
Funciones en OpenCV
Funciones en OpenCV
• MorphologyEx realiza operaciones morfológicas avanzadas
40
Referencias
• Computer Vision: Algorithms and Applications de Szelinsky: cap. 3.1, 3.2, 3.3, 3.5
• Learning OpenCV: cap. 3, 5, 6.1-6.4
41
