72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4...

55
1 Procesamiento de imágenes Relaciones entre pixels Dominios de tratamiento de la imagen. Preprocesamiento Transformada de brillo Suavizamiento Detectores de contorno Segmentación dirigida a los contornos Segmentación dirigida a las regiones Umbralización Extracción de descriptores de contornos Extracción de descriptores de regiones Tratamiento de imágenes en estereo.

Transcript of 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4...

Page 1: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

1

Procesamiento de imágenes

Relaciones entre pixels Dominios de tratamiento de la imagen. Preprocesamiento

Transformada de brillo Suavizamiento Detectores de contorno

Segmentación dirigida a los contornos Segmentación dirigida a las regiones

Umbralización Extracción de descriptores de contornos Extracción de descriptores de regiones Tratamiento de imágenes en estereo.

Page 2: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

2

Visión artificial

Procesos de obtención, caracterización e interpretación de información de imágenes. Se pueden subdividir en seis áreas: Captación.

• Captura de la imagen Preprocesamiento.

• Operaciones de mejora de la imagen. Segmentación.

• División de la imagen en objetos de interés. Descripción.

• Obtención de características Reconocimiento.

• Identificación de objetos. Interpretación.

• Asociación de significado a un conjunto de objetos.

Page 3: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

3

Visión artificial

Se pueden agrupar los procesos según el grado de complicación e “inteligencia” que llevan aparejados. No existen fronteras claras entre los niveles.

Visión de bajo nivel, procesos primarios

Visión de nivel intermedio, extraen, caracterizan y etiquetan información de la imagen tratada en la etapa anterior.

Visión de alto nivel, procesos que tratan de emular la cognición.

Visión de bajo nivelImagen Imagen

Visión de nivel intermedioImagen Descriptores

Page 4: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

4

Representación de la información.

Una imagen contiene información, esta información puede ser representada matemáticamente. Dos son las formas predominantes Mediante la representación espacial Mediante la representación frecuencial.

Estas dos representaciones son completas y equivalentes. Es posible pasar de una a la otra mediante la transformada de

Fourier. Podemos hablar de una imagen como una señal. La cantidad de información que suministra una señal es mayor

cuantas más variaciones hay en la misma.

Page 5: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

5

Representación espacial de las señales.

Una imagen constituye una distribución espacial de la irradiancia en un plano. Esta puede ser descrita como una función continua de dos variables espaciales.

Las computadoras no pueden manejar valores continuos, pero si matrices de valores digitales. Un punto de una imagen en una

matriz es llamado pixel y representa la irradiancia del correspondiente punto (más exactamente el valor promedio de una región). Frecuentemente los índices van de 0 a N-1 y de

0 a M-1.

),( yxE

x

y

Page 6: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

6

Resolución

El número de pixels marca la resolución espacial. Este es un efecto derivado del muestreo.

Con pocos pixels también se aprecia una fuerte discontinuidad en los valores de gris.

Cuando el pixel se hace pequeño se percibe un efecto de continuidad en la imagen. Esto es así cuando el tamaño del pixel es menor que la capacidad de resolución espacial del ojo.

No hay respuesta genérica a la pregunta ¿Cuál es el número de pixels necesario?. Para una tarea el pixel debería ser menor que el objeto más pequeño

que se quiere estudiar. El número de pixels suele venir limitado por la tecnología del sensor.

Page 7: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

7

Efectos del muestreo en la resolución

Imagen de 256*256 pixels Imagen de 64*64 pixelsImagen de 32*32 pixels

Imagen de 64*64 pixels

Page 8: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

8

Formación del brillo en las imágenes

El brillo de una imagen de un objeto tridimensional depende de: Distribución e intensidad de las fuentes de luz. Propiedades de reflectancia del objeto. Posición y orientación del objeto con respecto a la cámara.

Brillo: cantidad de energía que el plano imagen recibe por unidad de área aparente Área aparente: parcela de superficie realmente observada.

A

A área real A’ área aparenteA’=Acos()

Page 9: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

9

Radiación e irradiación

Irradiación: Cantidad de luz que cae sobre una superficie. Se mide en potencia por unidad de área (W/m2)

Radiación: Cantidad de luz radiada desde una superficie. Se mide en potencia por unidad de área y unidad de ángulo sólido. (W/(m2.SR) vatios por metro cuadrado y esterorradian)

Angulo sólido de un cono de direcciones es el área cortada por el cono sobre la esfera unidad.

A la hora de determinar la relación entre la radiación de un punto de un objeto del espacio y la irradiación del correspondiente punto del objeto en el plano imagen deben establecerse las relaciones geométricas que los ligan.

Page 10: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

10

Efectos de la cuantificación

La irradiancia, que es una señal continua en el espacio y en magnitud, debe ser discretizada para poder ser manejada por una computadora.

La discretización se realiza por el muestreo, el efecto sobre la magnitud se denomina cuantificación.

Típicamente se cuantifica en un rango de 256 valores (0 a 255, un byte). Con esta resolución el ojo percibe la imagen como un cambio

continuo, sin escalones. La resolución del ojo, en cuanto a intensidades relativas, es del 2%.

El rango de valores idóneo como siempre dependerá de la aplicación.

Page 11: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

11

Efectos de la cuantificación en la resolución

256 niveles, 8 bits

64 niveles, 6 bits

16 niveles, 4 bits

4 niveles, 2 bits

Page 12: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

12

Representación de imágenes con signo u otros formatos. La representación de la irradiancia como un número natural

puede causar problemas al hacer operaciones aritméticas. Pueden manejarse las imágenes como enteros con signo:

En muchas ocasiones se trabaja con valores de coordenadas y de irradiancia como si fueran números reales, esto exige una transformación final a valores enteros para poder representar la imagen por un monitor o almacenarla en un array.

2560,256mod)128(' qqq

Page 13: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

13

Geometría Homogénea

Sea un vector tridimensional, representado en una base de vectores unitarios por v=ai + bj + ck. Puede ser representado en coordenadas homogéneas por un vector columna.

Siendo w un factor

de escala

Una traslación puede representarse por:

w

wZ

wY

wX

W

Z

Y

X

Wdecires

w

zc

w

yb

w

xa

donde

w

z

y

x

v h:

1

/

/

/

1000

100

010

001

cwz

bwy

awx

w

cwz

bwy

awx

w

z

y

x

c

b

a

uHv

cz

by

ax

Page 14: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

14

Transformaciones geométricas 1

0

0

0

'

'

'

ZZZ

YYY

XXX

11000

100

010

001

1

'

'

'

0

0

0

Z

Y

X

Z

Y

X

Z

Y

X

Tvv '

Traslación (X0, Y0, Z0)

Cambio de escala (Sx, Sy,Sz)

Svv '

S

uniformeescaladoS

S

S

Sz

y

x

/1000

0100

0010

0001

1000

000

000

000

Page 15: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

15

Transformaciones geométricas 2

Rotación (,,)

Concatenación

1000

0100

00cossen

00sencos

R

1000

0cossen0

0sencos0

0001

R

1000

0cos0sen

0010

0sen0cos

R

STRAAvTvSRv ))(('

X

Y

Z

Page 16: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

16

Concatenación de transformaciones

Imagen original

Imagen rotada 90º antihorarios

Imagen especular eje horizontal

Imagen especular eje horizontal

Imagen rotada 90º antihorarios

Page 17: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

17

Transformaciones inversas

Una matriz de transformación compuesta se puede representar descompuesta en submatrices como:

La matriz inversa puede calcularse como:

1000

0100

00)cos()(

00)()cos(

000

0100

0010

0001

1000

100

010

001

)1*1(

)1*3(

)3*3(

0

11

0

0

0

1

1111

sin

sin

R

s

SZ

Y

X

T

dondeRSTA

uniformeescaladounHaceS

traslaciónlarealizanqueelementoslosContieneT

rotaciónlarealizanqueelementoslosContieneR

S

TRA

Page 18: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

18

Transformaciones geométricas 3

Transformación de perspectiva

Esta transformación es no lineal para X,Y,Z salvo en formulación homogénea Z

Yy

Z

Xx

X

Z

x

Z,z

Plano de imagen

X,x

Y,y

c (x,y)

w (X,Y,Z)

Centro de la lente

Z

ZZ

YZ

X

z

y

x

cPwc hh

kkZ

kZ

kY

kX

k

kZ

kY

kX

Pwc hh

1

100

0100

0010

0001

Page 19: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

19

Transformaciones geométricas 4

Transformación de perspectiva inversa

k

ky

kx

ch 00

0

k

ky

kx

cPw hh 01

100

0100

0010

0001

0

0

1

0)0,,( 00 zyx

0o

o

y

x

Z

Y

X

w

!!!0Z ),0,0()0,,( 00 yxrecta)(

)(

0

0

Zy

Y

Zx

X

Page 20: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

20

Transformaciones geométricas 5

Transformación de perspectiva inversa con información de z

Si se despeja X e Y en función de z

k

kz

ky

kx

ch0

0

kkz

kz

ky

kx

wh

0

0

z

zz

yz

x

Z

Y

X

w

0

0

0

)(

)(

0

0

Zy

Y

Zx

X

Page 21: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

21

Modelo de cámara 1

x

yw

z

cr

Z

Z0

X

Y

Y0

X0

w: punto en mundo real

c: punto en el CCD

r: dist soporte al CCD

w0: dist. ejes soporte

: ang. ejes X y x

: ang. ejes Z y z

PASOS:

1. Traslación C eje a soporte

2. Rotación en sentido de 3. Rotación en sentido de 4. Traslación G a centro CCD

w0

Page 22: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

22

Modelo de cámara 2

Se realiza la transformación hhh AwGwRPCRc

3000

2000

3000

100

cos)(sencos)(sensen)(

sen)(coscos)(cossen)(

cos)(sencos)(sensen)(

sen)(cos)(

rZZYYXX

rZZYYXXy

rZZYYXX

rYYXXx

X0 = 0 m

Y0 = 0 m

Z0 = 1 m

= 135°

= 135°

r = (0.03, 0.02, 0.02) m

= 35 mm

x = 0.0007 m

y = 0.009 m

Page 23: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

23

Calibración de la cámara 1

El problema que se plantea habitualmente es el inverso al anterior, dadas las coordenadas de un punto en el plano de la imagen determinar cuales son sus coordenadas en el mundo real.

Será preciso establecer cuales son las rotaciones y traslaciones que relacionan ambos sistemas de coordenadas, en líneas generales esto es difícil de medir con precisión.

También se ha supuesta conocida la longitud focal de la cámara y pueden aparecer otros parámetros relacionados con la construcción de la cámara que aún no hemos estudiado.

Para medir todos estos parámetros se parte de un conjunto de puntos, cuyas coordenadas tridimensionales son conocidas, y mediante un algoritmo denominado de calibración se establecen las relaciones entra ambos sistemas de coordenadas.

Page 24: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

24

Procedimiento general de calibración I

El algoritmo se basa en buscar restricciones que sean solo funciones de un subconjunto de parámetros, para transformar un problema con gran número de parámetros en otros más pequeños.

Imposición de restricciones como la conocida como Radial Alignment Constraint. Las ecuaciones derivadas de aplicar esta restricción son solo función de la posición relativa entre la cámara y el sistema de coordenadas global.

Establece un modelo de cámara que exige la calibración de: Parámetros extrínsecos:Traslación (Tx,Ty,Tz) Rotación(,,) Parámetros intrínsecos (longitud focal, distorsión radial,

desplazamiento del centro de la cámara etc.)

Page 25: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

25

Procedimiento general de calibración II

El procedimiento básico es el siguiente: Determinar con precisión un conjunto de puntos tridimensionales Determinar sus correspondientes proyecciones en la imagen Obtener los parámetros que mejor resuelven las correspondencias entre

unos y otros Los dos primeros pasos requieren conocer con precisión una serie de

puntos 3D. Estos puntos pueden o no ser coplanarios Un buen método de calibración debe :

Ser autónomo, no requiriendo de datos por parte del operador Preciso: muchas aplicaciones (metrología) requieren gran precisión Eficiente: no debería tener un coste computacional elevado Versátil: debería operar uniforme y autónomamente en un un amplio

rango de funcionamiento

Page 26: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

26

Calculo de la matriz de transformada inversa Se determinó En la imagen solo tienen sentido las coordenadas x e y:

La proyección inversa viene dada por la recta de intersección de los planos dados en la ecuación anterior.

Calibrar la cámara implica encontrar los coeficientes de la matriz A. Se requieren al menos 6 puntos (12 ecuaciones). Se trata de un sistema homogéneo, hay infinitas soluciones. Típicamente se toman más de 6 puntos, sistema sobredeterminado

que se resuelve por mínimos cuadrados.

hhh AwGwRPCRc

0)(

0)(

4443424124232221

4443424114131211

aZiaYiaXiayaZiaYiaXia

aZiaYiaXiaxaZiaYiaXia

i

i

Page 27: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

27

Modelo de cámara de Tsai

XO

Z

YZ’

Y’

X’O’

V

U

Pu(uu,vu)

P’(x’,y’,z’)

Pd(ud,vd)

Page 28: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

28

Pasos en la obtención de coordenadas

Paso1:(x,y,z) => (x’,y’,z’) Causa: orientación y traslación de la cámara. Calibrar RT

Paso2: Obtención de la perspectiva Calibrar f

Paso3: Distorsión radial de la lente Calibrar k1,k2

Paso4: Factores de escala Calibrar sx

Coordenadas distorsionadas de la proyección (ud,vd)

Coordenadas ideales de la proyección (uu,vu)

Coordenadas en pixels ,(uf,vf) ,del punto

Coordenadas en el sistema de la cámara (x’,y’,z’)

Coordenadas en el sistema global (x,y,z)

Page 29: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

29

Obtención de parámetros 1

Paso 1: paso de coordenadas globales a coordenadas en el sistema ligado a la cámara. Obtención de R (3*3) y T (3*1).

Paso 2: paso del sistema ligado a la cámara al del plano imagen Considerando una proyección ideal

Debe calibrarse f (longitud focal). Paso 3: paso a coordenadas distorsionadas

Debe adoptarse un modelo matemático para la distorsión

Se considera suficiente con calcular k1

'

''

'

z

yfv

z

xfu

u

u

2242

21

42

21

.......)(

.......)(

dddyuyd

dxuxd

vurrkrkvDvDv

rkrkuDuDu

Page 30: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

30

Obtención de parámetros 2

Paso 4 : paso a coordenadas de pixels Se impone una nueva transformación:

Parámetros intrínsecos Distancia focal efectiva f Coeficiente de distorsión de la lente k1

Factor de incertidumbre de la escala horizontal sx

Coordenadas del centro de la imagen (Cx,Cy)

fx

cxxx

yx

ydxf

xdxxf

N

Ndd

dadigitalizaimagenladecentroelesCCDonde

Cvdv

Cudsu

1

1

1

'

),(

'

'

Page 31: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

31

Obtención de parámetros 3

Cálculo de la orientación y de la posición (según X e Y) Calculo de la proyección real. Cálculo de rotaciones y traslaciones. Cálculo de f, distorsión y componente Z de la traslación

Cálculo utilizando puntos no coplanarios

Elemento de calibración

Cámara

Page 32: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

32

Relaciones básicas entre pixels.

Vecinos de un pixel. Un pixel p de coordenadas (x,y) tiene cuatro vecinos horizontales

y verticales cuyas coordenadas son: (x+1,y) (x-1,y) (x,y-1) (x,y+1)• Estos pixels se denominan 4-vecinos de p o N4(p).

• Se encuentran a una distancia unitaria del pixel p.

Los cuatro vecinos diagonales de p,Nd(p) tienen por coordenadas: (x+1,y+1) (x-1,y-1) (x+1,y-1) (x-1,y+1).

Estos Nd(p) junto con N4(p) son los 8-vecinos de p o N8(p). Algunos de los vecinos de un pixel pueden estar fuera de la

imagen si el pixel p está en un borde de la misma.

vecinos

nnn

npn

nnn

vecinos

n

npn

n

84

Page 33: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

33

Conectividad

Sea V el conjunto de los valores de intensidad para pixel que se quieren considerar adyacentes. Se pueden considerar tres tipos de conectividad. Conectividad-4: 2 pixels p,q con valores en V están 4-conectados

si q está en el conjunto N4(p). Conectividad-8: 2 pixels p,q con valores en V están 8-conectados

si q está en el conjunto N8(p). Conectividad mixta: 2 pixels p,q con valores en V están

m-conectados si:• q está en el conjunto N4(p), ó

• q está en Nd(p) y N4(p)N4(q)=.

La conectividad mixta sirve para eliminar conexiones múltiples.

Page 34: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

34

Problemas de conectividades

Solución a las conexiones múltiples.

Problema topológico.Con conectividad 4 el anillo no se cierra

Con conectividad 8 el anillo se cierra, pero el fondo atraviesa el anillo (el fondo también está conectado)

Se puede usar conectividad 4 para el fondo y 8 para el objeto.

100

020

110

100

020

110

100

020

110

2,1V

Conectividad 8 Conectividad mixta

0110

1001

1001

0110

Page 35: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

35

Medidas de distancias.

Dados los pixels p, q y z de coordenadas (x,y), (s,t) y (u,v) respectivamente se llama D función de distancia o métrica si: D(p,q) 0 [D(p,q)=0 si p=q] D(p,q) = D(q,p) D(p,z) D(p,q) + D(q,z) La distancia euclídea entre p y q es:

Los puntos cuya distancia sea menor o igual a una cota R estarían dentro de un disco de radio R.

Las distancias D4 y D8 son respectivamente:

2/122 )()(),( tysxqpDe

22222

21112

21012

21112

22222

),(),(8

2

212

21012

212

2

),(4 tysxmaxqpDtysxqpD

Page 36: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

36

Geometría discreta

En aplicaciones prácticas solo la distancia Euclidea es relevante, las demás no preservan la isotropía de la imagen.

La traslación y rotación solo tienen sentido en múltiplos de la distancia de pixel.

Las rotaciones solo son posibles, sin errores, para algunos ángulos (múltiplos de 90).

Las líneas solo se definen correctamente en las direcciones horizontal, vertical y diagonales. En el resto aparecerán efectos de escalonado.

Page 37: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

37

Métodos en el dominio espacial

Son procedimientos que operan directamente sobre los pixels.f(x,y) : imagen de entrada

g(x,y) : imagen de salida

T : operador que actúa sobre f, definido en algún entorno de x,y El entorno de (x,y) suele ser una subimagen cuadrada o

rectangular centrada en (x,y). El operador se va desplazando a lo largo de todos los pixels de la

imagen.

)],([),( yxfTyxg

Page 38: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

38

Convolución

La convolución de dos funciones continuas se define como:

f(x) : señal de entrada

h(x) : respuesta impulsional

g(x) : señal de salida Interpretación gráfica.

dxfhdxhfyhxfxg )()()()()(*)()(

f(x) g(x)h(x)

f()

h()

h(-)

h(x-)

f() h(x-)

f(x)*g(x)

Page 39: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

39

Convolución discreta 1

Opera con secuencias de números, se emplean en sistemas muestreados tal como puede ser una imagen.

Se define también en dos dimensiones:

nn

knhkfknfkhkhkfkg )()()()()(*)()(

nkpara

nkparakn

kpara

kpara

0

1)(

00

01

(n-k)

k

1 1

n m n m

lmknflkhlmknhlkflkhlkflkg ),(),(),(),(),(*),(),(

Page 40: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

40

Convolución discreta 2

La respuesta de un sistema ante la secuencia impulso (respuesta impulsional) caracteriza el comportamiento del sistema.

En visión artificial a la respuesta impulsional se la denomina PSF (Point Spread Function).

La salida de un sistema ante una entrada cualquiera se puede calcular a partir de la convolución de la respuesta impulsional y la señal de entrada.

La convolución es simétrica y lineal. En visión artificial son aplicables todas las propiedades de la

convolución que se emplean con señales unidimensionales .

Page 41: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

41

Espacio de vectores 1

Se ha concebido la imagen como una matriz de elementos individuales. Una imagen se puede componer a partir de una combinación de imágenes base (con un pixel puesto a 1 y el resto a 0 para cada imagen de la base).

Se puede deducir un producto interno entre imágenes

Los vectores (imágenes) de estas bases son ortonormales.

Es posible establecer símilescon los espacios R2 o R3

1

0

,1

0,','

,,

0

''1:

M

m

nmN

nnmnm

nmnm PGGcasoslosderestoelen

nnymmsiPP

1

0,

1

0,),(

M

mnm

N

nnm HGHG

''''''

1

0,

'',''1

0,

','nnmm

M

mnm

nmN

nnm

nm PP

Page 42: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

42

Espacio de vectores 2

Una imagen representa un punto en el espacio de vectores M*N. Si se modifica el espacio de coordenadas la imagen sigue siendo

la misma aunque con diferentes coordenadas, se observa la misma información desde otro punto de vista. Todas la representaciones son equivalentes unas a otras. Cada una da una representación completa de la imagen Representaciones adecuadas nos permiten hacer y deshacer las

transformaciones. Además de la representación espacial, ya vista, es de interés una

en que las bases son periódicas. la transformación de coordenadas de la representación espacial a

la nueva base se realiza con la transformada de Fourier.

Page 43: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

43

Transformada Discreta de Fourier unidimensional (DFT) 1 Sea un vector g con n elementos de números complejos. En una

base tendrá una representación g= [g0, g1,...,gN-1] Mediante la DFT se convierte en un vector g’, de N componentes.

La transformación inversa viene dada por:

Estas dos expresiones constituyen el kernel de la transformación. Se puede considerar la DFT como el producto interno del vector

g con un conjunto de M vectores ortonormales.

1

0

0)2

exp(1

'N

nnv Nvcon

N

invg

Ng

1

0

0)2

exp('N

nnn Nncon

N

invgg

Page 44: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

44

Transformada Discreta de Fourier unidimensional (DFT) 2 En la representación frecuencial (o espacio de Fourier), cada

punto representa una frecuencia particular contenida en el dominio espacial de la imagen.

Como la DFT es una representación muestreada en ella no se contienen todas las frecuencias que forman la imagen, pero si un conjunto de muestras que describen totalmente el dominio real.

Si la base es menor que N*M se tiene una proyección reducida. Los coeficientes obtenidos son complejos, se pueden expresar

entonces de la forma módulo y argumento.

u

uuuuu

juuuuu

R

ItanIRG

eGGIRG u

12/122'

'''

Page 45: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

45

Base en la DFT 1

Cada uno de los M elementos de la base tiene N componentes:

Cada elemento g’v se obtiene por producto interno: g’v=(g,bv). De otro modo, cada coeficiente g’v en el espacio de Fourier es obtenido proyectando el vector g sobre la base formada por bv.

Los elementos bv forman una base ortonormal. La DFT calcula la proyección de g sobre los elementos de la base.

La parte real e imaginaria de los vectores de la base son senos y cosenos muestreados a frecuencias incrementales.

)2

exp(0

)/)1(2exp(

.......................

)/22exp(

)/2exp(

1

1

N

iWenteabreviadamNvcon

NvNi

Nvi

Niv

Nb Nv

Page 46: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

46

Vectores de la base

Componentes de las bases cuando N=16 Parte real Parte imaginaria

El vector b0 es constante. La proyección sobre él de un vector g da la media de los elementos de dicho vector.

0

1

2

...

6

7

8

Page 47: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

47

Base en la DFT 2

En el caso de imágenes se trabaja con la transformada de Fourier bidimensional, sea una imagen de tamaño N*M entonces:

Las matrices de la base pueden expresarse como un producto externo de vectores fila y columna que forman la DFT unidimensional. Esto se denomina un kernel separable

1

0

1

0,,

1

0

1

0,,

)]//(2exp['

)]//(2exp[1

'

M

x

N

yvunm

M

x

N

ynmvu

NnyMmujGG

NnvMmujGMN

G

vuvN

Nv

Nv

N

uMM

uM

uM

vu bbMN

WWW

W

W

W

MNB

1].........,,.........,,1[

.............

1

1 )1(2

)1(

2,

Page 48: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

48

Transformada de Fourier 2

La transformada en el caso de una imagen será bidimensional.

Estas transformadas se deben aplicar de manera discreta tomando N*M (típicamente N=M) muestras equiseparadas.

dudvvyxujxpevuFyxFvuFF

dxdyvyxujxpeyxfvuFyxfF

)]2[),(),(),(

)](2[),(),(),(

(1

1

0

1

0

1

0

1

0

)]//(2exp[),(),(

)]//(2exp[),(1

),(

(

(

M

x

N

y

M

x

N

y

NvyMxujvuFyxf

NvyMxujyxfMN

vuF

Page 49: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

49

Propiedades de la transformada discreta de Fourier 1 Convierte las convoluciones en productos.

La DFT bidimensional se puede calcular separadamente.

Traslación.

Periodicidad y simetría conjugada (si f(x,y) es real).

)(*)()()(*)()( uHuFuGxhxfxg

1

0

1

0

]/2exp[),(1

),(]/2exp[),(1

),(N

x

N

y

NvyjyxfN

NvxFNuxjvxFN

vuF

]/)(2exp[),(),(

),(]/)(2exp[),(

000

000

NyvxujvuFyyxxf

vvuuFNyvxujyxf

o

o

),(),(

),(),(),(),(* vuFvuF

NvNuFNvuFvNuFvuF

Page 50: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

50

Ejemplos de transformadas

Senoide según x w=4, 256 muestras Escalón unitario según x, 256 muestras

Page 51: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

51

Influencia de módulo y argumento

amplitud amplitudfasefase

Page 52: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

52

Propiedades de la transformada discreta de Fourier 2 Rotación, un giro en la imagen se traduce en un giro en la

transformada, si se introducen coordenadas polares:

Cambio de escala, para dos escalares a y b

Valor medio.

Existen algoritmos para el calculo eficiente de la DFT son las FFT (Fast Fourier Transform).

),(),(

sencossencos

00

wFrf

wvwuryrx

)/,/(1

),(

),(),(

bvauFab

byaxf

vuaFyxaf

)0,0(1),(_

FN

yxf

Page 53: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

53

Filtro pasa bajo con f de corte 0.3

Imagen

original

Coeficientes

del filtro

Imagen filtrada

Respuesta

frecuencial

Page 54: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

54

Filtro pasa bajo con f de corte 0.8

Imagen

original

Coeficientes

del filtro

Imagen filtrada

Respuesta

frecuencial

Page 55: 72 Procesamiento de imágenes 4 Relaciones entre pixels 4 Dominios de tratamiento de la imagen. 4 Preprocesamiento vTransformada de brillo vSuavizamiento.

55

Filtro pasa alto con f de corte 0.8

Imagen

original

Coeficientes

del filtro

Imagen filtrada

Respuesta

frecuencial