VISIÓN POR COMPUTADOR

PERCEPCIÓN IR / VISUAL

MASTER EN Automática, Robótica y Telemática

Dr. J. RAMIRO MARTINEZ DE DIOS

• Principios de percepción IR

• Aplicaciones

• Correspondencia de Visual / IR

• Fusión IR / Visual

Percepción IR/Visual

La banda del infrarrojo

Banda de λλλλ entre [0.75, 1000] µµµµm• Cercano: 0.75 -3 µµµµm

• Medio: 3 - 6 µµµµm

• Lejano: 6 - 15 µµµµm

• Extremo: 15 - 1000 µµµµm

Principios de Percepción IR

Radiación del cuerpo negro (I)

• Cuerpo negro: trampa de radiación• Ley de Planck: distribución espectral en λλλλ de radiación

emitida

– Wλλλλ radiación espectral– h: cte de Planck– T: Tª del cuerpo negro en Kelvin– C: velocidad de la luz– K: cte. De Boltzmann

Principios de Percepción IR

−

=

1

2

5

2

kT

ch

e

hcW

λ

λ

λ

π

Radiación del cuerpo negro (II)

• Ley de Wien: picos de radiación de un cuerpo negro

Permite relacionar Tª y color del objeto

Permite selección de banda de infrarrojos para cada aplicación

Principios de Percepción IR

T

2898max =λ

Radiación del cuerpo negro (y III)

• Ley de Stefan-Boltzmann: energía emitida por un cuerpo negro

– σ: cte. de Stefan-Boltzmann

Se emplea para calibración de Tª de cámaras termográficas

Principios de Percepción IR

4

0TdWW σλλ == ∫

∞

Radiación de cuerpos no negros

• Absorción espectral: α(λ)

• Reflectancia espectral: ρ(λ)

• Transmitancia espectral: τ(λ)

• Ley de Kirchhoff: α(λ)+ρ(λ)+τ(λ) =1

• Emisividad: ε(λ)=α(λ)

• Tipos de objetos:– Cuerpos negros: ε(λ)=1, ρ(λ)=τ(λ) =0

– Cuerpos grises: τ(λ) =0, (materiales opacos)

– Espejos perfectos: ε(λ)=0

Principios de Percepción IR

La transmisión atmosférica

Transmitancia atmosférica

• Tres ventanas del infrarrojo: 3 bandas

• Permite seleccionar banda: p.e. detección VS monitorización de incendios

Principios de Percepción IR

Detectores de infrarrojos

• Parámetros:– Sensibilidad: relaciona flujo de radiación con señal del sensor

Debe ser cte con la Tª y λ

– SNR: cociente entre potencia de señal y ruido

– NEP: potencia de ruido equivalente. Cota inferior de señal para ser diferenciada del ruido

– Detectividad: inversa de NEP

Principios de Percepción IR

Detectores de infrarrojos

• Tipos de detectores:

– Detectores térmicos:radiación se transforma en calor por absorción del material sensible

- Bolómetros: varía la conductividad del material,

- Detectores piroeléctricos: general corriente por incre. de Tª

- Termopilas: general tensión por efecto termodinámico

- Detectores neumáticos: la señal es una variación de presión en

la masa del gas al calentarse

– Detectores cuánticoscociente

Principios de Percepción IR

Detectores de infrarrojos

• Tipos de detectores:

– Detectores cuánticos: señal depende del nivel de excitación de partículas del material sensible

- Detectores fotoeléctricos: genera corriente por electrones

arrancados del material: IR cercano

- Detectores fotoconductores: genera cambio de conductividad por los electrones semilibres

- Detectores fotovoltaicos: modificación de V de barrera en unión p-n

Principios de Percepción IR

Comparación de Detectores

Principios de Percepción IR

Refrigeración

• Objetivo: evita la radiación de los detectores

• Tipos:– Refrigeración en ciclo abierto

– Refrigeración en ciclo cerrado

• Refrigeración mediante elementos de estado sólido– efecto termoeléctrico

Principios de Percepción IR

Ruido

– Ruido térmico: la Tª es superior a 0 K

– Ruido shot: fluctuaciones en la llegada de electrones

– Ruido flicker: 1/f

– Ruido de generación-recombinación

– Ruido fotónico

Principios de Percepción IR

Cámaras de Infrarrojos

– Puntuales: pirómetros

– Scanners de línea

– Cámaras de infrarrojos

• Tipos:– Térmicas: dan medida cuantitativa

– Termográficas: dan medida cualitativa de Tª�

calibración térmica

• Parámetros típicos:– NEI: iluminación equivalente al ruido

– NETD: dif. de Tª equivalente al ruido

– MDTD: dif. de Tª mínima detectable

Principios de Percepción IR

• Mitsubishi IRM300– Band 3-5 µm. (cryogenic - Stirling cycle cooler)

– Weight: 8 kg.

– Lenses: 30º

– Output: CCIR video

– Temperature estimation: NO

Principios de Percepción IR

• Raytheon 2000AS– Band 7-14 µm. (uncooled)– Weight: 120 gr.– Lenses: 30º– Output: CCIR video– Temperature estimation: NO

Principios de Percepción IR

• Indigo Omega– Band 7.5 - 13.5 µm. (uncooled)

– Weight: 120 gr.

– Lenses: 30º

– Output: CCIR video, IEEE 1394 (Firewire)

– Temperature estimation: YES

– Control through IEEE 1394 and RS-232

Principios de Percepción IR

• FLIR ThermaCam P20 – Band 7.5 - 13 µm. (uncooled)– Weight: 1.5 kg.– Lenses: 12º, 24º and 45º width– Output: CCIR video, JPG in Flash Card– Temperature estimation: YES (-40 – 1500 ºC)– Programmable image capture– Thermal sensitivity: 0.08º @ 30º C– High temperature filter– Control through RS-232– ThermaCam Reporter

Principios de Percepción IR

• FLIR 550 Elite– Band 3.6 - 5 µm. (cryogenic)– Weight: 2 kg.– Lenses: 10º and 20º width– Output: CCIR video, JPG in Flash Card– Temperature estimation: YES (-20 – 1500 ºC)– Programmable image capture– Thermal sensitivity: 0.1º @ 30º C– Control through RS-232– ThermaCam Reporter

Principios de Percepción IR

[-20, 1500] ºC

[-40, 1500] ºC

[0, 200] ºC

Not Thermal

Not Thermal

Range

10º, 20º

12º, 24º, 45º

30º

30º

30º

Lenses

0.1º @ 30ºC

0.1º @ 30ºC

2º @ 30ºC

Not Thermal

Not Thermal

Sensitivity

CCIR, JPG in

Flash Card

CCIR, JPG in

Flash Card

CCIR, Firewire

CCIR

CCIR

Interface

RS-2321.5 kg

7,5-13 µm

FLIR ThermaCam P20

RS-232

Firewire

120 gr.7,5-13,5 µm

Indigo Omega

RS-2322 kg3.5-5 µm

FLIR 550 Elite

RS-232120 gr.7-14 µmRaytheon 2000AS

RS-4858 kg.3-5 µmMitsubishi IRM300

ControlWeightBand

Principios de Percepción IR

Aplicaciones de la visión IR

• Seguridad

• Industria

• Medicina y veterinaria

• Medio Ambiente

Principios de Percepción IR

• Detección de fugas térmicas en edificios

• Detección y seguimiento de objetos

• Detección de incendios

• Monitorización de incendios

• Detección y Monitorización cooperativas con múltiples UAVs

Aplicaciones de Percepción IR

Reconocimiento de patrones

Detección de fugas térmicas en ventanas

Detección de fugas térmicas en edificios

- Estabilización de imágenes- Detección de fugas térmicas- Seguimiento

Detección de fugas térmicas

1) Conversión a temperatura

2) Selección de zonas de interésTemperatura mínima calculada a partir de Tª ambiente

3) Clasificación

4) Clustering

( ) ( ) ( )111 |ωω tpPth = ( ) ( ) ( ) ( ) ( )2211

2 ωωωω |tpP|tpPth +=

THROI

vidrio

Marco deventana

Detección de fugas térmicas en edificios

Experimentos. Diciembre 2005

Detección de fugas térmicas en edificios

• Objetivo: detección y seguimiento

• Dos fases:– Detección

– Seguimiento

• Control:– Posicionador

– Cámara de infrarrojos

Detección y seguimiento de objetos

• Posicionador: 2 GDL • Motores paso-a-paso

• Datos sensores: 200 ms.

• Control anticipativo de la cámara de infrarrojos– Horizonte T

• Control del posicionador

– Predicción polinómica: Horizonte 5T

imagen i imagen i+1

imagen i+1 predicha

Detección y seguimiento de objetos

Ejemplos (I)

Ejemplos (y II)

Detección de Incendios. Reducción de falsas alarmas

Tasa de Detección: 100%

Tasa de Falsa Alarmas: 1,93 %

90,0 % proc. infrarrojo85,4 % análisis de oscilación24,0 % proc. imagen visual

9,1 % información geográfica

Detección inteligente. Reducción de falsas alarmas

Fusión Sensorial

sensor1 sensorS

Detección de Incendios. Reducción de falsas alarmas

� Análisis de falsas alarmas- Reflejos, objetos calientes, luces, actividades humanas

� Información a integrar:- Análisis temporal de imágenes de infrarrojo- Análisis de imágenes visuales- Análisis del terreno: combustible, uso, pendiente- Análisis de actividades humanas- Índice de riesgo de incendio

� Sistema Borroso para integración de información

a)Extrem_Alt ES lidad(FF_posibi ENTONCES Alta)Muy ES _humana(actividad SI (1.0)

Alta) ES lidad(FF_posibi ENTONCES Alta) ES (pendiente SI (0.04)

Detección de Incendios. Reducción de falsas alarmas

• Interpretación:– Redes de Neuronas Clásicas (BNP) – Neuronas Wavelet no binarias

• 10 neuronas 120 iteraciones •ME = 9 13 iteraciones

– Neuronas Wavelet binarias• MME : ME=9 6 iteraciones (PD=100% PFA=0%)

• Al-Jaroudi : ME=9 6 iteraciones (PD=100% PFA=0%)

( )

∑ −−−==

N

1iiiMME T))T)(f(x(yu N

N

1E ∑=

=

N

1iiiJM ))f(x-y-ln(1

N

1E

Falsas alarmas Incendio

� Objetivo: medir automáticamente parámetros del incendio en tiempo real

� Fuentes de incertidumbre:- Percepción en exteriores - Específicos de percepción de incendios

� Sensores de magnitudes heterogéneas en múltiples localizaciones- Redundancia espacial - Redundancia de magnitudes

� Sensores:- cámaras visuales o de infrarrojos - GPS, medidor de distancias láser

Fusión sensorial para mejorar medidas

Monitorización de Incendios

Fusión sensorial para mejorar medidas

Vista frontalVista aérea

Vista lateral B

Vista lateral A

Fusión sensorial para mejorar medidas

� Percepción combinada: obtención indirecta de magnitudes

� Fusión sensorial: magnitudes obtenidas de varias fuentes

� Filtrado de Kalman

∑

∑

=

jjk

jjkjk

k

m

Mω

ω2jkjjk rF=ω

--0.670.71Lateral IR

--0.760.89Frontal IR

Altura de llamaAncho frentePosición frente

0.24

0.67

0.22

0.53

0.58Lateral Visual

0.51Frontal Visual

Fusión sensorial para mejorar medidas

Probado en tiempo real pruebas de campo cada desde 1998 hasta 2006

Puntos: evolución real

Líneas: evolución estimada

Fusión sensorial para mejorar medidas

� Detección y localización cooperativa� Monitorización cooperativa

Robots heterogéneos– Plataformas: varios UAVs o robots

terrestres– Sensores

Percepción Cooperativa en Entornos Multirrobot

Misión general:1) Vigilancia y detección 2) Confirmación 3) Monitorización

Percepción Cooperativa en Entornos Multirrobot

Vigilancia y detección– Área se divide dependiendo de

características de UAVs y sus sensores– Cada UAV recorre su área buscando

aplicando técnicas de detección

Demostración del sistema para la detección de fuegos– Sensores: cámara IR, cámara visual, sensor de fuego

Vigilancia y detección

Percepción Cooperativa en Entornos Multirrobot

560 570 580 590 600 610 620 630 640 650 6600

20

40

60

80

100

120

140

Confirmación

Percepción Cooperativa en Entornos Multirrobot

460 480 500 520 540 560 580 600 6200

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

Pro

babi

lity

0.2821.5Desviación estándar estimada

200.044443961.4564628.9Posición estimada (fusión)

2004443961564627Posición real del fuego

AlturaLatitudLongitud

Monitorización y medición de fuegos

Percepción Cooperativa en Entornos Multirrobot

Extensión a robots aéreos y robots terrestres

Percepción Cooperativa en Entornos Multirrobot

Auriga. Univ. Málaga

Romeo 4R. GRVC. Univ. SevillaHero 3. GRVC. Univ. Sevilla

Correspondencia Visual/IR

• Problema:

� Paso 1 de 6: Selección de las imágenes

Imagen visual de referencia Imagen de infrarrojos a corregir

Sector representativo de imagen

(píxeles)

64x64

128x128

256x256

512x512

Resolución/Rango de detección

Correspondencia Visual/IR

� Paso 2 de 6: Detección de bordes para hallar la rotación

Suma cuadrática

del gradiente

bidireccional

Normalización

en el rango

[0,255]

Igualación de

histogramas

Imagen visual Imagen de infrarrojos

Correspondencia Visual/IR

� Paso 3 de 6: Cálculo de la DFT

Visual

IRElimina DC

Correspondencia Visual/IR

� Paso 4 de 6: Conversión a polar-semilogarítmica

Visual IR - Discretización logarítmica polar

- Interpolación bilineal

- Suavizado mediante un filtro de

la mediana con máscara 5x5

- Filtro sinosoidal y ventana de

Hanning

θ

log ρ

θ- Desplazamiento centro

de masas umbralizado

- SPOMF

log ρ

Correspondencia Visual/IR

Suma cuadrática

del gradiente

direccional

� Paso 5 de 6: Preprocesamiento en detección de traslación

0 255 255

255

127

255

255

255

191

191

Visual

Infrarrojos

Esquema de inversiones

de intensidad

Normalización

en el rango

[0,255]

Igualación de

histogramas

Detector debordes direccional

Correspondencia Visual/IR

� Paso 6 de 6: Cálculo SPOMF para hallar la traslación

Desplazamiento vertical

Desplazamiento horizontal

Superposición de imágenes

Parámetro de calidad: Comparación entre

picos máximos distantes para desestimar

detecciones incorrectas

Correspondencia Visual/IR

� Adquisición de imágenes

� Representación por pantalla

Estabilización conjunta Visual/IR

Estabilización conjunta Visual/IR

o Ejemplo de fusión de imágenes:

Imagen visual Imagen IR

Objetos calientes sobre imagen visual Suma de ambas imagenes

Fusión IR/Visual

Fusión IR/Visual

Fusión mediante

selección de umbralFusión con media

sobre la visual

Fusión con media de niveles sobre la de IR

Fusión con media ponderada sobre la de IR

PERCEPCIÓN AVANZADA

PERCEPCIÓN IR / VISUAL

MASTER EN Automática, Robótica y Telemática

Dr. J. RAMIRO MARTINEZ DE DIOS