Seleccionadora de Fruta Digital

7/28/2019 Seleccionadora de Fruta Digital

1/82

Selector de fruta y simulacin de una aplicacin real

1

Alumna: Miriam Fernndez RibotTutor: Javier Ruiz HidalgoCategora: Proyecto Final de CarreraFecha de entrega: 08/06/2006


2/82


2

ndice

1. Introduccin...32. Estado del Arte.5

2.1. Sistema de Clasificacin automtica de fruta utilizando procesado deimagen ..5

2.2. Sistema inteligente de seleccin de fruta basado en el estudio delcolor con procesado de imagen....6

2.3. Clasificacin por calidad de naranjas basado en visin de altavelocidad7

2.4. Desarrollo de una mquina con sistema de visin en tiempo realpara un robot recolector de manzanas.8

3. Consideraciones previas. ...93.1. Software.93.2. Adquisicin y adaptacin de imgenes..10

4. Descripcin del sistema134.1. Segmentacin.15

4.1.1. Seleccin del espacio de color....164.1.2. Thresholding. Determinacin de umbrales184.1.3. Uso de operadores morfolgicos. Apertura o cierre.22

4.2. Deteccin de contornos....314.3. Cmputo de contenedores en histogramas...43

4.4. Anlisis de la mediana en HSV495. Resultados y observaciones.596. Conclusiones..737. Anexos 76

7.1. Situacin del algoritmo selector en la cadena logstica.767.2. Sistemas de adquisicin en la cadena logstica79

8. Referencias bibliogrficas....81


3/82


3

1. Introduccin

La idea del proyecto es la de generar un sistema de deteccin de fruta en malestado. Para ello se utilizarn tcnicas simples de procesado de imagen talescomo histogramas, uso de operadores morfolgicos, cambios a otros espaciosde color entres otras.

Cualquier persona que tenga contacto con el mundo de la agricultura puededarse cuenta de cun duro es su trabajo. Plantan, recolectan la fruta y laclasifican para posteriormente enviarla a empresas logsticas que empaquetanla fruta y la trasladan a los centros comerciales y fruteras para su consumo.Dentro de estas empresas un cierto nmero de trabajadores se dedica,exclusivamente, a clasificar la fruta que les llega y decidir si es apta o no parael consumo directo o bien si debe ir destinada a zumos: el color, los defectos, eltamao, etc. Todo se tiene en cuenta.

Este proceso manual, hoy en da est siendo sustituido por maquinariaespecializada que realiza la tarea de estos trabajadores mediante tcnicas de

procesado de imagen. Sin embargo hasta la fecha solamente unas pocasempresas disponen de este tipo de aparatos, que se incluyen a la cadena delimpieza y embalaje, ya que resultan caros.

El estudio que se detalla a continuacin se basa en un programa realizado conMatlab de The MathWorks que simular, a partir de imgenes de entrada, elprocedimiento que podra realizar un aparato seleccionador para determinar la

calidad de la pieza de fruta. No se analizar en ningn momento la partemecnica del tema sino que sencillamente se describirn una serie de pasosbasados en procedimientos de procesado digital de imagen que determinarnsi la fruta a analizar est en buen estado o no, procurando determinar qu tipode defecto se detecta.

Las aplicaciones de este tipo de sistema selector de fruta pueden ser diversas:

desde una mquina incorporada a una cadena de seleccionadora y envasadorade fruta en almacenes logsticos a un aparato para un departamento que quiera


4/82


4

gestionar el tipo de defectos en la fruta a partir de una muestra y poder llevar un control estadstico de zonas geogrficas (control de plagas, insectoscausantes de la plaga, pesticidas a utilizar, etc. pasando tambin por aquellasempresas aseguradoras de agricultores que podran realizar una base de datosa partir de la clasificacin de defectos (sera posible relacionar la causa de unacosecha en mal estado con el anlisis de defectos en la fruta, como el viento,granizo, etc. con los pagos a los agricultores propietarios del seguro). Tambinsera interesante para estudiar los tipos de plagas existentes y sus efectos enla fruta o bien para estudiar casos nuevos de insectos no autctonos y quclase de dao crea en la fruta de la zona.

Sin embargo, a pesar de todas estas posibles aplicaciones, hoy en da la msinteresante y solicitada sigue siendo la de llevar a cabo la seleccin que sesuele hacer manualmente y agilizar la cadena logstica de la empresa parapoder, de este modo, distribuir ms rpido y mejorar los tiempos dedistribucin.


5/82


5

2. Estado del Arte

En la Universidad Politcnica de Catalunya no se han encontrado referenciasde proyectos similares, pero es cierto que se han realizado y se llevan a cabohoy en da estudios parecidos. Es el caso del Centro de Visin por computadora de la Universidad Autnoma de Barcelona (UAB), donde aplicantcnicas de visin por ordenador para la clasificacin de manzanas. Este centroestuvo presente en el espacio FITEC de la feria Alimentria 2006 que tuvolugar en Barcelona a principios del mes de marzo y donde expusieron lasventajas de este tipo de tcnica. [3]

Tambin son conocidos los estudios llevados a trmino por investigadores japoneses y chinos as como tambin americanos y de Nueva Zelanda.

En los siguientes puntos se hace referencia a los proyectos parecidosencontrados en Japn, la China, el Reino Unido e Italia.(Ttulos traducidos al castellano)

2.1 Sistema de Clasificacin automtica de fruta utilizando procesado deimagen

Este estudio, llevado a trmino por John B. Njoroge. Kazunori Ninomiya.Naoshi Kondo y Hideki Toita del Departamento de Desarrollo Tecnolgico deJapn y publicado el ao 2002 utiliza tcnicas de procesado de imagen digitalpara mejorar el transporte y clasificacin de la fruta.

Su sistema se basa en la inspeccin interna y externa de la fruta ya que seanaliza tanto el color del fruto como su contenido en cidos y azcar. Lasimgenes obtenidas a partir de tres cmaras son procesadas por tresordenadores diferentes. Asimismo disponen de un aparato de Rayos-X paradetectar los defectos biolgicos de la fruta y varios sensores que analizanazcares y cidos.


6/82


6

La deteccin de defectos se hace analizando el nivel de componente azul delas imgenes tomadas, comparndolo con las componentes sumadas R, G y By siempre teniendo en cuenta la iluminacin en las imgenes.

Para este estudio los investigadores han utilizado naranjas, ya que suponen el40% de la produccin de fruta al Japn y cualquier avance en la agilizacin delproceso de almacenaje, clasificacin y distribucin significa una mejora en laeficiencia del proceso.

2.2 Sistema inteligente de seleccin de fruta basado en el estudio delcolor con procesado de imagen

El estudio que lleva por nombre el ttulo de este apartado ha sido realizado por Guo Feng y Cao Qixin, del Instituto de Investigacin de Robtica de launiversidad Jiao Tong de Shanghai, China.

Sus estudios se han orientado hacia la segmentacin de la fruta, la eliminacinde ruidos y la deteccin de contornos.

El primer paso de la tcnica aplicada es segmentar la imagen aplicando unabinarizacin (estableciendo un umbral que determina si el pxel a tratar serblanco o negro) sobre la imagen convertida a espacio de color OHTA (de RGBa OHTA). El cambio de RGB a OHTA es lineal, cosa que no sucede con lasconversiones a HSV (*), HSL (**), etc.

El espacio de color Ohta se obtuvo analizando ms de 100 caractersticasdistintivas que se obtuvieron durante la segmentacin de ocho tipos deimgenes en color. Se logr encontrar un conjunto de caractersticasortogonales de color que se llamaron a partir de entonces espacio de color Ohta. Este espacio de color casi no tiene coste computacional y su resultadoes bastante satisfactorio. Las expresiones de transformacin de RGB a Ohtason las siguientes:


7/82


7

Despus se aplica un algoritmo especial que elimina ruido en la imagen binariapara despus aplicar un algoritmo de deteccin de contornos y as poder segmentar la imagen de manera robusta. Este algoritmo denominado Slpine-Interpolation Algorithm calcula las coordenadas geomtricas del centro de lamanzana de la imagen sin ruido y se busca veinticuatro puntos del contorno delfruto con una diferencia de 15 cada uno. Seguidamente se calcula la distanciaentre los puntos de contorno y el centro geomtrico y se utilizan las medidas

como longitudes de unos radios imaginarios. Con estos datos el algoritmo deSpline-Interpolation genera un contorno suave de la manzana.

Finalmente se realiza una transformacin a HSV, utilizando la imagen H paradeterminar un margen de color admisible necesario para establecer criteriossobre la calidad de la fruta.

2.3 Clasificacin por calidad de naranjas basado en visin de altavelocidad

El estudio que se explica a continuacin ha sido realizado por Michael Recce yJohn Taylor del Departamento de Anatoma y Biologa de Desarrollo delColegio Universitario de Londres (Londres, Reino Unido) en conjuncin con

Alessio Plebe y Giuseppe Tropiano de l A.I.D en Italia.

En este estudio se utilizan las naranjas: cmo analizarlas y detectar el tallo enlas imgenes aplicando procesado digital y una bsqueda de defectos locales.Este aspecto es interesante porque a menudo el tallo de la fruta se confundecon un defecto.

Inicialmente la tcnica que utilizan es la generacin de histogramas decomponente rojo (R) y verde (G) para clasificar el color (el color determina el


8/82


8

tipo de naranja, en este caso, debido a la naturaleza del fruto) mirando ladistribucin de los pxeles de la fruta. Los defectos y el tallo acostumbran a ser distorsiones en el histograma y se pueden comparar con una distribucinnormal segn un histograma de una naranja sana.

Finalmente el grueso de la investigacin se centra en la bsqueda de defectosen la superficie de la fruta, segmentando las regiones defectuosas de aquellasque no lo son utilizando mscaras y los mismos histogramas.

La marca del tallo en cualquier fruto suele confundirse con un defecto en elmomento de procesar la imagen. Los creadores de este estudio han basado ladiferenciacin del tallo respeto un defecto cualquiera con el hecho que el talloes una zona con ms textura y con simetra radial.

2.4 Desarrol lo de una mquina con sistema de visin en tiempo real paraun robot recolector de manzanas

El estudio realizado por D.M Bulanon, T. Kataoka, H. Ukamoto y S. Hata de la

Escuela de Graduacin en Agricultura, de la Universidad de Hokkaido enSapporo, Japn, es muy completo puesto que el objetivo final es la creacin deun robot que recoja las manzanas directamente del rbol. La parte deprocesado de imagen que incluye este estudio incorpora explicaciones sobrecmo se distingue el fruto del resto del rbol; es decir, cmo decide el aparatoaquello que debe recolectar. Inicialmente hace falta decir que el robot incorporaun sistema de visin que primero adquiere la imagen, grada la luminosidad y

realiza un anlisis y procesado digital de la imagen.

El primer paso en el anlisis de la imagen es la separacin de la fruta y el rbolutilizando una conversin de RGB a coordenadas cromticas:

r= R / (R+G+B)g= G / (R+G+B)

b= B / (R+G+B)Figura3


9/82


10/82


10

Toolbox de Matlab ). Este programa tambin incluye un extenso conjunto deejemplos y demostraciones.

3.2 Adquisicin y adaptacin de imgenes.

Las frutas sern melocotones en este estudio y se han fotografiado desdediversos puntos de vista, obteniendo as un conjunto de imgenes queconformarn la base de datos necesaria para el selector. Es destacable elhecho que en un caso real una o varias cmaras tomaran las imgenes de unnico melocotn, conformando un grupo de imgenes sobre el mismo elementoque seran analizadas posteriormente por separado.

Como es necesario obtener melocotones en mal estado para extraer aquellosparmetros que los diferencian de los sanos, se han tenido que recrear losdefectos en la superficie dejando caer las piezas desde cierta altura, simulandoroces que dejan entrever la pulpa y punzando la superficie de la piel.

Se ha escogido la variedad de melocotn Flavor Crest procedente de Fresno,California (EE.UU.) y creada el ao 1974. An as, tambin se ha estudiado lasvariedades May Crest, Candor y Rojo para la elaboracin de resultados, yaque las variedades en los establecimientos varan en funcin de la temporada.

Para hacer las fotografas se ha tenido en cuenta: fondo, resolucin,iluminacin y encuadre. La resolucin establecida ha sido la mxima de la

cmara Sony DSC 93-A (5 megapxeles) y el encuadre manteniendo la fruta enmedio de la imagen. Las condiciones de fondo e iluminacin han sidocomplicadas. Una mala iluminacin puede afectar todo el tratamiento de laimagen porque las sombras que aparecen pueden confundirse con regionesparecidas en grises del melocotn. La luz con que se han hecho las imgeneses la caracterstica de un da soleado a la sombra usando el flash y sinactivarlo. El fondo con que se ha tomado las imgenes es simple (blanco), La

iluminacin y el fondo son aspectos que se tratan ms adelante.


11/82


11

Cuando finaliza la adquisicin de imgenes es necesario escalarlas a untamao ms cmodo para trabajar ya que con 5 megapxeles el gastocomputacional sera muy grande, siempre manteniendo la relacin de aspectoinicial. De la resolucin inicial se pasa a 640x480. Es importante remarcar queMatlab trata las imgenes como matrices por lo que resulta conveniente elreescalado de las imgenes de entrada para agilizar tambin el tiempo deejecucin de las funciones.

El formato de las imgenes es JPG por defecto en la cmara fotogrfica. Aunque se use JPG, los efectos tpicos de esta compresin, como por ejemploel efecto de bloque, no se aprecian al bajar tanto la resolucin.

Figura 1 (a) Melocotn sano sobre fondo simple; (b) Melocotn picoteadosobre fondo simple; (c) Melocotn con pulpa visible sobre fondo simple; (d)

Melocotn golpeado sobre fondo complejo; (e) Melocotn picoteado sobre

fondo complejo (f) Melocotn con pulpa visible sobre fondo complejo.


12/82


12

Figura 2 (a) Melocotn con pulpa visible sobre fondo simple (b) Melocotnpicoteado sobre fondo simple; (c) Melocotn golpeado sobre fondo simple;

(d)Melocotn picoteado sobre fondo con textura compleja.


13/82


13

4. Descripcin del sistema

El esquema de la figura 4 muestra el recorrido de la imagen de la pieza de frutahasta determinar si sta es buena o mala.

Inicialmente se lee la imagen escalada a 640x480 en el Matlab y se le asignauna variable. sta es una matriz de tamao 640x480 pxeles en formato uint8.Por comodidad, la imagen es convertida de formato uint8 a double. Ladiferencia entre uno y otro es el rango de valores que tienen los pxeles. Para elcaso uint8 los pxeles toman valores en el intervalo [0,255] mientras que para elcaso double lo hacen entre [0,1].

El esquema se inicia en el punto en que la imagen del melocotn entra en elbloque de segmentacin. La imagen resultante es el melocotn separado delfondo constando ste como valor uniforme negro. Posteriormente la imagensegmentada se introduce en un detector de contornos cuyo objetivo es obtener un valor que resulte decisorio y determine si el melocotn es apto para elconsumo directo (si est sano o bueno) o bien tiene algn defecto.

En el proceso de almacenaje de melocotones en cajas en una cadena de uncentro logstico frutero cualquiera solamente son escogidos los melocotonesconsiderados sanos, mientras que aquellos que no son destinados a otros usostales como la produccin de zumos y mermeladas.

En el esquema propuesto se va ms all de la clasificacin de melocotn

bueno y melocotn malo: se trata de clasificar de forma simple el tipo dedefecto en cuestin que hace descartar el fruto; a saber: golpes, roces quedejan ver la pulpa del melocotn y daos producidos por los picotazos de lospjaros .

Para determinar el tipo de defecto se usarn dos bloques: un contador decontenedores en histograma y otro donde se analizar la mediana de loshistogramas de la imagen S de HSV.


14/82


14

Las diferentes partes que componen el algoritmo se detallan en los siguientesapartados.

Figura 4 Esquema del sistema Selector.

SEGMENTACIN

IMAGEN

DETECCIN DECONTORNOS

CMPUTO DECONTENEDORESEN HISTOGRAMA

ANALISIS DELA MEDIANAEN HSV

VALOR=0 VALOR 0

BUENO GOLPEADO PICOTEADO PULPAVISIBLE

DEFECTOS COMUNES

APTO PARA EL CONSUMO DIRECTO

HSV


15/82


15

4.1 Segmentacin

El primer paso en el anlisis de imgenes generalmente es la segmentacin dela imagen. Este procedimiento subdivide la imagen en las partes que laconstituyen u objetos. El nivel en que se realiza la subdivisin depende delproblema a resolver. Es decir, la segmentacin debera pararse cuando losobjetos de inters en una aplicacin han sido aislados.[1][Gonzlez,Woods,1993]

Despus de adquirir y preparar las imgenes se procede a investigar lastransformaciones ms convenientes y obtener aquellos parmetros que puedenser tiles para la elaboracin del algoritmo. Antes, sin embargo, debe limitarsela zona de trabajo del programa al lugar de la imagen donde se localiza elmelocotn, ya que ste y no el fondo es la zona de inters. Por este motivo seprocede al estudio de tcnicas de segmentacin con el objetivo claro deseparar la fruta del fondo de la imagen aceptando como vlida una imagensegmentada que no excluya los defectos del melocotn. Se da por entendidoque no es necesario que la segmentacin sea perfecta, pues no es este el

objetivo del proyecto, pero si debe ser suficiente para no excluir informacin.

Lo que se pretende conseguir es que el fondo muestre un valor homogneoigual a 0 que equivale al negro, siendo 1 el valor de blanco que caracterice elobjeto melocotn. Los procedimientos o tcnicas establecidas para llevar acabo la segmentacin son diversos: la deteccin de discontinuidades en laimagen, el enlace de bordes y deteccin de lmites, el Thresholding (o uso de

umbrales) y finalmente la aplicacin de tcnicas de segmentacin orientada aobjetos. La utilizacin de una u otra tcnica depende de la complejidad de laimagen a tratar, o mejor dicho, de la cantidad de objetos a segmentar.

Para el caso que plantea el proyecto y a este nivel del algoritmo no esnecesaria una tcnica complicada de segmentacin porque slo interesa laextraccin del melocotn del fondo. El hecho de haber tomado las imgenes

con un fondo sencillo simplifica el proceso de segmentacin considerablemente


16/82


16

ya que no se corre el riesgo de obtener objetos segmentados aparte delmelocotn y que serian texturas de fondo que no interesan.

4.1.1 Seleccin del espacio de color

Antes de proceder a la segmentacin de la imagen se tiene que decidir elespacio de color desde el cual se trabajar y que debe ser congruente con losespacios que Matlab permite: RGB, color indexado, HSV, niveles de gris,binaria...

Figura 5 (a) Imagen original de la fruta (b) Fruta en niveles de gris(c) Imagen binarizada con la sombra aadida al objeto de inters (d) Imagen

HSV.

Despus de realizar diversas transformaciones se comprueba que el modeloHSV es el ms adecuado para el anlisis de imgenes y su tratamiento. Anas las imgenes en niveles de gris no se descartan para comprobaciones oanlisis extras.


17/82


17

El pasar la imagen de RGB a HSV nos permite hacer una discriminacin entrelo que llamamos tonalidad de la imagen (HUE), saturacin (SATURATION,cantidad de color puro o ausencia de blanco) y el valor del color o brillo(VALUE). Asimismo Matlab conforma la imagen HSV como una matriz dedimensiones 640x480x3: se obtienen tres matrices de 640x480 que enconjunto representen una sola imagen, cosa que no sucede con una imagenbinaria o de niveles de gris, donde solamente se dispone de una matriz. Elespacio HSV es interesante en Matlab precisamente porque permite trabajar de forma independiente con una imagen tono o tonalidad, una imagensaturacin o una imagen brillo, cuyas caractersticas propias permitenescoger una u otra base para nuestro algoritmo.

Figura 6 Imagen Hue de HSV de un melocotn


18/82


18

Figura 7 Imagen Saturacin de HSV de un melocotn.

Figura 8 Imagen Value de HSV de un melocotn

Del resultado de transformar la imagen a HSV se decide que para lasegmentacin se usar o bien H o S, ya que la tercera y ltima matriz V,equivale a la matriz nica resultante de haber pasado una imagen RGB aniveles de gris.

4.1.2 Thresholding . Determinacin de umbrales

De los mtodos expuestos para la segmentacin anteriormente se ha escogidola segmentacin por thresholding o uso de umbrales. La segmentacin seconsigue barriendo la imagen pxel a pxel i etiquetando cada pxel comoobjeto o fondo, segn si el valor del pxel es mayor o inferior que un ciertovalor L llamado umbral [2][Gonzalez, Woods,1993] aunque tambin es posibleel uso de ms de un umbral.

La seleccin de los umbrales es un aspecto fundamental en el thresholding yaque determina en gran medida la calidad del resultado final de lasegmentacin. Siendo as los umbrales no son escogidos al azar sino usandomtodos tales como los histogramas.

La realizacin de histogramas permite en gran medida visualizar directamentela agrupacin de los pxeles de una imagen mostrando grficamente en dos


19/82


19

ejes por un lado los valores de los pxeles y por otro lado la frecuencia en queestos valores se producen en la imagen.

Figura 9 Histograma de la componente Hue de un melocotn sano.

Figura 10 Histograma de la componente Saturacin de un melocotn sano.


20/82


20

Figura 11 Histograma de la componente Hue de un melocotn defectuoso.

Figura 12 Histograma de la componente Saturacin de un melocotn

defectuoso.

Observando varios histogramas como los de las figuras anteriores se decidebinarizar con umbrales L1=0 y L2=160.

Los histogramas de H y de S son representados en el eje de ordenadas por Matlab por valores de 0 a 255, an siendo H y S matrices cuyo valor mximode pxel es 1. Es necesario, pues, cambiar L2=160 por L2=160/255 (0,6227)

para poder realizar la binarizacin o thresholding .


21/82


22/82


22

4.1.3 Uso de operadores morfolgicos. Apertura o cierre.

En principio seria lgico escoger la imagen H para la segmentacin debido aque el melocotn aparece como blanco y el fondo permanece negro en subinarizacin. An as no podemos descartar la imagen S debido a losresultados que se expondrn a continuacin.

Aunque los resultados de la binarizacin son aceptables es necesario eliminar el ruido de la imagen y rellenar huecos en el objeto a segmentar. Por ello serealizan pruebas de aperturas y cierres morfolgicos con tres elementosestructurantes.

(a) (b) (c)Figura 14 (a)Elemento estructurante uno. (b)Elemento estructurante dos

(c)Elemento estructurante tres. Cuanto mayor el elemento estructurante ms

lento es el proceso de apertura y cierre morfolgico de imgenes.

Estos tres elementos estructurantes son tres imgenes de fondo negro con unobjeto circular de diferente tamao. El elemento estructurante aplicado tieneesa forma ya que es la ms afn a la forma de la pieza de fruta. Dicho crculoblanco es el elemento estructurante que barre la imagen y realiza lasmodificaciones segn la operacin morfolgica asignada. Las pruebas handado como resultado diferentes imgenes que se exponen a continuacin.


23/82


23

Figura 15 La imagen superior izquierda es la imagen de Saturacin del

espacio HSV. En la posicin superior derecha se muestra la imagen de S

binarizada con L1 y L2. En la parte inferior izquierda que aparece en blanco

representa el cierre de S y al lado la apertura de la imagen Saturacin con el

elemento estructurante circular uno.





24/82


24

representa el cierre de S donde toda la imagen se considera objeto y al lado

la apertura de la imagen Saturacin con el elemento estructurante circular

dos. A diferencia de la figura 15 la imagen del cierre tiene parte de ella

considerada como fondo.



binarizada con L1 y L2. En la parte inferior izquierda que aparece en blancorepresenta el cierre de S y al lado la apertura de la imagen Saturacin con el

elemento estructurante circular tres. Estas imgenes se consiguen con el

menor de los elementos estructurantes.


25/82


25


espacio HSV. En la posicin superior izquierda se muestra la imagen de S


representa el cierre de S y al lado la apertura de la imagen Saturacin con el

elemento estructurante circular uno.

Figura 19 La imagen superior izquierda es la imagen Hue (de HSV). En la

posicin superior derecha se muestra la imagen H binarizada con L1 y L2. En

la parte inferior izquierda representa el cierre de H y al lado la apertura de la

imagen Hue con el elemento estructurante circular dos. Se observa que el

resultado no es bueno para ninguna de las operaciones morfolgicas.


26/82


26

Figura 20 La imagen superior izquierda es la imagen Hue (de HSV). En la

posicin superior derecha se muestra la imagen H binarizada con L1 y L2. En

la parte inferior izquierda representa el cierre de H y al lado la apertura de la

imagen Hue con el elemento estructurante circular tres.

En este punto es necesario decidir qu imagen se toma para la segmentacin yqu operacin morfolgica se aplica. Aunque a priori sea la imagen H de HSVla ms apropiada por tener fondo negro y objeto blanco, se puede comprobar que S tambin puede dar un buen resultado, siempre y cuando se inviertan losvalores que muestra, ya que estos estn al revs de lo establecido: 1 o blancoes todo aquello considerado como objeto de inters (el melocotn) y 0 onegro el fondo.

Finalmente se ha escogido la imagen de Saturacin (S) del espacio HSV al quese haba convertido la imagen original. Despus de binarizarla con los L1 y L2escogidos anteriormente (el resultado es una imagen con dos nicos valores)se aplica una apertura morfolgica (aprciese que el cierre de S no es deutilidad para la segmentacin). Esta operacin morfolgica equivale a laaplicacin de una erosin y una posterior dilatacin a la imagen con el mismoelemento estructurante y se realiza con el objetivo de eliminar aquellos objetoso zonas de la imagen ms pequeas que el elemento estructurante circular escogido. Las zonas eliminadas son aquellas mas pequeas que el elemento

estructurante y de colores claros (blanco en caso de imgenes binarias).


27/82


27

Figura 21 La imagen superior izquierda es la imagen Saturacin (de HSV). En

la posicin superior derecha se muestra la imagen S binarizada con L1 y L2. Enla parte inferior izquierda se representa el elemento estructurante final uno y

al lado la apertura de la imagen S binarizada.

Obsrvese en la figura 21 que el hecho de eliminar las zonas del melocotnms pequeas que el elemento estructurante implica, para el caso de laimagen de la Saturacin previamente binarizada, rellenar de negro lo

considerado fondo: el melocotn. Siempre recordando que luego debeinvertirse el resultado.

Para la parte del algoritmo destinada a la segmentacin el elementoestructurante utilizado ha sido el nmero uno, de mayor tamao que losdems. Esta caracterstica ha permitido asegurar que ste solo pasara por laszonas convenientes al barrer la imagen (en el caso de S no se ha movido elelemento estructurante por el melocotn sino por el fondo, que en esta casoconsta como elemento objeto).


28/82


28

Figura 22 Movimiento del elemento estructurante circular por una imagen de

un tringulo. El resultado es otro tringulo de picos redondeados, pues el

elemento estructurante no es capaz de llegar a las esquinas.

La operacin morfolgica de cierre no era adecuada para el caso ya queaunque tambin suaviza el contorno del objeto como la apertura, a diferenciade esta suele fusionar roturas delgadas y zonas estrechas donde se percibe elfondo. Tambin elimina pequeos agujeros y rellena huecos en el contorno delobjeto, que es precisamente lo que ocurre cuando se aplica un cierre sobre laimagen S binarizada.

Figura 23 Esta figura pretende ilustrar la gran diferencia entre el cierre

morfolgico y la apertura para el caso estudiado. La parte superior del marco

est en blanco pues es la imagen que representa el cierre, mientras que la

imagen de abajo contiene una mancha negra que es el resultado de la apertura

a S binarizada. Obsrvese que las zonas blancas presentes en la zona del

melocotn han sido eliminadas para dejar una mancha negra uniforme.


29/82


30/82


30

Figura 25 La primera imagen muestra el resultado de segmentar la imagen

sustituyendo los pxeles por los correspondientes niveles de gris. La imagen del

medio realiza el mismo proceso pero sustituyendo los pxeles por las

componentes RGB. Se crean tres imgenes (R, G y B) que mostradas juntas

componen la imagen a color. La ltima imagen es la original de partida antes

de la segmentacin.

Si bien el perfil del melocotn no es perfecto s es correcto para simplificar ladeterminacin de la calidad de la fruta. Es importante que en la segmentacinlos defectos no hayan sido eliminados y considerados parte del fondo.

Obsrvese en la figura 25 que la sombra de la imagen original no ha sidoincluida en la segmentacin. Este detalle es muy importante para la deteccinde contornos, donde usaremos la imagen segmentada en niveles de gris.


31/82


31

4.2 Deteccin de contornos

El objetivo de este apartado es encontrar las caractersticas necesarias parapoder establecer una discriminacin entre melocotones sanos y melocotonesdefectuosos (esquema de la figura 4). Este paso se determina a partir de uncierto valor que relaciona los pxeles totales del melocotn con aquellos quepertenecen a un defecto.

Cuando el melocotn ha sido segmentado del resto de la imagen el siguientepaso se basa en la bsqueda de defectos o imperfecciones en la pieza. stosse caracterizan por una coloracin y textura diferenciales dentro de lahomogeneidad del melocotn.

Como se ha comentado en apartados anteriores, este estudio basa la toma dedecisiones a base de pruebas sobre la imagen e intentando buscar unelemento comn que sea vlido para llegar al resultado deseado.

La deteccin de contornos es una opcin que se contempl desde un principio.

Para aplicar esta tcnica se realizan una serie de pruebas con diferentes filtrosde gradiente proporcionados por el Toolbox de Matlab sobre imgenes enniveles de gris. Los filtros aplicados han sido: Sobel, Prewitt, Roberts y Canny,siendo finalmente el primero por el que se ha optado. Se decide Sobel porque aparte de detectar contornos, sus matrices (que actan como una mscarasobre la imagen) tienen la ventaja de proporcionar un efecto diferenciador ysuavizante. Debido a que este tipo de filtre tambin realza el ruido en la

imagen, el efecto suavizador es una caracterstica particularmente atractiva delos operadores Sobel.

h1[m,n] h2[m,n] (a)-1 -2 -1

0 0 0

1 2 1

-1 0 1

-2 0 2

-1 0 1


32/82


32

h1[m,n] h2[m,n]-1 -1 -1

0 0 0

1 1 1

(b)

h1[m,n] h2[m,n]0 1

-1 0

(c)Figura 26 Los filtros derivadores o de gradiente horizontal vertical (a) Filtro

Sobel; (b) Filtro Prewitt; (c) Filtro Roberts. Son filtros que detectan cambios

bruscos de intensidad en una determinada direccin, es decir bordes, que

corresponden a altas frecuencias.

-1 0 1

-1 0 1

-1 0 1

1 0

0 -1


33/82


33

Figura 27 Resultado de aplicar los filtros de contorno o gradiente. (a)Sobel

(b)Prewitt (c)Roberts (d)Canny. En los tres primeros puede apreciarse como

ciertos pxeles se agrupan en el interior formando crculos pequeos que

marcan tres agujeros formados por picotazos.

Canny ha sido eliminado del estudio directamente pues es demasiado certeroen la deteccin de contornos y detecta incluso las texturas ms insignificantesde un melocotn sano.

Aun habiendo descartado Canny el problema de deteccin excesiva decontornos persiste en el filtro Sobel, por lo que es necesario aplicar otro tipo defiltro que suavice el melocotn lo suficiente como para no detectar cambios detonalidad (como si fueran defectos) en los melocotones sanos. Aun as elsuavizado debe permitir hallar texturas all donde s hay imperfecciones.

Para solucionar el problema se aplica, antes de la deteccin de contornos conun filtro Sobel, un filtro promediador o de mediana. Este filtro suavizar elmelocotn para que el detector de contornos no tenga en cuenta los cambios

de intensidad de la propia piel del fruto. El tamao del filtro de promedio ser talque permita obtener contornos despus del filtro Sobel.

X (a)

X 1/9 (b)

X1/16 (c)

1 11 1

1 1 1

1 1 11 1 1

1 1 1 1

1 1 1 11 1 1 1

1 1 1 1


34/82


34

X1/25 (d)

Figura 28 (a)(b)(c)(d)Los filtros de promedio o mediana estudiados

El filtro promediador se aplica directamente sobre la imagen en niveles de gris,igual que el filtro de contornos Sobel.

Figura 29 Las siguientes figuras muestran el resultado de aplicar un filtro de

promedio a una imagen. Para la imagen superior izquierda se ha usado el filtro

(a) de la figura 28. Para la imagen superior derecha se ha usado el filtro (b) y

para las dos siguientes el (c) y el (d) respectivamente. En todos ellos se aprecia

un leve suavizado.

1 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 11 1 1 1 1


35/82


35

Figura 30 Esta imagen muestra el resultado de aplicar el filtro de tamao 5x5,

finalmente el escogido para el proyecto.

Los efectos de aplicar un filtro de promedio previo al de contornos se puedeapreciar en las siguientes imgenes:

Figura 31 Las siguientes imgenes muestran resultado de aplicar un filtro de

contornos Sobel segn se ha aplicado antes (a )el filtro promediador de 2x2,

(b)3x3, (c) 4x4 o (d) 5x5.


36/82


36

El filtro Sobel de Matlab recibe una imagen en niveles de gris y devuelve otrabinaria, marcando como negro el fondo y como blanco todos los contornoshallados. Si bien es cierto que el resultado es bueno, tambin es posible incluir en el filtro Sobel un parmetro de entrada diferente de la propia imagen a filtrar:un threshold, que para el estudio se fija en 0,03.

Figura 32 (a) Filtro Sobel con tres a 0,03 y (b) Filtro Sobel a 0.05.

Cuando se hallan los bordes se debe hallar alguna relacin que permitaclasificar los melocotones en sanos y defectuoso. Tal y como se ha introducido

al principio de este apartado, se toma como valor discriminatorio la relacinentre los pxeles totales de dentro del melocotn y los pxeles halladosdefectuosos despus del Sobel (marcados como blancos), tambin de dentrodel melocotn. Es importante destacar que los pxeles de la relacin debenreferirse exclusivamente a la parte de la superficie del fruto, excluyendo as elcontorno de la sombra presente en la salida del Sobel y el contorno propio delmelocotn.


37/82


37

Figura 33 La imagen muestra los pxeles a excluir en la relacin valor: son

todos aquellos que pertenecen a la sombra y al perfil del fruto.


38/82


38

Figura 34 La imagen de la figura muestra que la zona a contar pxeles es la

interior y que es suficiente con que haya algunos pxeles que muestren los

defectos, no siendo necesario que se aprecie el perfil perfecto del defecto.

El valor ser 0 si NO tenemos pxeles de contornos de dentro del melocotn enla imagen filtrada por el Sobel, mientras que ser distinta de cero para aquellasfrutas en las que s se detecten imperfecciones dentro del melocotn.

Figura 35 Relacin entre pxeles del melocotn. Es necesario dividir los pxeles

blancos que son aquellos que indican contornos de defecto entre los pxeles

totales de dentro del melocotn. As se normaliza el tamao del melocotn

teniendo en cuenta nicamente su figura y dejando fuera de estudio los pxeles

de contorno y de sombra que no forman parte del fruto y son innecesarios para

el estudio. Esta proporcin indica que si en algn momento la relacin da 0 es

(a)

(b)


39/82


39

porque el numerador es 0 y no existen pxeles defectuosos dentro de la zona

del melocotn.

Valor = 0 nmero de pxeles blancos dentro del melocotn=0

Valor 0 nmero de pxeles blancos dentro del melocotn 0

Para el valor = 0 se considera el melocotn como sano o golpeado, mientrasque para el valor 0 se considera el melocotn como defectuoso, tal comomuestra el esquema del sistema en la figura 4.

Para contar el nmero de pxeles dentro del melocotn se ha creado unafuncin que recorre la imagen de contornos y la compara con la imagensegmentada. Como se destac en el apartado de segmentacin, la imagenresultante de la segmentacin no tiene sombra, puesto que ha sido eliminadadurante el proceso de binarizacin. El algoritmo usado para contar (a) y (b)(obsrvese la figura 35) recorre pxel a pxel las imgenes de entrada imagensegmentada e imagen de contornos- y devuelve una imagen de contornosinternos del melocotn (excluye el perfil del melocotn y la sombra) y el nmerovalor.

El recuento de pxeles se hace en base al siguiente criterio:

1. Si el pxel vale 0 (negro) en la imagen de contornos y 0 (negro) en lasegmentada, significa que el pxel pertenece al fondo y no interesacontarlo. Se da el valor de 0 a ese pxel en la imagen que devuelve la

funcin.

2. Si el pxel vale 1 (blanco) en la imagen de contornos y 0 (negro) en lasegmentada, significa que el pxel pertenece al contorno de sombra dela imagen de contornos y no interesa contarlo. Se da el valor de 0 a esepxel en la imagen que devuelve la funcin.


40/82


40

3. Si el pxel vale 1 (blanco) en la imagen de contornos y cualquier otrovalor en la segmentada, significa que el pxel es de una zona defectuosadel interior del melocotn y debe incrementarse el valor de (a). Tambinse incrementa el valor de (b) y se da el valor 1 al pxel que correspondeen la imagen de salida.

4. Si el pxel vale 0 (negro) en la imagen de contornos y cualquier otro valor en la imagen segmentada, significa que el pxel pertenece al interior delmelocotn aunque no se trata de un defecto. En este caso solo seincrementa el denominador (b) y se le da al pxel en cuestin de laimagen de salida el valor 0.


41/82


41

Figura 36 La imagen muestra la imagen de contornos del filtro Sobel, que junto

a la imagen segmentada de la posicin del medio se obtiene la imagen de

contornos interiores del melocotn (la imagen de la ltima posicin). En este

caso la imagen de salida tiene algunos contornos blancos, que se

corresponden a los agujeros de la imagen segmentada.


42/82


42

Figura 37 La imagen muestra la imagen de contornos del filtro Sobel, que junto

a la imagen segmentada de la posicin del medio se obtiene la imagen de

contornos interiores del melocotn (la imagen de la ltima posicin). En este

caso la imagen de salida no tiene ningn contorno blanco, ya que el melocotn

es sano. Para esta situacin el parmetro valor ser igual a 0.


43/82


43

En este punto del esquema la lnea a seguir se separa en dos: una lleva adeterminar si el melocotn es sano o no y la otra a la clasificacin directa dedefectos.

4.3 Cmputo de contenedores en histogramas.

En este bloque representado en el esquema 4 entran todos aquellosmelocotones que tienen valor = 0 en la proporcin de la figura 35.

En este punto el problema surge al comprobar que tanto los melocotonesconsiderados sanos como los golpeados pasan por el mismo bloque, como siambos fueran vlidos. Esto se debe a que los melocotones golpeados notienen roces, texturas ni desgarros en la superficie de la piel, por lo que no sondetectados en el filtro de contornos Sobel, pero s se aprecia en ellos unacoloracin diferente: gran parte de la superficie muestra una tonalidadaproximadamente marrn o negruzca bastante uniforme que caracteriza losgolpes en este tipo de frutos.

Los melocotones al madurar frecuentemente caen del rbol antes de ser recolectados por el agricultor. El golpe de la cada ms el calor del sol y lahumedad del suelo de los rboles favorece la aparicin de moratones en elmelocotn. Tambin se producen golpes al ser recogidos con cubos y luego ser vertidos en cajas mayores que van hacia los centros logsticos donde serealizar la criba. Los golpes en la fruta tienen la caracterstica que al

producirse inicialmente no son detectados hasta al cabo de unas horas cuandola coloracin marrn empieza a aflorar. Esto implica que un melocotn quepareca sano al recolectarlo puede al cabo de unas horas no serlo alclasificarlo.


44/82


44

Figura 38: ejemplos de melocotones golpeados. Se aprecia en ellos una zona

oscura bastante uniforme en color si es comparada con la zona sana.

Figura 39 Ejemplos de melocotones sanos fotografiados con diferente

iluminacin. Obsrvese la variedad de tonos: amarillos, naranjas y rojizos.

Si se representa el histograma en niveles de gris de un melocotn sano y unogolpeado puede apreciarse la diferencia en la distribucin de los pxeles. Sibien es cierto que en estos histogramas parte de los pxeles hacen referencia alfondo, es posible descartarlos usando el histograma de la imagen segmentadaen gris.


45/82


45

Figura 40 Histograma de la imagen de un melocotn sano en niveles de gris

Figura 41 Histograma de una imagen en niveles de gris de un melocotn

golpeado. En pequeo se encuentra el histograma del fondo de la imagen. Se

puede apreciar la diferencia entre ambos histogramas por la forma que tienen

de acumularse los pxeles. La diferencia entre uno y otro da como resultado la

zona del melocotn golpeado. Obsrvese que los pxeles del fruto son los que


46/82


46

se acumulan a la izquierda en el grupo entorno al nivel 50. Los pxeles ms a la

derecha son ms claros y pertenecen al fondo, tal como se aprecia en la

imagen del margen superior derecho. En principio es complicado discernir de

este histograma de melocotn golpeado del sano de la figura anterior.

Figura 42 Histograma de la imagen segmentada de un melocotn golpeado.

En el valor 0 se acumulan los pxeles pertenecientes al fondo negro de la

segmentacin.


47/82


47

Figura 43 Histograma de la imagen segmentada de un melocotn sano. Se

aprecia claramente un mximo para la posicin 0 (negro) del histograma: son

todos los pxeles pertenecientes al fondo.

En el histograma de la imagen segmentada en niveles de gris existe un mximoen el valor 0 que representa el conjunto de pxeles que conforman el fondo dela imagen. Si se pone a cero el primer contenedor ( bin ) del vector yrepresentamos de nuevo los histogramas se aprecia que esta vez todos lospxeles son de fruta.

Figura 44 Histograma de un melocotn golpeado, poniendo a cero los pxeles

de fondo que ocupaban la posicin cero del vector histograma. Inicialmente no

parece que exista ninguna diferencia significativa entre el histograma del

melocotn golpeado y el sano de la figura siguiente. Sin embargo, es

interesante observar el nmero de contenedores o valores que abarca este

grfico de la figura en comparacin con el del fruto sano, obsrvese la anchura.


48/82


49/82


49

Segn el razonamiento anterior se puede suponer que el nmero decontenedores (nmero de casillas o posiciones) ocupados del vector histograma ser menor para el caso de melocotones golpeados. Bajo estesupuesto se realizan tablas comparativas entre melocotones sanos ygolpeados calculando el nmero de posiciones del vector diferentes de cero, esdecir ocupadas. Este estudio da como resultado que si el histograma es de unmelocotn golpeado, el nmero de contenedores ocupados esaproximadamente inferior al 29-30% del total (se entiende total por 256, ya queel histograma tiene posiciones de 0 al 255). Para nmeros superiores elmelocotn se considera sano.

El bloque denominado Cmputo de contenedores en histogramas,simplificando, determina si un melocotn es sano o est golpeado en funcinde el nmero de contenedores ocupados en el histograma. Si el nmero esinferior a 75 (aproximadamente un 29-30% del total del histograma) seconsidera que el melocotn defectuoso con una imperfeccin llamada golpe.

Figura 46 Esta imagen ilustra el ancho del histograma o nmero de

contenedores ocupados. Generalmente dicho nmero es mayor para

melocotones sanos.

4.4 Anlisis de la mediana en HSV

El esquema del sistema representado en la figura 4 muestra que este ltimobloque da como resultado la clasificacin del melocotn segn dos tipos de

defectos: picotazos y roces que dejan la pulpa visible.


50/82


50

Una vez la relacin valor da una cifra distinta de 0 ya significa que el melocotnno es vlido para su consumo directo y que ser procesado para darle otro uso:licuarlo para la produccin de zumos o triturarlo para el envasado demermeladas.

Sin embargo es posible que se necesite saber de qu tipo de defecto se tratapara poder realizar algn tipo de estudio sobre plagas, consecuencia deaplicaron de productos fitosanitarios, daos causados por temporales de nieve,granizo Todas estas situaciones dejan marcas en la fruta que pueden ser dealgn modo tiles.

Para este proyecto se clasifica el tipo de dao en la superficie del melocotn enfuncin de si se trata de un golpe, de una marca producida por un picotazo deave o por un desgarro en la piel que deja ver la pulpa amarilla (para la variedadestudiada).

(a) (b)

(c) (d)


51/82


51

Figura 47 Melocotones con defectos. (a) es defecto de picotazos mientras que

(b), (c) y (d) son defectos de desgarro en la piel y dejan a la vista la pulpa del

fruto.

Para clasificar el tipo de imperfeccin se estudia tambin la distribucin depxeles en el histograma de frutas con picotazos y con desgarros en la piel.Dichos histogramas se hacen a partir de la imagen S (Saturacin) del espacioHSV al que ya se haba transformado la imagen. Los picotazos tienen tonosanaranjados y marrones mientras que los desgarros dejan ver directamentetonos amarillos.

El histograma de S muestra la distribucin de los pxeles segn el nivel deintensidad de color o ausencia de blanco. Los colores ms vivos tienen valoresde saturacin ms elevados que aquellos ms apagados, que parecenmezclados con blanco. Los rojos, amarillos y anaranjados del melocotnaparecen como tonos grisceos, pero claros, en la imagen de saturacin deHSV, mientras que el fondo claro queda negro en dicha imagen. Los defectosquedan resaltados en blanco y toman los valores mximos de saturacin.

Figura 48 Histograma de S de un melocotn picoteado.


52/82


52

Figura 49 Imagen de Saturacin de un melocotn picoteado. Es destacable la

coloracin de los agujeros del fruto.

Figura 50 Histograma de S de un melocotn con desgarro en la piel.


53/82


53

Figura 51 Imagen de Saturacin de un melocotn con pulpa visible. Es

destacable el tono blanco de los desgarros del fruto.

Los histogramas son muy parecidos y muestran una agrupacin similar de lospxeles, sobretodo en los valores prximos a cero, que corresponden al fondode la imagen, no al melocotn. Como los defectos resultan ser una mnimaparte del histograma, pues slo representan un bajo porcentaje respecto laimagen S total, quedan agrupados en los valores ms prximos al blanco (255).

Teniendo en cuenta que los pxeles blancos del defecto representan aquellasbarras del histograma con menor nmero de pxeles, se centra la atencin eneste hecho y se aplica al histograma un clculo de mediana.

La mediana estadstica del histograma de S, si bien pierde la informacin desaturacin, da un punto central en los valores de agrupaciones de pxeles. El

clculo de la mediana consiste en ordenar las columnas del histograma(cantidades de pxeles de iguales caractersticas) de menor a mayor y tomar dereferencia el valor que hay en la posicin central (el que se encuentra en laposicin 127-128 de 256 contenedores). Organizando as el histograma losdefectos que eran columnas pequeas prximas al blanco quedan ahoraposicionados en la parte izquierda del histograma.


54/82


54

Figura 52 Histograma de la figura 48 ordenado por el mtodo de la burbuja.

Las columnas de pxeles se han redistribuido en orden creciente para este

melocotn picoteado.

Figura 53 Histograma de la figura 50 ordenado por el mtodo de la burbuja.

Las columnas de pxeles se han redistribuido en orden creciente para este

melocotn con pulpa visible. Se aprecia la diferencia entre los valores que

alcanzan las columnas en un caso y otro.

El mtodo de ordenacin aplicado es el mtodo de la burbuja, cuyo uso tienecomo nica funcin la representacin del histograma ordenado, pues as es


55/82


55

posible marcar un punto de referencia con la mediana a la hora de discriminar entre melocotones picoteados y melocotones con pulpa visible.

Los defectos de melocotones con marcas de picos de ave o de granizo sonrepresentados por un nmero menor de pxeles que no el caso de melocotonescon desgarros en la piel. Las columnas de pxeles de iguales caractersticas delhistograma tambin tienen diferente longitud. Basando el uso de la mediana eneso es posible determinar un umbral a partir del cual si la medina es superior oinferior clasifique uno u otro tipo de imperfeccin.

Se establece como umbral tras diversas pruebas un valor de mediana de 180. A partir de ese valor los melocotones con medianas en el histogramasuperiores a 180 sern aquellos que tienen pulpa visible y viceversa para lospicoteados.

Figura 54 Histograma ordenado de la saturacin de un melocotn con agujeros

producidos por picotazos. Obsrvese que la columna central (posicin 127-128)

casi no se aprecia y no se produce un aumento del nivel hasta la posicin 150

aproximadamente. Este seria el caso en que la mediana< 180.


56/82


56

Figura 55 Histograma ordenado de la saturacin de un melocotn con pulpa

visible. Obsrvese que la columna central (posicin 127-128) si tiene cierta

altura a diferencia de la figura anterior. Este seria el caso en que la mediana>

180.

Para mostrar cules son los pxeles detectados como defectuosos y verificar

que se corresponden a los defectos del melocotn se ha empleado una tcnicade etiquetado de pxeles conexos y se ha creado una funcin que marca concruces rojas las zonas de la imagen donde el selector ha detectadoimperfecciones.

Esta funcin solo se ejecuta para melocotones cuyo parmetro valor esdistinto de 0, ya que el etiquetado depende de los contornos hallados.


57/82


57

Figura 56 Las imgenes (a) (b) (c) y (d) muestran las zonas que el selector hadetectado como defectuosas marcndolas con cruces rojas en melocotonescon picotazos.


58/82


58

Figura 57 Las imgenes (a), (b), (c) y (d) muestran con cruces rojas las zonas

que el selector detecta como defectuosas. Los ejemplos de esta figura son

todos de melocotones con pulpa visible.

En este punto del esquema los melocotones ya han sido clasificados segn loscriterios ya descritos. El algoritmo debe ponerse a prueba con la coleccin deimgenes tomadas anteriormente y poder as evaluar la capacidad del sistemay su respuesta ante imgenes reales.


59/82


59

5. Resultados y observaciones

En el apartado 3 Consideraciones previas se describe la toma de imgenespara formar la base de datos a partir de la cual podremos ejecutar el algoritmoen Matlab y comprobar los resultados.

Hay dos parmetros que son de inters y devuelve la funcin selector. Elprimero, devuelve 1 si el melocotn es sano o bien 0 si no lo es. La segundavariable devuelve el tipo de defecto o si es sano. Este segundo parmetropuede valer:

picoteadopulpa visiblegolpesano

El resultado se muestra en forma de tabla donde se separa por columnas losdistintos valores tenidos en cuenta:

-Iluminacin: para cada prueba queda anotada en esta columna el tipo de luzcon que se ha tomado la fotografa:

-Tipo1: Poca luz (imagen oscura)-Tipo2: Muy poca luz-Tipo3: Imagen tomada con flash

-Id. Pieza (Identificador de pieza): nombre dado a la imagen y usado para ser asignada a una variable en el algoritmo selector.

-Variedad: clase del melocotn de la imagen. Puede ser Flavour crest, rojo,May Crest o Candor.

-Resultado: valor de la variable result. Es 1 si la fruta es sana y 0 si no loes.


60/82


60

-Tipo: variable del algoritmo selector que devuelve pulpa visible, golpe,sano o picoteado en funcin de lo detectado.

-Visual: valoracin personal de la imagen del melocotn para poder realizar lacomparacin con el resultado del selector.

-Fallos: columna que destaca de forma visual con cruces rojas aquellosresultados que son fallidos.

LUZ DESCRIPCINTipo1 SombraTipo2 OscuraTipo3 Flash

LUZ ID PIEZA VARIEDAD RESULTADO TIPO VISUALFALLOSTipo3 1 May Crest 0 "picoteado" picoteadoTipo2 2 May Crest 0 "picoteado" picoteado

Tipo3 3 May Crest 0"pulpavisible" picoteado X

Tipo2 4 May Crest 0 "golpe" golpeadoTipo2 5 May Crest 0 "golpe" golpeadoTipo2 6 May Crest 1 "sano" sanoTipo3 7 May Crest 1 "sano" sanoTipo2 9 May Crest 1 "sano" sano

Tipo2 10 May Crest 0"pulpavisible" pulpaYgolpe

Tipo2 11 May Crest 1 "sano" sanoTipo2 12 May Crest 1 "sano" sanoTipo3 13 May Crest 0 "picoteado" sano XTipo2 14 May Crest 1 "sano" sanoTipo3 15 May Crest 1 "sano" sano

Tipo3 16 May Crest 0"pulpavisible" picotazos

Tipo2 17 May Crest 1 "sano" sanoTipo3 18 May Crest 1 "sano" sano

Tipo3 19 May Crest 0"pulpavisible" sano X

Tipo2 20 May Crest 1 "sano" sanoTipo3 21 May Crest 1 "sano" sanoTipo2 22 May Crest 1 "sano" sano

Tipo3 23 May Crest 1 "sano" sanoTipo2 24 May Crest 1 "sano" picotazos XTipo2 25 Candor 0 "golpe" golpeado


61/82


61

Tipo2 26 May Crest 0 "picoteado" picotazos

Tipo3 27 May Crest 0"pulpavisible"

pulpavisible



pulpavisible

Tipo2 32 Candor 0 "golpe" golpeadoTipo3 33 May Crest 1 "sano" sanoTipo2 35 May Crest 0 "picoteado" picotazo

Tipo3 36 rojo 0"pulpavisible" sano X(*)

Tipo2 37 rojo 0 "golpe" sano X(*) Tipo2 38 rojo 0 "golpe" sano X(*) Tipo2 39 rojo 1 "sano" sanoTipo1 40 rojo 0 "golpe" golpeado

Tipo3 41 candor 0"pulpavisible" pulpaYgolpe

Tipo3 42 May Crest 1 "sano" sanoTipo3 43 May Crest 0 "picoteado" picoteadoTipo2 44 May Crest 0 "golpe" sano XTipo2 45 May Crest 0 "golpe" sano XTipo3 46 May Crest 0 "picoteado" picoteado


Tipo2 48 May Crest 0 "golpe" picoteado XTipo2 49 Candor 0 "golpe" golpeado

Tipo3 50 Candor 0 "picoteado"pulpavisible X


pulpavisible

Tipo2 52 May Crest 0 "sano" sanoTipo3 53 May Crest 1 "sano" sanoTipo3 54 May Crest 0 "picoteado" sano XTipo2 55 May Crest 1 "sano" sanoTipo2 56 May Crest 0 "golpe" golpeadoTipo3 57 May Crest 1 "sano" sanoTipo3 58 May Crest 1 "sano" sanoTipo1 59 May Crest 1 "sano" sano

Tipo2 60 May Crest 1 "sano" sanoTipo3 61 May Crest 0 "picoteado" picoteadoTipo2 62 May Crest 0 "golpe" sano XTipo2 63 May Crest 1 "sano" sanoTipo3 64 May Crest 1 "sano" golpeado XTipo2 65 May Crest 0 "golpe" golpeadoTipo3 66 May Crest 1 "sano" sanoTipo3 67 May Crest 1 "sano" sanoTipo3 68 May Crest 0 "golpe" golpeadoTipo3 69 May Crest 1 "sano" picoteado XTipo3 70 Candor 0 "golpe" golpe

Tipo1 71 May Crest 0 "pulpavisible" pulpavisible


62/82


62



Tipo3 76 May Crest 0"pulpavisible" picotazo

Tipo1 77 May Crest 1 "sano" sanoTipo1 78 May Crest 1 "sano" sano

Tipo3 81 Candor 0"pulpavisible" sano X

Tipo3 82 Candor 1 "sano" sanoTipo3 83 Candor 0 "golpe" golpeado


pulpavisible

Tipo3 86 Candor 1 "sano" sanoTipo3 87 Candor 1 "sano" sano

Tipo3 88 Candor 1 "sano" sanoTipo1 89 May Crest 0 "golpe" sano XTipo1 90 May Crest 0 "golpe" sano XTipo1 91 May Crest 0 "picoteado" picotazos


pulpavisible

Tipo1 93 May Crest 1 "sano" sanoTipo1 94 May Crest 0 "golpe" golpeadoTipo3 95 May Crest 1 "sano" sano


pulpavisible

Tipo1 98 May Crest 1 "sano" sano


pulpavisible

Tipo1 100 May Crest 1 "sano" sanoTipo2 101 May Crest 1 "sano" sanoTipo3 102 May Crest 0 "picoteado" sano XTipo3 103 May Crest 1 "sano" sanoTipo3 104 May Crest 1 "sano" sanoTipo1 105 May Crest 1 "sano" picoteado XTipo3 106 May Crest 1 "sano" sano

Tipo3 107 May Crest 0"pulpavisible" sano X

Tipo2 108 May Crest 0 "pulpavisible" sano XTipo3 109 May Crest 1 "sano" sanoTipo3 110 May Crest 1 "sano" sanoTipo3 112 May Crest 1 "sano" sanoTipo3 114 Candor 0 "golpe" golpeadoTipo3 119 May Crest 1 "sano" sano

Tipo3 122 Candor 0"pulpavisible" golpeado X

Tipo1 128 May Crest 1 "sano" sanoTipo1 c18 May Crest 1 "sano" sanoTipo1 131 May Crest 1 "sano" sanoTipo1 133 May Crest 1 "sano" sanoTipo2 117 May Crest 0 "picoteado" picoteado


63/82


63

Tipo3 121 Candor 1 "sano" sanoTipo3 125 May Crest 1 "sano" sanoTipo3 130 May Crest 0 "picoteado" picoteado

LUZ ID PIEZA VARIEDAD RESULTADO TIPO VISUALFALLOS

Tipo3 picoteado10 rojo 0"pulpavisible" picotazos X


Tipo3 sano22 rojo 1 "sano" sano

Tipo3 ua28 rojo 0"pulpavisible"

pulpavisible


pulpavisible

Tipo3 ua37 rojo(fondo) 0

"pulpa

visible"

pulpa

visible


pulpavisible

Tipo3 golpeado10 rojo 1 "sano" golpeado XTipo2 golpeado2 rojo 0 "golpe" golpeadoTipo2 golpeado20 rojo 1 "sano" golpeado XTipo3 golpeado4 rojo 1 "sano" golpeado XTipo3 golpeado5 rojo 1 "sano" golpeado XTipo2 picoteado1 rojo 0 "picoteado" picotazoTipo3 picoteado2 rojo 1 "picoteado" picotazo


Tipo2 picoteado5 rojo 0 "picoteado" picotazoTipo3 picoteado8 rojo 0 "picoteado" picotazoTipo1 sano13 rojo 1 "sano" sano


pulpavisible


pulpavisible

Tipo2 sano18 rojo 1 "sano" sanoTipo3 sano15 rojo 1 "sano" sano


pulpavisible

Tipo1 ua6 rojo 0 "pulpavisible" pulpavisible

LUZ ID PIEZA VARIEDAD RESULTADO TIPO VISUALFALLOSTipo3 sano_groc FlavourCrest 1 "sano" sanoTipo3 golpe FlavourCrest 0 "golpe" golpeadoTipo3 picoteado FlavourCrest 0 "picoteado" picotazos

Tipo3 ua1 FlavourCrest 0 "picoteado"pulpavisible X

Tipo3 sano22 FlavourCrest 1 "sano" sanoTipo3 sano23 FlavourCrest 1 "sano" sano


64/82


64

(*) melocotones tipo May Crest con demasiada tonalidad roja ms parecidos a

la variedad Spring Lady. Podran excluirse del estudio por no ser un hecho

habitual.

De un total de 146 melocotones, ha habido 33 fallos, un 77,39% de acierto.

ESTUDIO DE LOS RESULTADOS POR GRUPOS

-El primer grupo de frutas est constituido por melocotones de las variedadesCandor y May Crest , ambos de tonalidades rojizas y amarillentas y de pielaterciopelada. Para este grupo:

116 piezas analizadas con el selector 25 resultados errneos, lo quesupone un acierto del 78,45%. Si se excluyen del estudio las tres piezasconsiderables de otra variedad, el acierto aumenta al 81,03%.

-El segundo grupo est formado por melocotones de la variedad Rojos, cuyo

tono es ms rojizo, casi granate, comparado con la variedad anterior. Para estegrupo:

24 piezas analizadas con el selector 7 resultados errneos, lo quesupone un acierto del 70,83%.

-El tercer grupo est formado por melocotones de la variedad Flavour Crest.

Como la mayora de las variedades de invierno, la Flavour Crest producemelocotones de tamao inferior y tonalidad parecida a la May Crest. Sinembargo est variedad tiene la piel parecida a las nectarinas, puesprcticamente carece del tacto aterciopelado. Para este grupo:

6 piezas analizadas con el selector 1 resultado errneo, lo que supone unacierto del 83,33%.


65/82


65

ESTUDIO DE LOS RESULTADOS SEGN LA ILUMINACIN

Recordando los tres tipos de iluminacin con que se han tomado las imgenes,diferenciamos entre ellos para ver cmo afectan al acierto del selector.

-Para el tipo de luz llamada tipo1: son imgenes tomadas a la sombra y tienenaspecto apagado. Resultados:

Un total de 19 imgenes han sido tomadas en estas condiciones, resultanerrneas 3. Esto supone un total de acierto del 84,21%.

-Para el tipo de luz llamada tipo2: imgenes tomadas sin flash. Ms oscurasque el primer tipo.

Se han analizado un total de 42 imgenes con este tipo de luz y ha habido 9fallos. Se ha acertado un 78,57% de las veces.

-Para el tipo de luz llamada tipo3: imgenes tomadas con flash.

De 83 imgenes analizadas, 21 resultan errneas. Estos datos suponen unacierto del 74,70%.

ESTUDIO DE LOS RESULTADOS SEGN CLASIFICACINGENERAL/DEFECTOS

En este apartado se centra el estudio de resultados en el objetivo inicial delproyecto: determinar si el melocotn analizado por el selector es bueno(result=1) o no (result=0), por lo que slo es necesario observar la columnaresultado y fallos. De un total de 146 imgenes analizadas, han falladorespecto a este criterio 23. Se ha acertado en un 84,25% de las veces.

Los fallos producidos bien han sido por determinar como sana una pieza

cuando no lo era como la situacin inversa. Los casos ms frecuentes han sido


66/82


66

la clasificacin de un melocotn como defectuoso golpeado en vez de sano oviceversa.

Por otro lado en la clasificacin de defectos los errores se producen por la maladiferenciacin entre melocotones con desgarros en la piel (defectos de pulpavisible) y agujeros de la piel (picoteado): de 146 imgenes analizadas, 10fallos han sido por este tipo de clasificacin defectuosa. Se ha acertado un93,10% de las veces.

Si bien los resultados muestran un porcentaje de acierto favorable, en unaaplicacin real, dirigida a su comercializacin y aplicacin industrial elporcentaje general debera situarse en aproximadamente un 80% de acierto enla clasificacin general (bueno o malo).

Los resultados ms desfavorables han sido obtenidos durante la clasificacinsegn el tipo de luz, de aciertos en un 70% de los casos. El selector ha sidocreado con parmetros en la binarizacin favorables a la luz del tipo3, cosa quehacia previsible errores para cualquier otro tipo de luz. Esta observacin

carecera de importancia en un sistema de visin en la industria logstica de lafruta pues las condiciones de luz en que se toman las imgenes siempre sonlas mismas.

En las imgenes en niveles de gris con los defectos marcados se puedenapreciar las zonas en que el algoritmo selector centra sus clculos.


67/82


67

RESULTADOS: IMGENES REPRESENTATIVAS

Figura 58 (a) melocotn con desgarro en la piel que deja a la vista la pulpa.

(b)melocotn con golpe con pulpa a la vista, (c) Araazos en la piel y

(d)melocotn con pulpa a la vista. Este tipo de defectos aceleran la

descomposicin de la fruta y interesa su deteccin. Las pequeas marcas enrojo marcan las zonas afectadas.


68/82


68

Figura 59 (a) y (b) Muestran dos imgenes de melocotones con fondos con

textura y las zonas que el algoritmo destaca como defectuosas marcadas en

rojo. Algunas de esas zonas pertenecen a la sombra del melocotn, debido a la

textura granulosa del fondo. (c) melocotn de tipo Rojo con los defectos

marcados en la zona araada.


69/82


69

Figura 60 (a) y (b) muestran defectos similares en la piel de la fruta marcados

en rojo. (c) Melocotn con un nico picotazo.


70/82


70

Figura 61 ( a)melocotn con un nico picotazo. (b) melocotn con un defecto en

la parte izquierda. Las frutas (c) y (d) muestran varios agujeros. En la pieza (c)

el selector slo detecta dos de los tres defectos.

Figura 62 (a)Melocotn con defecto de pulpa visible con las zonas marcadas

en rojo. (b) Melocotn picoteado con los defectos marcados en rojo alrededor

de los agujeros.


71/82


71

Figura 63 (a) En esta imagen el melocotn seria considerado sano, sin

embargo el selector detecta un cambio de textura en Sobel en la zona clara y

clasifica como malo una fruta que en principio seria sana.


72/82


72

Figura 64 (a)Segmentacin de un melocotn picoteado (b) Segmentacin de

un melocotn sano (c) Segmentacin de un melocotn con defecto tipo pulpa

visible.


73/82


73

6. Conclusiones

Las dificultades de este proyecto han sido muchas, como muchas han sidotambin las decisiones que se han ido tomando. Ya desde el inicio est claroque es un estudio en que deben realizarse muchas pruebas y se debe fijar unobjetivo.

El objetivo del estudio es crear un programa con Matlab que clasificara lasimgenes de fruta de entrada (melocotones) en buenas o malas. En este puntolas primeras dificultades se hacen visibles: qu fruta escoger y cmodeterminar si es o no apta para el consumo directo. El primer punto se resolvidecidindose por melocotones ya que estos, por su textura y coloracin,resultaban ms complicados e interesantes que no las manzanas o naranjas,de coloracin ms definida. El segundo punto es absolutamente visual: unapersona es capaz de decir por el aspecto si la fruta esta o no en buen estado.

Los resultados del algoritmo selector estn determinados en gran medida por dos aspectos: variedad de la fruta e iluminacin. La variedad de la fruta resulta

un problema a tener en cuenta a la hora de determinar los umbrales debinarizacin. No es lo mismo una fruta de tonos amarillentos que una de tonosrojizos.

Inicialmente la fruta con que se trabaj fue Flavour Crest, con aspecto denectarina y los umbrales de binarizacin y el procedimiento en s estuvobasado desde el principio en esa variedad. El problema se encuentra en que

las variedades cambian en los centros de compra, por lo que un tipo demelocotn que se encuentra en febrero en el supermercado ya no se encuentraen mayo, puesto que es una fruta de primavera-verano y en cualquier otro meses importada de Estados Unidos. Por ese motivo, cuando el selector estuvofinalizado, ya no haba Flavour Crest en ningn lado para hacer ms pruebas.Hizo falta entonces recurrir a otras variedades similares: Spring Lady, Candor yMay Crest. Adems se hicieron pruebas con melocotn de la variedad Rojo,

cuyos resultados se encuentran en el apartado anterior.


74/82


75/82


75

media de 69,5 segundos por imagen. Este resulta un tiempo excesivo si setiene en cuenta que una aplicacin as est pensada para trabajar a tiempo realy a gran velocidad para poder analizar el mayor nmero de piezas posible en elmenor tiempo posible.

Son diversas las mejoras a aplicar al selector, que requieren tiempo ydedicacin. La disminucin del tiempo de ejecucin del algoritmo seria una deellas como tambin lo seria la reduccin del nmero de fallos en la clasificacingeneral. Asimismo deberan estudiarse otros espacios de color y otras tcnicasde procesado digital de imgenes que dieran respuesta ms eficaz a ladeteccin y clasificacin de fallos.

Finalmente queda decir que aunque Matlab resulte una herramientaespecialmente til y muy visual para desarrollar estudios de este tipo no seriaun programa adecuado para la ejecucin de un programa de este tipo en uncaso real.


76/82


76

7. Anexos7.1 Anexo I : Situacin del algoritmo selector en la cadena logstica.


77/82


77


78/82


78

Los dos planos anteriores han sido cedidos por cortesa de la empresa Grup ACTEL , cooperativa que cubre varios servicios en el sector de la fruta y tienesede en Lleida.

El primer plano corresponde a la cadena logstica. Por el nmero diecinuevemarcado en el esquema entran las cajas grandes o contenedores de fruta paraluego pasar por el nmero cuatro que es el aparato reconocedor de color,tamao y peso. Para este ejemplo el nmero cuatro correspondera alselector, pero con ms funciones aadidas aparte de la deteccin de defectos(en el apartado color). Es interesante remarcar que los colores azul turquesa ymarrn claro de la salida del detector (numero 4 en rojo) se corresponden a laseleccin de calidad y clculo de los niveles de azcar respectivamente.

Es destacable la cantidad de transportadores necesarios y la funcin delelemento marcado con el nmero 7. ste se corresponde a la mesa de llenadomanual de cajas a granel, donde las trabajadoras recogen una a una las piezasde fruta y las ponen en cajas que luego sern transportadas en camiones hacialos centros de consumo o bien hacia cmaras frigorficas de la propia empresa.

En la leyenda adjuntada se desglosa la informacin sobre la cadena y senombra las marcas de los fabricantes de los aparatos. Obsrvese que elsistema incorpora dos reconocedores de imgenes: uno para la fruta (nmero4) y otro para las cajas de entrada (nmero 19).


79/82


80/82


80

Una palanca se activa para desviar las piezas rechazadas y enviarlas a otro

punto de la cadena que seguir un recorrido distinto.

Figura 67 Sistema simple formado por la cadena transportadora, una cabina de

control y acceso mecnico-elctrico. Incorpora un sistema de visin que incluye

una cabina con tres cmaras, puntos de luz y un sistema sensor de fibra ptica.


81/82


81

3. Referencias bibliogrficas

[1] GONZALEZ, R.C; WOODS, R.E , Digital Image Processing, Addison-Wesley Publishing Company, pp 413-415, 1993

[2] GONZALEZ, R.C; WOODS, R.E , Digital Image Processing , Addison-Wesley Publishing Company, pp 443-444, 1993

[3] www.vilaweb.cat , seccin noticias, jueves 09/03/06 6:00 h

Bibliografa consultada

GONZALEZ, R.C; WOODS, R.E , Digital Image Processing , Addison-WesleyPublishing Company, pp 199,419,479,413-415,443-444, 1993

NJOROGE, J.B., NINOMIYA, K., KONDO, N., TOITA, H., Automated fruitgrading system using image processing, SICE 2002. Proceedings of the 41stSICE Annual Conference , volum 2, pp 13461351, 5-7 Agost 2002

GUO F., CAO Q. Intelligent Control and Automation, 2004. WCICA 2004. FifthWorld Congress on Control and Automation, volum 6, p 4802 4805, 15-19Juny 2004.

RECCE M., TAYLOR J. High speed vision-based quality grading of oranges.Neural Networks for Identification, Control, Robotics, and Signal/Image

Processing. Proceedings., Inlernalional Workshop on, 21-23 , pp 136-144,1996.

BULANON, D.M. KATAOKA, T. OKAMOTO, H. HATA, S. Development of a real-time machine vision system for the apple harvesting robot,SICE 2004

Annual Conference , volum 1, pp 595 598, 2004


82/82


CARBO PERICAY J., IGLESIAS CASTELLARNAU I, Presseguer. Lesvarietats de ms inters,Institut de Recerca i Tecnologia Agroalimentries,Generalitat de Catalunya.2005

CIELO, P Optical Techniques for Industrial Inspection, Academic Press, Inc,pp 257-307, 1998.

Documentacin consultada en Internet

www.vilaweb.catieeexplore.ieee.orgbibliotecnica.upc.es/bib170/en.wikipedia.org/wiki/HSV_color_spaceen.wikipedia.org/wiki/thresholding_(image_processing)http://www.hiru.com/es/matematika/matematika_05900.htmlhttp://www.aulafacil.com/CursoEstadistica/Lecc-4-est.htmhttp://aldocgh.tripod.com/http://ceres.ugr.es/~amp/docencia/tepds/pract5.pdf

http://www.bioestadistica.uma.es/libro/node16.htmhttp://www.quesabesde.com/camdig/articulos.asp?articulo=117http://www.caborian.com/content/view/380/152/http://informatica.uv.es/iiguia/2000/VC/practica5-04-05.pdf http://www.ruf.rice.edu/~lane/stat_sim/descriptive/index.htmlhttp://scien.stanford.edu/class/psych221/projects/02/sojeong/#basichttp://www.viarural.com.ar/viarural.com.ar/agroindustria/frutas-

empaque/unitec/default.htmlhttp://www.dfmf.uned.es/actividades/no_reglada/laboratorio/imagen_binaria.pdf.

Seleccionadora de Fruta Digital

Documents

Transcript of Seleccionadora de Fruta Digital