Sesión 10 [Modo de...

Fundamentos y Aplicaciones Prácticas

del Descubrimiento de Conocimiento

en Bases de Datos

- Sesión 10 -

Juan Alfonso Lara Torralbo1

2014 Juan Alfonso Lara Torralbo. Todos los derechos reservados.

Índice de contenidos

• Fundamentos de Clasificación

• RNA

• Técnicas basadas en casos

• Actividad. K-nearest neighbors

• Actividad. Técnicas basadas en casos con Weka

• Técnicas Bayesianas

2


Fundamentos de Clasificación (I)• Tarea de data mining que consiste en predecir

el valor desconocido de un atributo para un determinado ejemplo

• Tarea predictiva de data mining

• El atributo cuyo valor se desea predecir es cualitativo y se denomina atributo de clase

• Los diferentes valores que puede tomar son las clases del problema

• Número de clases � finito3


Fundamentos de Clasificación (II)

• Para predecir el valor desconocido de clase de un determinado ejemplo se utilizan valores conocidos de otras variables de dicho ejemplo.

• Además, se utiliza información de otros ejemplos de los que sí se conoce su clase.

• Esos ejemplos constituyen el conjunto de entrenamiento

• Ha de ser suficientemente grande

4


Fundamentos de Clasificación (III)

• Algunas aplicaciones:

• Estudio de concesión de créditos en entidades financieras

• Detectar partes fraudulentos en una compañía de seguros

• Identificación de clientes que abandonarán una compañía

• Identificación de potenciales clientes

• Clasificación de objetos celestes analizando las imágenes tomadas de él por un telescopio

5


RNA (I)

• Redes de Neuronas Artificiales son una técnica bioinspirada que modela computacionalmente el aprendizaje humano llevado a cabo a través de las neuronas del cerebro

• Un vector de entrada x (variables conocidas) se transforma en una salida y (variable desconocida

• Esa salida es la clase a la que se asigna el objeto)

• Se utiliza una función no lineal

6


RNA (II)

• Funcionamiento general

7


RNA (III)

• Cada neurona es una unidad de procesamiento de información.

• Las neuronas están interconectadas entre sí.

• La información recibida es procesada aplicando una función de activación y transmitida a las neuronas correspondientes, siempre y cuando el resultado de procesar la información sea mayor que un cierto umbral (µk).

• El objetivo de las redes de neuronas es aprendercuáles son los valores más adecuados para los pesos wi (0 ≤ i ≤ k) 8


RNA (IV)

• Para aprender los valores de los pesos existen múltiples algoritmos, pero el más empleado, al menos en minería de datos, es el algoritmo Backpropagation

1. Inicialización aleatoria de los pesos y umbrales.

2. Dado un objeto del conjunto de entrenamiento, se presenta el vector x a la red y se calcula la salida de la red para dicho objeto, y(x).

3. Se evalúa el error cometido por la red. El error es la diferencia entre el valor obtenido por la red, es decir, y(x), y el valor real de la clase de los objetos pertenecientes al conjunto de entrenamiento.

4. Se modifican todos los parámetros de la red.

5. Se repiten los pasos 2, 3 y 4 para todos los patrones de entrenamiento, completando así un ciclo de aprendizaje.

6. Se realizan tantos ciclos de aprendizaje (pasos 2, 3, 4 y 5) como sean necesarios hasta que se verifique el criterio de parada establecido. 9


RNA (V)

• La red se entrena con un conjunto de entrenamiento

• Una vez optimizados los pesos (red entrenada), ya se puede aplicar a nuevos ejemplos

• Es por tanto, ¿una técnica de tipo anticipativo o retardado?

• Anticipativo

10


RNA (VI)• Pueden adoptar diferentes formas (número variable de

entradas, un número variable de nodos, etc.)

• Existen, por tanto, múltiples tipos de redes de neuronas artificiales.

• Una de la más importantes, por su uso extendido, es el denominado Perceptrón Multicapa (en inglés, Multilayer Perceptron).

11


RNA (VII)• Se aprecia que dicha red neuronal posee una capa

conectada a las entradas (capa de entrada ) y una capa conectada a la salida (capa de salida )

• Además, puede poseer diferentes capas intermedias conocidas con el nombre de capas ocultas

• Las diferentes capas se encuentran interconectadas mediante una topología que puede variar según la implementación

• Son estructuras de gran complejidad que requerirían de un curso completo para su correcta comprensión. El objetivo de esta sesión es simplemente dar una visión general 12


Técnicas basadas en casos (I)

• La clasificación de un nuevo ejemplo se realiza comparando éste con los ejemplos existentes en conjunto de entrenamiento, de los cuales se conoce su clase

• k vecinos más próximos (k-nearest-neighbors)

• Para el ejemplo a clasificar, se eligen los k vecinos más cercanos

• La clase será la mayoritaria entre esos k vecinos

13


Técnicas basadas en casos (II)

• ¿Qué se necesita conocer para poder aplicar la técncia de los k vecinos?

• El valor de k, por supuesto

• Pero… algo más … ¿Qué?

• Una medida de distancia entre elementos

• Incidiremos en este punto cuando hablemos de clustering

14


Técnicas basadas en casos (III)

• Ejemplo 1 (k=5)

15


Técnicas basadas en casos (IV)

• Ejemplo 2Identificador Tiempo Temperatura Humedad Viento Jugar

1 Soleado Alta Alta No No

2 Soleado Alta Alta Sí No

3 Nublado Alta Alta No Sí

4 Lluvioso Media Alta No Sí

5 Lluvioso Baja Normal No Sí

6 Lluvioso Baja Normal Sí No

7 Nublado Baja Normal Sí Sí

8 Soleado Media Alta No No

9 Soleado Baja Normal No Sí

10 Lluvioso Media Normal No Sí

11 Soleado Media Normal Sí Sí

12 Nublado Media Alta Sí Sí

13 Nublado Alta Normal No Sí

14 Lluvioso Media Alta Sí No

16


Técnicas basadas en casos (V)

17


Técnicas basadas en casos (VI)

• Ejemplo 2 (cont.)

• Calcular la distancia entre los dos siguientes valores:

a) Tiempo = Soleado, Temperatura = Alta, Humedad = Alta y Viento = Sí.

b) Tiempo = Nublado, Temperatura = Alta, Humedad = Alta y Viento = No.

• Ver cálculo de distancia (libro)18


Actividad. K -nearest neighbors

Calcular la distancia de un nuevo elemento a clasificar (Tiempo=Soleado, Temperatura=Media, Humedad=Normal y Viento=No) a cada elemento de la tabla de ejemplo del libro. Para k=4, predecir si se jugará o no ese día.

Poner en común 19


Técnicas basadas en casos (VII)

• Los k vecinos más próximos

• ¿Es una técnica anticipativa o retardada?

• ¿Por qué?

20


Actividad. Técnicas basadas en casos con Weka

Con los datos del ejemplo anterior, aplicar en Weka el algoritmo NNge, basado en el mismo principio que K-NN

¿Se genera algún modelo ahora? ¿Qué % de elementos está bien clasificado?

Poner en común21


Técnicas Bayesianas (I)

• Las técnicas bayesianas (también conocidas como métodos bayesianos ) son procedimientos que se basan en el uso del Teorema de Bayes

• Son muy utilizados en minería de datos, especialmente para tareas de clasificación

• El Teorema de Bayes es un resultado enunciado por Thomas Bayes que expresa la probabilidad condicionada de un evento aleatorio dado otro evento 22


Técnicas Bayesianas (II)

23


Técnicas Bayesianas (III)

• Considerar tantas hipótesis H como clases tenga el problema abordado.

• Ante un nuevo ejemplo a clasificar, se barajan las hipótesis de pertenencia de éste a las diferentes clases.

• Para cada hipótesis (clase), se calcula su probabilidad mediante el teorema de Bayes, según la ecuación anterior

• La evidencia es el valor conocido de las variables del nuevo ejemplo a clasificar

• Se elige como clase aquella cuya hipótesis tenga una probabilidad mayor

24


Técnicas Bayesianas (IV)

• Ver Ejemplo 1 del libro

• Las técnicas bayesianas

• ¿Son retardadas o impacientes?

• ¿Por qué?

• Son retardadas

25


Sesión 10 [Modo de...

Documents

Transcript of Sesión 10 [Modo de...