Post on 24-Jan-2016
Sesión 6: Redes Bayesianas - Inferencia
Incertidumbre - RB I, L.E. Sucar 2
[Neapolitan 90]
Incertidumbre - RB I, L.E. Sucar 3
Inferencia en Redes Bayesianas• Introducción
• Propagación en árboles
• Propagación en poliárboles
• Propagación en redes multi-conectadas– Condicionamiento– Simulación– Agrupamiento
• Abducción
Incertidumbre - RB I, L.E. Sucar 4
El razonamiento probabilístico o propagación de probabilidades consiste en propagar de los efectos de la evidencia a través de la red paraconocer la probabilidad a posteriori de las variables.
El razonamiento probabilístico o propagación de probabilidades consiste en propagar de los efectos de la evidencia a través de la red paraconocer la probabilidad a posteriori de las variables.
Propagación de ProbabilidadesPropagación de Probabilidades
Incertidumbre - RB I, L.E. Sucar 5
La propagación consiste en darle valores a ciertas variables (evidencia), y obtener la probabilidad posterior de las demás variables dadas las variables conocidas (instanciadas).
La propagación consiste en darle valores a ciertas variables (evidencia), y obtener la probabilidad posterior de las demás variables dadas las variables conocidas (instanciadas).
Incertidumbre - RB I, L.E. Sucar 6
Inferencia bayesiana
C
H
E
P(H|C)
P(E|H)
Causal:C-> H
Evidencial:E -> H
Mixta:C,E -> H
Incertidumbre - RB I, L.E. Sucar 7
Los algoritmos de propagación dependen de la estructura de la red:Los algoritmos de propagación dependen de la estructura de la red:
AlgoritmosAlgoritmos
• Árboles
• Poliárboles
• Redes multiconectadas
• Árboles
• Poliárboles
• Redes multiconectadas
Incertidumbre - RB I, L.E. Sucar 8
Cada nodo corresponde a una variable discreta, B{B 1, B 2,…, B n) con su respectiva matriz de probabilidad condicional, P(B|A)=P(Bj| Ai)
Cada nodo corresponde a una variable discreta, B{B 1, B 2,…, B n) con su respectiva matriz de probabilidad condicional, P(B|A)=P(Bj| Ai)
Propagación en Árboles .Propagación en Árboles .
Incertidumbre - RB I, L.E. Sucar 9
Propagación en Árboles
A
D
C
F G
B
E
H
I
Incertidumbre - RB I, L.E. Sucar 10
Dada cierta evidencia E --representada por la instanciación de ciertas variables-- la probabilidad posterior de cualquier variable B, por el teorema de Bayes:
Dada cierta evidencia E --representada por la instanciación de ciertas variables-- la probabilidad posterior de cualquier variable B, por el teorema de Bayes:
P( Bi | E)=P( Bi ) P(E | Bi) / P( E )P( Bi | E)=P( Bi ) P(E | Bi) / P( E )
B
Incertidumbre - RB I, L.E. Sucar 11
Evidencia
A
D
C
F G
B
E
H
I
E = {I,F,E}
Incertidumbre - RB I, L.E. Sucar 12
Ya que la estructura de la red es un árbol, el Nodo B la separa en dos subárboles, por lo que podemos dividir la evidencia en dos grupos:
E-: Datos en el árbol que cuya raíz es B
E+: Datos en el resto del árbol
Ya que la estructura de la red es un árbol, el Nodo B la separa en dos subárboles, por lo que podemos dividir la evidencia en dos grupos:
E-: Datos en el árbol que cuya raíz es B
E+: Datos en el resto del árbol
EvidenciaEvidencia
Incertidumbre - RB I, L.E. Sucar 13
Evidencia
A
D
C
F G
B
E
H
I
E+
E-
Incertidumbre - RB I, L.E. Sucar 14
Entonces: P( Bi | E ) = P ( Bi ) P ( E-,E+ | Bi ) / P(E)
Pero dado que ambos son independientes y aplicando nuevamente Bayes:
Entonces: P( Bi | E ) = P ( Bi ) P ( E-,E+ | Bi ) / P(E)
Pero dado que ambos son independientes y aplicando nuevamente Bayes:
P( Bi | E ) = P ( Bi | E+ ) P(E- | Bi ) P( Bi | E ) = P ( Bi | E+ ) P(E- | Bi )
Donde es una constante de normalización
Incertidumbre - RB I, L.E. Sucar 15
Si definimos los siguientes términos:Si definimos los siguientes términos:
Definiciones:Definiciones:
(Bi)= P ( E- | Bi) (Bi)= P ( E- | Bi)
Entonces:Entonces:
(Bi)= P (Bi | E+ )(Bi)= P (Bi | E+ )
P(Bi | E )= (B i) (B i) P(Bi | E )= (B i) (B i)
Incertidumbre - RB I, L.E. Sucar 16
Desarrollo
• En base a la ecuación anterior, se puede integrar un algoritmo distribuido para obtener la probabilidad de un nodo dada cierta evidencia
• Para ello se descompone el cálculo de cada parte:– Evidencia de los hijos ()– Evidenica de los demás nodos ()
Incertidumbre - RB I, L.E. Sucar 17
Evidencia de los hijos ()
• Dado que los hijos son condicionalmente independientes dado el padre:
(Bi) = P ( E- | Bi) = k P ( Ek- | Bi)
• Donde Ek- corresponde a la evidencia del
subárbol del hijo k
Incertidumbre - RB I, L.E. Sucar 18
Evidenciahijos
A
D
C
F G
B
E
H
I
E-(D) E-(E)
J
Incertidumbre - RB I, L.E. Sucar 19
Evidencia de los hijos ()
• Condicionando respecto a los posibles valores de los hijos de B:
(Bi)= k [ j P ( Ek- | Bi, Sj
k) P(Sjk | Bi) ]
• Donde Sk es el hijo k de B, y la sumatoria es sobre los valores de dicho nodo (teorema de probabilidad total)
Incertidumbre - RB I, L.E. Sucar 20
Evidencia de los hijos ()
• Dado que B es condicionalmente independiente de la evidencia dados sus hijos:
(Bi) = k [ j P ( Ek- | Sj
k) P(Sjk | Bi) ]
• Substituyendo la definción de :
(Bi)= k [ j P(Sjk | Bi) (Sj
k)]
Incertidumbre - RB I, L.E. Sucar 21
Evidenciahijos
A
D
C
F G
B
E
H
I
(E)(D)
Incertidumbre - RB I, L.E. Sucar 22
Evidencia de los hijos ()
• Recordando que es un vector (un valor por cada posible valor de B), lo podemos ver en forma matricial:
P (S | B)
Incertidumbre - RB I, L.E. Sucar 23
Evidencia de los demás nodos ()
• Condicionando sobre los diferentes valores del nodo padre (A):
(Bi) = P (Bi | E+ ) = j P (Bi | E+ , Aj) P(Aj | E+ )
• Donde Aj corresponde a los diferentes valores del nodo padre de B
Incertidumbre - RB I, L.E. Sucar 24
Evidenciapadre
A
D
C
F G
B
E
H
IE+
Incertidumbre - RB I, L.E. Sucar 25
Evidencia de los demás nodos ()
• Dado que B es independiente de la evidencia “arriba” de A dado A:
(Bi) = j P (Bi | Aj) P(Aj | E+ )
• La P(Aj | E+ ) corresponde a la P posterior de A dada toda la evidencia excepto B y sus hijos, por lo que se puede escribir como:
P(Aj | E+ ) = (A i) kB k(A i)
Incertidumbre - RB I, L.E. Sucar 26
Evidenciapadre
A
D
C
F G
B
E
H
I
(C)
(B)
(A)
Incertidumbre - RB I, L.E. Sucar 27
Evidencia de los demás nodos ()
• Substituyendo P(Aj | E+ ) en la ecuación de :
(Bi) = j P (Bi | Aj) [ (A i) kB k(A i) ]
• De forma que se obtiene combinando la de del nodo padre con la de los demás hijos
Incertidumbre - RB I, L.E. Sucar 28
Evidencia de los demás nodos ()
• Dado que también es un vector, lo podemos ver en forma matricial:
P (B | A) PA
Incertidumbre - RB I, L.E. Sucar 29
Mediante estas ecuaciones se integra un algoritmo de propagación de probabilidades en árboles.
Cada nodo guarda los valores de los vectores
y , así como las matrices de probabilidad P.
Mediante estas ecuaciones se integra un algoritmo de propagación de probabilidades en árboles.
Cada nodo guarda los valores de los vectores
y , así como las matrices de probabilidad P.
AlgoritmoAlgoritmo
La propagación se hace por un mecanismo de paso de mensajes, en donde cada nodo envía los mensajes correspondientes a su padre e hijos:
La propagación se hace por un mecanismo de paso de mensajes, en donde cada nodo envía los mensajes correspondientes a su padre e hijos:
Incertidumbre - RB I, L.E. Sucar 30
Mensaje al padre (hacia arriba) -- nodo B a su padre A:Mensaje al padre (hacia arriba) -- nodo B a su padre A:
Mensaje a los hijos (hacia abajo) -- nodo B a su hijo Sk :
Mensaje a los hijos (hacia abajo) -- nodo B a su hijo Sk :
Incertidumbre - RB I, L.E. Sucar 31
Al instanciarse ciertos nodos, éstos envían mensajes a sus padres e hijos, y se propagan hasta a llegar a la raíz u hojas, o hasta encontrar un nodo instanciado.
Así que la propagación se hace en un solo paso en un tiempo proporcional al diámetro de la red.
Al instanciarse ciertos nodos, éstos envían mensajes a sus padres e hijos, y se propagan hasta a llegar a la raíz u hojas, o hasta encontrar un nodo instanciado.
Así que la propagación se hace en un solo paso en un tiempo proporcional al diámetro de la red.
Incertidumbre - RB I, L.E. Sucar 32
Propagación
A
D
C
F G
B
E
H
I
(H)
E(B)
G(D)F(D)
C(A)
D(B)
B(A)
A(H)
Incertidumbre - RB I, L.E. Sucar 33
Propagación
A
D
C
F G
B
E
H
I
(I)
B(E)
D(G)D(F)
A(C)
B(D)
A(B)
H(A)
Incertidumbre - RB I, L.E. Sucar 34
Condiciones Iniciales• Nodos no conocidos:
(Bi) = [1,1, …](Bi) = [1,1, …]• Nodos asignados (conocidos): (Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado)(Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado)• Nodo raíz:
(A) = P(A), (probabilidad marginal inicial)
Incertidumbre - RB I, L.E. Sucar 35
Ejemplo
Enf.
Fiebre Dolor
Comida
P(F|E)0.9 0.50.1 0.5
P(D|E)0.7 0.40.3 0.6
P(E|C)0.9 0.70.1 0.3
P(C)0.8 0.2
Incertidumbre - RB I, L.E. Sucar 36
Ejemplo
Enf.
Fiebre Dolor
Comida
F=si=[1,0] =[1,1]
Incertidumbre - RB I, L.E. Sucar 37
Ejemplo
Enf.
Fiebre Dolor
ComidaF= [1,0] * [.9 .5 | .1 .5] = [.9 .5]
D= [1,1] * [.7 .4 | .3 .6] = [1 1]
P(D|E)0.7 0.40.3 0.6
P(F|E)0.9 0.50.1 0.5
Incertidumbre - RB I, L.E. Sucar 38
Ejemplo
Enf.
Fiebre Dolor
Comida
(E) = [.9 .5] * [1 1] = [.9 .5]
P(D|E)0.7 0.40.3 0.6
P(F|E)0.9 0.50.1 0.5
(C) = [.9 .5] * [.9 .7| .1 .3] = [.86 .78]
P(E|C)0.9 0.70.1 0.3
Incertidumbre - RB I, L.E. Sucar 39
Ejemplo
Enf.
Fiebre Dolor
Comida(E) = [.8 .2] * [.9 .7| .1 .3] = [.86 .14]
P(D|E)0.7 0.40.3 0.6
P(F|E)0.9 0.50.1 0.5
(C) = [.8 .2]
P(E|C)0.9 0.70.1 0.3
Incertidumbre - RB I, L.E. Sucar 40
Ejemplo
Enf.
Fiebre Dolor
Comida
(E) = [.86 .14]
P(D|E)0.7 0.40.3 0.6
(C) = [.8 .2]
(D) = [.86 .14] * [.9 .5] [.7 .4| .3 .6] = [.5698 .2742]
Incertidumbre - RB I, L.E. Sucar 41
Ejemplo
Enf.
Fiebre Dolor
Comida(E) = [.86 .14]
(C) = [.8 .2]
(D) = [.57 .27]
D=[1,1]
(E) = [.9 .5]
(C) = [.86 .78]P(C)=[.688 .156]P(C)= [.815 .185]
P(E)=[.774 .070]P(E)= [.917 .083]
P(D)=[.57 .27]P(D)= [.67 .33]
Incertidumbre - RB I, L.E. Sucar 42
Ejemplo
• Ejemplo propagación en árboles en HUGIN
Incertidumbre - RB I, L.E. Sucar 43
Un poliárbol es una red conectada en forma sencilla, pero en la que un nodo puede tener varios padres:
P(B | A1, A2, …, An)
Un poliárbol es una red conectada en forma sencilla, pero en la que un nodo puede tener varios padres:
P(B | A1, A2, …, An)
Propagación en Poliárboles .Propagación en Poliárboles .
Incertidumbre - RB I, L.E. Sucar 44
Propagación en Poliárboles
A
D
C
F G
B
E
H
I
Incertidumbre - RB I, L.E. Sucar 45
Algoritmo
• El método es muy similar al de árboles, con algunas consideraciones adicionales:– Considerar la probabilidad condicional del
nodo dados todos sus padres para el cálculo de y
– Enviar los mensajes a cada uno de los padres de un nodo
Incertidumbre - RB I, L.E. Sucar 46
Una red multiconectada es un grafo no conectado en forma sencilla, es decir, en el que hay múltiples trayectorias entre nodos (MCG).
En este tipo de RP los métodos anteriores ya no aplican, pero existen otras técnicas alternativas:
Una red multiconectada es un grafo no conectado en forma sencilla, es decir, en el que hay múltiples trayectorias entre nodos (MCG).
En este tipo de RP los métodos anteriores ya no aplican, pero existen otras técnicas alternativas:
Propagación en Redes MulticonectadasPropagación en Redes Multiconectadas
• Condicionamiento • Simulación estocástica • Agrupamiento
• Condicionamiento • Simulación estocástica • Agrupamiento
Incertidumbre - RB I, L.E. Sucar 47
Si instanciamos una variable, ésta bloquea las trayectorias de propagación.
Entonces asumiendo valores para un grupo seleccionado de variables podemos descomponer la gráfica en un conjunto de SCG.
Propagamos para cada valor posible de dichas variables y luego promediamos las probabilidades ponderadas.
Si instanciamos una variable, ésta bloquea las trayectorias de propagación.
Entonces asumiendo valores para un grupo seleccionado de variables podemos descomponer la gráfica en un conjunto de SCG.
Propagamos para cada valor posible de dichas variables y luego promediamos las probabilidades ponderadas.
Condicionamiento
Incertidumbre - RB I, L.E. Sucar 48
Condicionamiento
1
32
4 5
1
32
4 5
1
1=V 1=V
Incertidumbre - RB I, L.E. Sucar 49
Se asignan valores aleatorios a las variables no instanciadas, se calcula la distribución de probabilidad y se obtienen valores de cadavariable dando una muestra.
Se repite el procedimiento para obtener un número apreciable de muestras y en base al numero de ocurrencias de cada valor se determina la probabilidad de dicha variable.
Se asignan valores aleatorios a las variables no instanciadas, se calcula la distribución de probabilidad y se obtienen valores de cadavariable dando una muestra.
Se repite el procedimiento para obtener un número apreciable de muestras y en base al numero de ocurrencias de cada valor se determina la probabilidad de dicha variable.
Simulación Estocástica: Simulación Estocástica:
Incertidumbre - RB I, L.E. Sucar 50
Simulación Estocástica: Simulación Estocástica:
1
32
4 5
v
f f
v
f
vfffv
Incertidumbre - RB I, L.E. Sucar 51
El método de agrupamiento consiste en transformar la estructura de la red para obtener un árbol, mediante agrupación de nodos usando la teoría de grafos.
El método de agrupamiento consiste en transformar la estructura de la red para obtener un árbol, mediante agrupación de nodos usando la teoría de grafos.
Agrupamiento:Agrupamiento:
Incertidumbre - RB I, L.E. Sucar 52
Agrupamiento
• Transformación:– Eliminar direccionalidad de los arcos– Ordenamiento de los nodos por máxima
cardinalidad– Moralizar el grafo (arco entre nodos con hijos
comunes)– Triangularizar el grafo– Obtener los cliques y ordenar– Construir árbol de cliques
Incertidumbre - RB I, L.E. Sucar 53
Ejemplo
1
32
4 5
1
32
4 5
Incertidumbre - RB I, L.E. Sucar 54
Ordenamiento de Cliques
1
32
4 5
C1
C2
C3
Incertidumbre - RB I, L.E. Sucar 55
Árbol de Cliques
C1
C2
C3
1,2,3
2,3,4
3,5
Incertidumbre - RB I, L.E. Sucar 56
Propagación
• La propagación es mediante el envio de mensajes en el árbol de cliques (en forma similar a árboles)
• Inicialmente se calcula la probabilidad conjunta (potencial) de cada clique, y la condicional dado el padre
• Dada cierta evidencia se recalculan las probabilidades de cada clique
• La probabilidad individual de cada variable se obtiene de la del clique por marginalización
Incertidumbre - RB I, L.E. Sucar 57
Complejidad
• En el peor caso, la propagación en redes bayesianas es un problema NP-duro
• En la práctica, en muchas aplicaciones se tienen redes no muy densamente conectadas y la propagación es eficiente aún para redes muy grandes
• Se realiza nvestigación en técnicas de propagación aproximada
Incertidumbre - RB I, L.E. Sucar 58
Ejemplo
• Propagación en redes multiconectadas en HUGIN
Incertidumbre - RB I, L.E. Sucar 59
Abducción
• La “abducción” se define como encontrar la mejor “explicación” (valores de un cierto conjunto de variables) dada cierta evidencia
• Normalmente se buscan los valores del conjunto “explicación” que tiene mayor probabilidad
• En general, el conjunto de mayor probabilidad NO es igual a los valores individuales de mayor probabilidad
Incertidumbre - RB I, L.E. Sucar 60
Abducción
A
D
C
F G
B
E
H
I
Ejemplo:Max P(A,B,F|G,I)
Incertidumbre - RB I, L.E. Sucar 61
Referencias
• Pearl 88 – Cap. 4,5
• Neapolitan 90 – Cap. 6,7,8
Incertidumbre - RB I, L.E. Sucar 62
Actividades
• Hacer ejercicios de propagación en redes bayesianas