Sesión 6: Redes Bayesianas - Inferencia. Incertidumbre - RB I, L.E. Sucar2 [Neapolitan 90]

Sesión 6: Redes Bayesianas - Inferencia

Incertidumbre - RB I, L.E. Sucar 2

[Neapolitan 90]


Inferencia en Redes Bayesianas• Introducción

• Propagación en árboles

• Propagación en poliárboles

• Propagación en redes multi-conectadas– Condicionamiento– Simulación– Agrupamiento

• Abducción


El razonamiento probabilístico o propagación de probabilidades consiste en propagar de los efectos de la evidencia a través de la red paraconocer la probabilidad a posteriori de las variables.

El razonamiento probabilístico o propagación de probabilidades consiste en propagar de los efectos de la evidencia a través de la red paraconocer la probabilidad a posteriori de las variables.

Propagación de ProbabilidadesPropagación de Probabilidades


La propagación consiste en darle valores a ciertas variables (evidencia), y obtener la probabilidad posterior de las demás variables dadas las variables conocidas (instanciadas).

La propagación consiste en darle valores a ciertas variables (evidencia), y obtener la probabilidad posterior de las demás variables dadas las variables conocidas (instanciadas).


Inferencia bayesiana

C

H

E

P(H|C)

P(E|H)

Causal:C-> H

Evidencial:E -> H

Mixta:C,E -> H


Los algoritmos de propagación dependen de la estructura de la red:Los algoritmos de propagación dependen de la estructura de la red:

AlgoritmosAlgoritmos

• Árboles

• Poliárboles

• Redes multiconectadas

• Árboles

• Poliárboles

• Redes multiconectadas


Cada nodo corresponde a una variable discreta, B{B 1, B 2,…, B n) con su respectiva matriz de probabilidad condicional, P(B|A)=P(Bj| Ai)

Cada nodo corresponde a una variable discreta, B{B 1, B 2,…, B n) con su respectiva matriz de probabilidad condicional, P(B|A)=P(Bj| Ai)

Propagación en Árboles .Propagación en Árboles .


Propagación en Árboles

A

D

C

F G

B

E

H

I


Dada cierta evidencia E --representada por la instanciación de ciertas variables-- la probabilidad posterior de cualquier variable B, por el teorema de Bayes:

Dada cierta evidencia E --representada por la instanciación de ciertas variables-- la probabilidad posterior de cualquier variable B, por el teorema de Bayes:

P( Bi | E)=P( Bi ) P(E | Bi) / P( E )P( Bi | E)=P( Bi ) P(E | Bi) / P( E )

B


Evidencia

A

D

C

F G

B

E

H

I

E = {I,F,E}


Ya que la estructura de la red es un árbol, el Nodo B la separa en dos subárboles, por lo que podemos dividir la evidencia en dos grupos:

E-: Datos en el árbol que cuya raíz es B

E+: Datos en el resto del árbol

Ya que la estructura de la red es un árbol, el Nodo B la separa en dos subárboles, por lo que podemos dividir la evidencia en dos grupos:

E-: Datos en el árbol que cuya raíz es B

E+: Datos en el resto del árbol

EvidenciaEvidencia


Evidencia

A

D

C

F G

B

E

H

I

E+

E-


Desarrollo

• En base a la ecuación anterior, se puede integrar un algoritmo distribuido para obtener la probabilidad de un nodo dada cierta evidencia

• Para ello se descompone el cálculo de cada parte:– Evidencia de los hijos ()– Evidenica de los demás nodos ()


Evidencia de los hijos ()

• Dado que los hijos son condicionalmente independientes dado el padre:

(Bi) = P ( E- | Bi) = k P ( Ek- | Bi)

• Donde Ek- corresponde a la evidencia del

subárbol del hijo k


Evidenciahijos

A

D

C

F G

B

E

H

I

E-(D) E-(E)

J



• Condicionando respecto a los posibles valores de los hijos de B:

(Bi)= k [ j P ( Ek- | Bi, Sj

k) P(Sjk | Bi) ]

• Donde Sk es el hijo k de B, y la sumatoria es sobre los valores de dicho nodo (teorema de probabilidad total)



• Dado que B es condicionalmente independiente de la evidencia dados sus hijos:

(Bi) = k [ j P ( Ek- | Sj

k) P(Sjk | Bi) ]

• Substituyendo la definción de :

(Bi)= k [ j P(Sjk | Bi) (Sj

k)]


Evidenciahijos

A

D

C

F G

B

E

H

I

(E)(D)



• Recordando que es un vector (un valor por cada posible valor de B), lo podemos ver en forma matricial:

P (S | B)


Evidencia de los demás nodos ()

• Condicionando sobre los diferentes valores del nodo padre (A):

(Bi) = P (Bi | E+ ) = j P (Bi | E+ , Aj) P(Aj | E+ )

• Donde Aj corresponde a los diferentes valores del nodo padre de B


Evidenciapadre

A

D

C

F G

B

E

H

IE+



• Dado que B es independiente de la evidencia “arriba” de A dado A:

(Bi) = j P (Bi | Aj) P(Aj | E+ )

• La P(Aj | E+ ) corresponde a la P posterior de A dada toda la evidencia excepto B y sus hijos, por lo que se puede escribir como:

P(Aj | E+ ) = (A i) kB k(A i)


Evidenciapadre

A

D

C

F G

B

E

H

I

(C)

(B)

(A)



• Substituyendo P(Aj | E+ ) en la ecuación de :

(Bi) = j P (Bi | Aj) [ (A i) kB k(A i) ]

• De forma que se obtiene combinando la de del nodo padre con la de los demás hijos



• Dado que también es un vector, lo podemos ver en forma matricial:

P (B | A) PA


Mediante estas ecuaciones se integra un algoritmo de propagación de probabilidades en árboles.

Cada nodo guarda los valores de los vectores

y , así como las matrices de probabilidad P.

Mediante estas ecuaciones se integra un algoritmo de propagación de probabilidades en árboles.

Cada nodo guarda los valores de los vectores

y , así como las matrices de probabilidad P.

AlgoritmoAlgoritmo

La propagación se hace por un mecanismo de paso de mensajes, en donde cada nodo envía los mensajes correspondientes a su padre e hijos:

La propagación se hace por un mecanismo de paso de mensajes, en donde cada nodo envía los mensajes correspondientes a su padre e hijos:


Mensaje al padre (hacia arriba) -- nodo B a su padre A:Mensaje al padre (hacia arriba) -- nodo B a su padre A:

Mensaje a los hijos (hacia abajo) -- nodo B a su hijo Sk :

Mensaje a los hijos (hacia abajo) -- nodo B a su hijo Sk :


Al instanciarse ciertos nodos, éstos envían mensajes a sus padres e hijos, y se propagan hasta a llegar a la raíz u hojas, o hasta encontrar un nodo instanciado.

Así que la propagación se hace en un solo paso en un tiempo proporcional al diámetro de la red.

Al instanciarse ciertos nodos, éstos envían mensajes a sus padres e hijos, y se propagan hasta a llegar a la raíz u hojas, o hasta encontrar un nodo instanciado.

Así que la propagación se hace en un solo paso en un tiempo proporcional al diámetro de la red.


Propagación

A

D

C

F G

B

E

H

I

(H)

E(B)

G(D)F(D)

C(A)

D(B)

B(A)

A(H)


Propagación

A

D

C

F G

B

E

H

I

(I)

B(E)

D(G)D(F)

A(C)

B(D)

A(B)

H(A)


Condiciones Iniciales• Nodos no conocidos:

(Bi) = [1,1, …](Bi) = [1,1, …]• Nodos asignados (conocidos): (Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado)(Bi) = [0,0, ..1, 0, …, 0] (1 para valor asignado)• Nodo raíz:

(A) = P(A), (probabilidad marginal inicial)


Ejemplo

Enf.

Fiebre Dolor

Comida

P(F|E)0.9 0.50.1 0.5

P(D|E)0.7 0.40.3 0.6

P(E|C)0.9 0.70.1 0.3

P(C)0.8 0.2


Ejemplo

Enf.

Fiebre Dolor

Comida

F=si=[1,0] =[1,1]


Ejemplo

Enf.

Fiebre Dolor

ComidaF= [1,0] * [.9 .5 | .1 .5] = [.9 .5]

D= [1,1] * [.7 .4 | .3 .6] = [1 1]

P(D|E)0.7 0.40.3 0.6

P(F|E)0.9 0.50.1 0.5


Ejemplo

Enf.

Fiebre Dolor

Comida

(E) = [.9 .5] * [1 1] = [.9 .5]

P(D|E)0.7 0.40.3 0.6

P(F|E)0.9 0.50.1 0.5

(C) = [.9 .5] * [.9 .7| .1 .3] = [.86 .78]

P(E|C)0.9 0.70.1 0.3


Ejemplo

Enf.

Fiebre Dolor

Comida(E) = [.8 .2] * [.9 .7| .1 .3] = [.86 .14]

P(D|E)0.7 0.40.3 0.6

P(F|E)0.9 0.50.1 0.5

(C) = [.8 .2]

P(E|C)0.9 0.70.1 0.3


Ejemplo

Enf.

Fiebre Dolor

Comida

(E) = [.86 .14]

P(D|E)0.7 0.40.3 0.6

(C) = [.8 .2]

(D) = [.86 .14] * [.9 .5] [.7 .4| .3 .6] = [.5698 .2742]


Ejemplo

Enf.

Fiebre Dolor

Comida(E) = [.86 .14]

(C) = [.8 .2]

(D) = [.57 .27]

D=[1,1]

(E) = [.9 .5]

(C) = [.86 .78]P(C)=[.688 .156]P(C)= [.815 .185]

P(E)=[.774 .070]P(E)= [.917 .083]

P(D)=[.57 .27]P(D)= [.67 .33]


Ejemplo

• Ejemplo propagación en árboles en HUGIN


Un poliárbol es una red conectada en forma sencilla, pero en la que un nodo puede tener varios padres:

P(B | A1, A2, …, An)

Un poliárbol es una red conectada en forma sencilla, pero en la que un nodo puede tener varios padres:

P(B | A1, A2, …, An)

Propagación en Poliárboles .Propagación en Poliárboles .


Propagación en Poliárboles

A

D

C

F G

B

E

H

I


Algoritmo

• El método es muy similar al de árboles, con algunas consideraciones adicionales:– Considerar la probabilidad condicional del

nodo dados todos sus padres para el cálculo de y

– Enviar los mensajes a cada uno de los padres de un nodo


Una red multiconectada es un grafo no conectado en forma sencilla, es decir, en el que hay múltiples trayectorias entre nodos (MCG).

En este tipo de RP los métodos anteriores ya no aplican, pero existen otras técnicas alternativas:

Una red multiconectada es un grafo no conectado en forma sencilla, es decir, en el que hay múltiples trayectorias entre nodos (MCG).

En este tipo de RP los métodos anteriores ya no aplican, pero existen otras técnicas alternativas:

Propagación en Redes MulticonectadasPropagación en Redes Multiconectadas

• Condicionamiento • Simulación estocástica • Agrupamiento

• Condicionamiento • Simulación estocástica • Agrupamiento


Si instanciamos una variable, ésta bloquea las trayectorias de propagación.

Entonces asumiendo valores para un grupo seleccionado de variables podemos descomponer la gráfica en un conjunto de SCG.

Propagamos para cada valor posible de dichas variables y luego promediamos las probabilidades ponderadas.

Si instanciamos una variable, ésta bloquea las trayectorias de propagación.

Entonces asumiendo valores para un grupo seleccionado de variables podemos descomponer la gráfica en un conjunto de SCG.

Propagamos para cada valor posible de dichas variables y luego promediamos las probabilidades ponderadas.

Condicionamiento


Condicionamiento

1

32

4 5

1

32

4 5

1

1=V 1=V


Se asignan valores aleatorios a las variables no instanciadas, se calcula la distribución de probabilidad y se obtienen valores de cadavariable dando una muestra.

Se repite el procedimiento para obtener un número apreciable de muestras y en base al numero de ocurrencias de cada valor se determina la probabilidad de dicha variable.

Se asignan valores aleatorios a las variables no instanciadas, se calcula la distribución de probabilidad y se obtienen valores de cadavariable dando una muestra.

Se repite el procedimiento para obtener un número apreciable de muestras y en base al numero de ocurrencias de cada valor se determina la probabilidad de dicha variable.

Simulación Estocástica: Simulación Estocástica:


Simulación Estocástica: Simulación Estocástica:

1

32

4 5

v

f f

v

f

vfffv


El método de agrupamiento consiste en transformar la estructura de la red para obtener un árbol, mediante agrupación de nodos usando la teoría de grafos.

El método de agrupamiento consiste en transformar la estructura de la red para obtener un árbol, mediante agrupación de nodos usando la teoría de grafos.

Agrupamiento:Agrupamiento:


Agrupamiento

• Transformación:– Eliminar direccionalidad de los arcos– Ordenamiento de los nodos por máxima

cardinalidad– Moralizar el grafo (arco entre nodos con hijos

comunes)– Triangularizar el grafo– Obtener los cliques y ordenar– Construir árbol de cliques


Ejemplo

1

32

4 5

1

32

4 5


Ordenamiento de Cliques

1

32

4 5

C1

C2

C3


Árbol de Cliques

C1

C2

C3

1,2,3

2,3,4

3,5


Propagación

• La propagación es mediante el envio de mensajes en el árbol de cliques (en forma similar a árboles)

• Inicialmente se calcula la probabilidad conjunta (potencial) de cada clique, y la condicional dado el padre

• Dada cierta evidencia se recalculan las probabilidades de cada clique

• La probabilidad individual de cada variable se obtiene de la del clique por marginalización


Complejidad

• En el peor caso, la propagación en redes bayesianas es un problema NP-duro

• En la práctica, en muchas aplicaciones se tienen redes no muy densamente conectadas y la propagación es eficiente aún para redes muy grandes

• Se realiza nvestigación en técnicas de propagación aproximada


Ejemplo

• Propagación en redes multiconectadas en HUGIN


Abducción

• La “abducción” se define como encontrar la mejor “explicación” (valores de un cierto conjunto de variables) dada cierta evidencia

• Normalmente se buscan los valores del conjunto “explicación” que tiene mayor probabilidad

• En general, el conjunto de mayor probabilidad NO es igual a los valores individuales de mayor probabilidad


Abducción

A

D

C

F G

B

E

H

I

Ejemplo:Max P(A,B,F|G,I)


Referencias

• Pearl 88 – Cap. 4,5

• Neapolitan 90 – Cap. 6,7,8


Actividades

• Hacer ejercicios de propagación en redes bayesianas

Sesión 6: Redes Bayesianas - Inferencia. Incertidumbre - RB I, L.E. Sucar2 [Neapolitan 90]

Documents

Transcript of Sesión 6: Redes Bayesianas - Inferencia. Incertidumbre - RB I, L.E. Sucar2 [Neapolitan 90]