Post on 05-Aug-2015
1
INVESTIGACION DE OPERACIONES
2
CADENA DE MARKOV
PRESENTADO (POR):
MARCOS BOLIVAR ALVAREZ
JUAN CARLOS MADURO BARRETO
ALVARO CARDENA DONADO
PRESENTADO (A):
PRUDENCIA MEDINA MONTERROSA
FUNDACIÓN UNIVERSITARIA TECNOLÓGICO COMFENALCO
FACULTAD DE CIENCIAS ADMINISTRATIVAS Y CONTABLES
PROGRAMA DE ADMINISTRACIÓN DE EMPRESAS
VIII SEMESTRE
CARTAGENA DE INDIAS D. T. Y C.
27 DE NOVIEMBRE 2010
INVESTIGACION DE OPERACIONES
3
TABLA DE CONTENIDO
1) INTRDUCCION.--------------------------------------------------------------------PAG 4
2) OBJETIVOS.------------------------------------------------------------------------PAG 5
3) CADENA DE MARKOV.---------------------------------------------------------PAG 6
CONCEPTO.------------------------------------------------------------------------
4) CLASIFICACION DE LAS CADENAS DE MARKOV.---------------------
CADENAS ABSORBENTES.-----------------------------------------------------
GENERALIZANDO.----------------------------------------------------------------PAG 7
Ejemplo (Paseando por la peatonal).---------------------------------------PAG 8
5) CADENA DE MARKOV IRREDUCIBLE.----------------------------------------PAG 9
6) CLASIFICACIÓN SEGÚN EL NÚMERO DE CLASES FINALES.-------PAG 12
Cadena Ergódica.-----------------------------------------------------------------
Cadenas (ergódicas) Regulares.---------------------------------------------
Ejemplo (El clima en la Tierra de Oz).--------------------------------------
Cadena recurrente.---------------------------------------------------------------PAG 14
Cadenas irreducibles.----------------------------------------------------------
Cadenas regulares.--------------------------------------------------------------PAG 15
CADENA SEMI- ERGODICA.--------------------------------------------------PAG 16
CADENAS NO ERGODICAS.-------------------------------------------------
CADENAS INFINITAS.----------------------------------------------------------
CADENAS PERIÓDICAS ------------------------------------------------------
7) BIBLIOGRAFÍA.---------------------------------------------------------------------PAG 17
8) CONCLUCION.----------------------------------------------------------------------PAG 18
INVESTIGACION DE OPERACIONES
4
1) INTRODUCCIÓN
Las cadenas de Markov se incluyen dentro de los denominados procesos
estocásticos.
Dichos estudian el comportamiento de variables aleatorias a lo largo del tiempo
X(t,w).
Los procesos estocásticos se pueden clasificar atendiendo a dos aspectos: si el
espacio de estados posibles de la variable aleatoria contiene valores discretos o
continuos y de si los valores del tiempo son discretos o continuos.
Las cadenas de Markov es un proceso estocástico en el que los valores del tiempo
son discretos y los estados posibles de la variable aleatoria contiene valores
discretos, es decir, es una cadena estocástica de tiempo discreto.
Las cadenas de Markov, se clasifican, además, dentro de los procesos
estocásticos de Markov, que son aquellos en el que el estado futuro de un proceso
es independiente de los estados pasados y solamente depende del estado
presente. Por lo tanto las probabilidades de transición entre los estados para los
tiempos k-1 y k solamente depende de los estados que la variable adquiere dichos
tiempos.
INVESTIGACION DE OPERACIONES
5
2) OBJETIVOS
GENERAL:
Aplicar la teoría fundamental de cadenas de markov para determinar el
comportamiento de la materia prima a futuro en cada proceso.
ESPECIFICOS:
Mostrar que el proceso es una cadena de Markov.
Construir la matriz de transición.
Mostrar que los estados son accesibles.
Mostrar que los estados se comunican.
Mostrar que los estados son recurrentes.
Mostrar que los estados son aperiódicos.
Determinar el polinomio característico y los valores propios
3) CADENA DE MARKOV
INVESTIGACION DE OPERACIONES
6
CONCEPTO
Las cadenas de Markov es una herramienta para analizar el comportamiento y el
gobierno de determinado de procesos estocásticos, esto es, procesos que
evolucionan de forma no deterministica a lo largo del tiempo en torno a un
conjunto de estados.
Una cadena Markov, por tanto, representa un sistema que varía su estado a lo
largo del tiempo, siendo cada cambio una transición del sistema. Dichos cambios
no están predeterminados, aunque sí lo está la probabilidad del próximo estado
en función de los anteriores, probabilidad que es constante a lo largo del tiempo
(sistema homogéneo en el tiempo). Eventualmente, en una transición, el nuevo
estado puede ser el mismo que el anterior y es posible que exista la posibilidad de
influir en las probabilidades de transición actuando adecuadamente sobre el
sistema (decisión).
4) CLASIFICACION DE LAS CADENAS DE MARKOV
CADENAS ABSORBENTES
En una cadena absorbente tenemos una probabilidad positiva de llegar en algún
momento a un estado absorbente, ya que en otro caso se formaría un conjunto
ergódico (que no es el total) con más de un punto porque hay un número finito de
estados.
En toda cadena de Markov absorbente, la probabilidad de absorción (que
empezando en cualquier lugar se llegue a un estado absorbente) es 1.
Los estados que pueden sucederse a sí mismos y, además, es posible alcanzar,
por lo menos, alguno de los restantes desde ellos se llaman estados transitorios.
Un estado tal que si el proceso entra en él permanecerá indefinidamente en este
estado (ya que las probabilidades de pasar a cualquiera de los otros son cero), se
dice estado absorbente.INVESTIGACION DE OPERACIONES
7
De una cadena de Markov que consta de estados transitorios y absorbentes se
dice que es una cadena absorbente de Markov.
Si una cadena de Markov contiene algún estado absorbente, la línea de la matriz
de transición correspondiente a las probabilidades de transición de dicho estado
constará de un 1 en la diagonal principal y ceros en los demás elementos. Será
por lo tanto una matriz no regular.
Para poder estudiar las cadenas de Markov absorbentes es preciso reordenar la
matriz de transición de forma que las filas correspondientes a los estados
absorbentes aparezcan en primer lugar. Así ordenada se dirá que la matriz de
transición está en la forma canónica.
Podemos dividir la matriz en forma canónica en cuatro submatrices. La primera es
la matriz unidad I, del orden correspondiente. La segunda, la matriz nula. La
tercera contiene las probabilidades de paso de estados transitorios a estados
absorbentes. La cuarta contiene las probabilidades de estados transitorios a
estados transitorios.
GENERALIZANDO:
Una cadena de Markov absorbente contiene p estados transitorios y q estados
absorbentes. La matriz canónica del proceso presentará el aspecto siguiente:
I O
Q M
I: matriz identidad de dimensión q
O: matriz nula de dimensión qxp
Q: matriz de dimensión pxq que contiene las probabilidades de paso de estados
transitorios a absorbentes.
INVESTIGACION DE OPERACIONES
8
M: matriz pxp con las probabilidades de los estados transitorios a estados
transitorios.
Se llama matriz fundamental de la cadena a la matriz resultado de la operación:
F=(I-M)-1
1º) Escribe en la forma canónica las siguientes matrices, indicando el o los
estados absorbentes y los transitorios. Observa el diagrama correspondiente y
ayúdate de las escenas siguientes realizadas para matrices de orden 3
05253
010
31032
525251
010
43041
53520
010
31032
//
//
;
///
//
;
//
//
Ejemplo (Paseando por la peatonal). La peatonal de mi pueblo tiene 6 cuadras
de largo, que van de norte a sur. Estoy con ganas de deambular y pasar el tiempo,
y como tengo una moneda, se me ocurre tirarla y caminar una cuadra hacia el
norte si sale cara o una cuadra hacia el sur si sale sello. Y continúo este juego
hasta salir de la peatonal, ya sea hacia el norte o hacia el sur.
En este caso, podemos pensar que los estados son 0,1, . . . ,5,6, donde 0 es la
esquina sur donde empieza la peatonal, 6 la esquina norte, y las esquinas
intermedias se numeran entre 1 y 5.
La matriz de transición puede escribirse entonces como
INVESTIGACION DE OPERACIONES
9
En este caso tenemos que pensar que las filas y columnas corresponden a los
estados 0, 1,. . . , 6. Sin embargo, tenemos la novedad de que al llegar al estado 0
(la esquina sur) o 6 (la esquina norte), el «juego» se termina, por lo que ponemos
un 1 en la entrada correspondiente indicando que ya nos quedamos para siempre
en esa posición.
5) CADENA DE MARKOV IRREDUCIBLE
Se dice que una cadena de Markov es irreducible si cada estado Ej. se puede
alcanzar desde cualquier otro estado Ei después de un numero finito de
transiciones; o sea, para i = j,
Pij (n) > o, para 1≤ n < ∞
En este caso todos los estados de la cadena se comunican.
Estados absorbentes y estados de conjunto cerrado
En una cadena de Markov un conjunto C de estados se denomina cerrado si el
sistema, una vez en uno de los estados de C, permanece en C indefinidamente.
Un ejemplo especial de conjunto cerrado es un estado particular Ej. que tenga una
probabilidad de transición Pij = 1. En este caso Ej se denomina estado
absorbente. Todos los estados de una cadena irreducible deben formar un
conjunto cerrado y ningún otro subconjunto puede ser cerrado. El conjunto cerrado
INVESTIGACION DE OPERACIONES
10
C también debe satisfacer todas las condiciones de una cadena de Markov y por
ello, puede estudiarse en forma independiente.
Todos los estados en una cadena de Markov infinita irreducible pueden pertenecer
a una y solo a una, de las siguientes tres clases: estados transitorios, estados
recurrentes nulos o estados recurrentes no nulos. En cada caso, los estados se
comunican y tienen el mismo periodo. En el caso especial cuando la cadena tenga
un número finito de estados, la cadena no puede constar solo de estados
transitorios, ni tampoco puede contener algún estado nulo.
Ejemplo
En un juego participan dos jugadores, A y B. En cada turno, se lanza una moneda
al aire. Si sale cara, A le da 1 € a B. Si sale cruz, B le da 1 € a A. Al principio, A
tiene 3 € y B tiene 2 €. El juego continúa hasta que alguno de los dos se arruine.
Calcular:
La probabilidad de que A termine arruinándose.
La probabilidad de que B termine arruinándose.
El número medio de tiradas que tarda en acabar el juego Tendremos una CM con
un estado por cada posible estado de cuentas de A: S={1, 2, 3, 4, 5, 0}.
Descomponemos Q:
100000
010000
05,005,000
005,005,00
0005,005,0
5,00005,00
Q
INVESTIGACION DE OPERACIONES
Q '=(0 0,5 0 00,5 0 0,5 00 0,5 0 0,50 0 0,5 0
)R=(
0 0,50 00 00,5 0
)
11
Realizamos los cálculos necesarios:
Probabilidad de que A termine arruinándose.
La ruina de A está representada por el estado 0, que es el 2º estado absorbente.
Como empezamos en el 3er estado transitorio (A empieza con 3 €), debemos
consultar la 3ª fila, 2ª columna de (I–Q’)–1R, que nos da una probabilidad de 0,4 de
que A empiece con 3 € y termine en la ruina.
Probabilidad de que B termine arruinándose
Como es el suceso contrario del apartado a), su probabilidad será 1–0,4=0,6.
También podríamos haber consultado la 3ª fila, 1ª columna de (I–Q’)–1R.
Número medio de tiradas que tarda en acabar el juego
Sumamos los números medios de etapas que se estará en cualquier estado
transitorio antes de la absorción, suponiendo que empezamos en el 3er estado
transitorio. Dichos números medios son los que forman la 3ª fila de la matriz (I–
Q’)–1. El promedio es: 0,8+1,6+2,4+1,2=6 tirada.
INVESTIGACION DE OPERACIONES
( I−Q ' )−1=(1 −0,5 0 0
−0,5 1 −0,5 00 −0,5 1 −0,50 0 −0,5 1
)−1
=(1,6 1,2 0,8 0,41,2 2,4 1,6 0,80,8 1,6 2,4 1,20,4 0,8 1,2 1,6
)( I−Q ' )−1R=(
0,2 0,80,4 0,60,6 0,40,8 0,2
)
12
Nota: si observamos la 1ª columna de (I–Q’)–1R, vemos que los valores van
creciendo. Esto se debe a que, cuanto más dinero tenga al principio A, más
probabilidad tiene de ganar el juego.
6) CLASIFICACIÓN SEGÚN EL NÚMERO DE CLASES FINALES
Cadena Ergódica: cuando la cadena tiene una única clase final y no
tiene clases de paso.
Cadenas (ergódicas) Regulares: Son cadenas en las que el total
forma un conjunto ergódico y existe K∈Ν tal que Ρij(k )
> 0 para
cualquier par de estados i, j.
Una cadena de Markov se dice regular si existe alguna potencia positiva de la
matriz de transición cuyas entradas sean todas estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transición de la
cadena se tiene que:
Donde W es una matriz con todos sus renglones iguales a un
mismo vector de probabilidad w, que resulta ser el vector de probabilidad
invariante de la cadena. En el caso de cadenas regulares, éste vector invariante
es único.
Ejemplo (El clima en la Tierra de Oz). Según el cuento, en la Tierra de Oz nunca
hay dos días buenos en sucesión. Después de un día con buen tiempo, le sigue
(con igual probabilidad) un día con lluvia o nieve. Del mismo modo, si nieva (o
llueve), el día siguiente nevará (o lloverá) con probabilidad 1=2, pero si cambia el
tiempo sólo la mitad de las veces será un lindo día.
Para estudiar este problema primeramente encontramos las probabilidades de
transición, es decir las probabilidades de que teniendo cierto clima un día, al día
INVESTIGACION DE OPERACIONES
13
siguiente se tenga otro clima. Así, si indicamos con b a un día bueno, con ` a uno
lluvioso y n si nieva, tendremos
pbb = 0 de un buen día a un buen día,
pb` = 1=2 de un buen día a un día lluvioso,
pbn = 1=2 de un buen día a un día con nieve,
p`` = 1=2 de un día lluvioso a un día lluvioso,
p`b = 1=4 de un día lluvioso a un buen día,
p`n = 1=4 de un día lluvioso a un día con nieve,
pnn = 1=4 de un día con nieve a un buen día,
pn` = 1=4 de un día con nieve a un día con lluvia,
pnb = 1=2 de un día con nieve a un buen día.
Es conveniente ordenar estos datos en una tabla o matriz,
Donde las filas indican el clima en el día, las columnas el clima en el día siguiente,
y las entradas son las probabilidades de cambio o transición. No es sorprendente
que la matriz se llame matriz de transición (o transiciones).
Observamos que en esta matriz no sólo los coeficientes son no-negativos, sino
que al sumarlos por filas obtenemos 1, indicando que alguna de las posibilidades,
en este caso b, ` o n, debe necesariamente suceder: una matriz con esta
propiedad
—no-negatividad y suma 1 por filas— también se llama de probabilidad o
estocástica.
En cambio, al sumar por columnas, a veces obtenemos menos de 1, a veces más,
y habrá casos donde dará 1.
INVESTIGACION DE OPERACIONES
14
El ejemplo del clima en la Tierra de Oz es un ejemplo típico de cadena de Markov:
1. tenemos ciertos estados, en este caso b, ` y n,
2. en cada momento estamos en uno de estos estados,
3. en el próximo momento (los «momentos» considerados son discretos)
volveremos a estar en ese u otro estado,
4. pasamos de un estado a otro con cierta probabilidad,
5. que sólo puede depender del estado inmediatamente anterior,
6. y esta probabilidad no cambia con el transcurso del tiempo.
La cadena de Markov es uno de los modelos más sencillos para tratar de predecir
el comportamiento de un «sistema», en este caso el clima en Oz. Por ejemplo nos
podemos preguntar: en 100 días.
Cadena recurrente
Una cadena recurrente es un conjunto de estados de los que el sistema no puede
salir. Un estado transitorio conduce al sistema dentro de este conjunto de estados.
El sistema hace saltos dentro de este conjunto indefinidamente. La cadena
recurrente es también llamada subcadena de Markov irreducible o de clases
recurrentes.
Cadenas irreducibles
Una cadena de Markov se dice irreducible si se cumple cualquiera de las
siguientes condiciones (equivalentes entre sí):
1. Desde cualquier estado de E se puede acceder a cualquier otro.
2. Todos los estados se comunican entre sí.
3. C(x)=E para algún x∈E.
4. C(x)=E para todo x∈E.
INVESTIGACION DE OPERACIONES
15
5. El único conjunto cerrado es el total.
La cadena de Ehrenfest o la caminata aleatoria sin barreras absorbentes son
ejemplos de cadenas de Markov irreducibles.
Cadenas regulares
Una cadena de Markov se dice regular (también primitiva o ergódica) si existe
alguna potencia positiva de la matriz de transición cuyas entradas sean todas
estrictamente mayores que cero.
Cuando el espacio de estados E es finito, si P denota la matriz de transición de la
cadena se tiene que:
donde W es una matriz con todos sus renglones iguales a un mismo vector de
probabilidad w, que resulta ser el vector de probabilidad invariante de la cadena.
En el caso de cadenas regulares, éste vector invariante es único.
Finalmente se presentan unos útiles factores de las cadenas de Markov:
Cada cadena de Markov debe tener al menos una cadena recurrente
Una cadena recurrente es un estado absorbente generalizado
Un proceso de Markov que tiene una cadena recurrente será completamente
ergódica desde dondequiera que el inicie finalizara en cadena recurrente
Si un proceso tiene dos o más cadenas recurrentes, entonces la propiedad
ergódica no se mantiene en el tiempo
Un estado transitorio es un estado que ocupa el sistema antes de convertirse en
una cadena recurrente.
INVESTIGACION DE OPERACIONES
16
CADENA SEMI- ERGODICA
Las cadenas de Markov regulares con algunas de las columnas de la matriz de
probabilidades estacionaria igual cero.
CADENAS NO ERGODICAS
Cuando la cadena tiene más de una clase final y una o varias clases de paso.
CADENAS INFINITAS
Cuando la cadena no es finita y que el proceso continua de manera indefinida, se
entiende por visita a un estado j como la tapa o momento en el la cadena se
encuentra en el estado j, y se denota Nj el número de visitas que se hacen en el
estado j en el proceso.
CADENAS PERIÓDICAS
Si un estado j es periódico con periodo ᵹ y otro estado i comunica con él, entonces
el estado i también es periódico con el mismo periodo. De este modo, el periodo
es una característica común del conjunto irreducible y cerrado, se puede hablar
del periodo de una subcadena irreducible.
INVESTIGACION DE OPERACIONES
17
7) BIBLIOGRAFÍA
INTRODUCCIÓN A LAS CADENAS DE MARKOV
Investigación de operaciones, 5ª edición, Editorial taha
INVESTIGACION DE OPERACIONES
18
8) CONCLUSIÓN
Como conclusión de las cadenas de Markov nos permite hacer análisis sobre el
estudio de los comportamientos de ciertos sistemas en ciertos periodos que
pueden ser cortos o largos. Además se tiene una relación con las probabilidades
absolutas. Pero sin embargo lo más importante es el estudio del comportamiento
sistemas a largo plazo, cuando el número de transiciones tiene al infinito.
Los estados en las cadenas de Markov serán útiles para el estudio del
comportamiento de los sistemas a largo plazo.
Que todos los estados en una cadena de Markov infinita irreducible pueden
pertenecer a una, y solo una, de las siguientes tres clases: estados transitorios,
estados recurrentes nulos o estados recurrentes no nulos.
Al abordar este tema es para conocer más o menos las probabilidades de un
experimento, esto a su vez nos permitirá conocer a corto y plazo los estados en
que se encontrarían en periodos o tiempos futuros y tomar decisiones que
afectarán o favorecerán nuestros intereses, y tomar una decisión de manera
consciente y no se comentan muchos errores.
INVESTIGACION DE OPERACIONES
19
INVESTIGACION DE OPERACIONES