Universidad Politécnica del Estado de MorelosAnálisis y toma de decisiones

Tapia Robledo Luis Ricardo 6C IIN

Cadenas de MarkovUna cadena de Markov es una serie de eventos, en la cual la probabilidad de que ocurra un evento depende del evento inmediato anterior. 

Las cadenas de este tipo tienen memoria, "Recuerdan" el último evento y esto condiciona las posibilidades de los eventos futuros. Esta dependencia del evento anterior distingue a las cadenas de Markov de las series de eventos independientes, como tirar una moneda al aire o un dado. En los negocios, las cadenas de Markov se han utilizado para analizar los patrones de compra, los deudores morosos, para planear las necesidades de personal y para analizar el reemplazo de equipo.

El análisis de Markov, llamado así en honor de un matemático ruso que desarrollo el método en 1907, permite encontrar la probabilidad de que un sistema se encuentre en un estado en particular en un momento dado. Algo más importante aún, es que permite encontrar el promedio a la larga o las probabilidades de estado estable para cada estado. Con esta información se puede predecir el comportamiento del sistema a través del tiempo. La tarea más difícil es reconocer cuándo puede aplicarse. La característica más importante que hay que buscar en la memoria de un evento a otro.

Propiedad de Markov: Dada una secuencia de variables aleatorias ......, X1 X2 X3 , tales que el valor de Xn es el estado del proceso en el tiempo n. Si la distribución de probabilidad condicional de Xn+1 en estados pasados es una función de Xn por sí sola, entonces:

Donde Xi es el estado del proceso en el instante i.

Matriz de transición

Los elementos de la matriz de transición representan las probabilidades de que en el próximo ensayo el estado del sistema del partido indicado a la izquierda de la matriz cambie al estado del partido indicado arriba de la matriz.

Matriz estocástica Es una matriz cuadrada cuyos elementos son no negativos y tal que la suma de los elementos de cada fila es igual a 1.

Universidad Politécnica del Estado de MorelosAnálisis y toma de decisiones

Tapia Robledo Luis Ricardo 6C IIN

Matriz de transición en un solo paso Dada una cadena de Markov con k estados posibles s1,...,sk y probabilidades de transición estacionarias.

La matriz de transición P de cualquier cadena de Markov finita con probabilidades de transición estacionarias es una matriz estocástica

Observaciones:

1) La suma 1 ..... pi1 + pi2 +…+ pin = . Esta suma representa la probabilidad de que el sistema pase a uno de los estados 1, 2, …., n dado que empieza en el estado i. Ya que el sistema ha de estar en uno de estos n estados, la suma de probabilidades debe ser igual a 1. Esto significa que los elementos en cualquier renglón de la matriz de transición deben sumar 1.

2) Cada elemento ≥ 0

Teorema 1: Si P denota la matriz de transición de una cadena de Markov y Ak es la matriz de estado después de k ensayos, entonces la matriz de estado Ak +1 después del ensayo siguiente está dada por: Ak +1 = Ak .P

Teorema 2: Una matriz de transición P se dice que es regular si para algún entero positivo k, la matriz kP no tiene elementos iguales a cero. Si P es una matriz de transición regular, entonces sin importar la matriz de estado inicial, las matrices de estado sucesivas se aproximan a alguna matriz de estado fija B en donde B.P = B. La matriz B se denomina matriz estacionaria del sistema

Universidad Politécnica del Estado de MorelosAnálisis y toma de decisiones

Tapia Robledo Luis Ricardo 6C IIN

Andréi Andréievich Markov (Riazán, 1856 - San Petersburgo, 1922) Matemático ruso que desarrolló la moderna teoría de procesos estocásticos. Trabajó en la casi totalidad de los campos de la matemática. En el campo de la la teoría de la probabilidad, profundizó en las consecuencias del teorema central del límite y en la ley de los grandes números. En su honor, lleva su nombre un tipo muy especial de procesos estocásticos.

Markov, graduado en la Universidad de San Petersburgo en 1878, fue alumno de Pafutny Chebyshev, quien ejerció una gran influencia en sus investigaciones. Impartió clases de matemáticas en esta

Universidad desde 1886. Sus primeras investigaciones versaron sobre análisis y teoría de números, en particular sobre las fracciones continuas, límites de integrales, teoría de aproximaciones y convergencia de series. En 1900 estudió la teoría de probabilidades. Demostró a partir de supuestos muy generales el llamado teorema central del límite, que establece que la suma de un número grande de variables aleatorias independientes se aproxima a una distribución gaussiana.

Bibliografíahttp://www.ingenieria.unam.mx/javica1/ingsistemas2/Simulacion/Cadenas_de_Markov.htm

http://www.bioingenieria.edu.ar/academica/catedras/metestad/Cadenas%20de%20Markov-1.pdf

http://www.biografiasyvidas.com/biografia/m/markov.htm