Departament d’Estadística

Divisió de Ciències Experimentals i Matemàtiques

Cantidad de Información de Fisher y propiedades de los MLE

Programa de doctorado en Estadística, Análisis de datos y Bioestadística

Fundamentos de Inferencia Estadística

Jordi Ocaña Rebull

Diapositiva resumen

Problema regular de estimación Información de Fisher observada Información de Fisher esperada Propiedades de la información de Fisher Desigualdad de Cramér-Rao Propiedades asintóticas de los MLE MLE e información de Fisher en los

modelos exponenciales

Problema regular de estimación

Modelo estadístico identificable Espacio paramétrico, , es un abierto de k

Para toda densidad f , soporte de f(y;) independiente de

Derivación respecto de e integración respecto de y doblemente intercambiables:

Problema regular de estimaciónintercambiabilidad de integración y derivación Caso de parámetro escalar:

Para parámetro multidimensional, igualdad entre matrices

( ) ( ) ( ) ( )

( ) ( ) ( ) ( )2 2

2 2

; ;

; ;

d df y d y f y d y

d dd d

f y d y f y d yd d

q n q nq q

q n q nq q

=

=

ò ò

ò ò

Y Y

Y Y

( ) ( ) ( ) ( )2 2

; ;d d

f y d y f y d yd d d d

q n q nq q q q

=¢ ¢ò òY Y

Cantidad de información de Fisher observada

Definida como:

Medida de la curvatura local de l en la MLE: indicador del grado de preferencia del MLE sobre los puntos de alrededor.

( ) ( ) ( )2

2ˆ

ˆ ˆ = log ;

ˆsiendo la estimación MLE

dl f y

d q q

q q qq

q

=

æ ö÷碢= - - ÷ç ÷÷çè øI

( )ˆ ˆ es MLE 0q qÛ >I

Cantidad de información de Fisher esperada

Definición:

Equivalente a:

( ) ( )2

2 log ;d

I E f Yd

q qq

ì üï ïï ï= -í ýï ïï ïî þ

( ) ( )( )( )( ) ( )( ){ }

( ) ( )

2

2

log ;

var ; ;

donde función "score"

dI E f Y

d

u Y E u Y

u l

q qq

q q

q q

ì üï ïï ï= í ýï ïï ïî þ

= =

¢=

Cantidad de información de Fisher esperada

Parámetro multidimensional:

( ) ( )

( )( ) ( )( )( ){ }

2

log ;

log ; log ;

var ;

matriz de covarianzas de la función score

dE f Y

d d

d dE f Y f Y

d d

u Y

q qq q

q qq q

q

ì üï ïï ï= - í ý¢ï ïï ïî þì üï ï¢ï ï= í ýï ïï ïî þ

=

I

Propiedades de la información de Fisher. (i)

Aditividad: siY1,Y2 son (sub)muestras independientes con información I1() e I2() respectivamente, la información asociada a (Y1;Y2) es I1()+I2()

Consecuencia: si i() es la información asociada a un dato yj, ni() es la información asociada a una m.a.s. de tamaño n, y1,...,yn

Propiedades de la información de Fisher. (y ii)

Sea () invertible y diferenciable– Para parámetros escalares:

– En general:

Si T(Y) estadístico, IT() IY()– Si suficiente para , IT() = IY()

( )( )

( )( )

2dI I

dq q y

q yy q

yY=

æ ö÷ç= ÷ç ÷è ø

( ) ( ) , i

jI

qy q

yY

æ ö¶ ÷ç¢= = ÷ç ÷ç ÷¶è øJ I J J

Desigualdad de Cramér-Rao. (i)

T estadístico con momentos de segundo orden finitos, con a()=E{T(Y)}, a() derivable y 0 < I() < :

– Si T insesgado:

– Si parámetro multidimensional

( )( ) ( )( )( )( )( )

2

vara

MSE T Y T YI

qq

¢³ ³

( )( )( )1

var T YI q

³

( )( ) ( ) 1var T Y q -³ I

Desigualdad de Cramér-Rao. (y ii)

No siempre existe (o es único) T(y) que llegue a varianza mínima de Cramér-Rao

Condición necesaria y suficiente para que exista un tal estimador: que exista una constante k() tal que la igualdad

( ) ( ) ( ) ( )( );

se cumpla con probabilidad 1

dl y k T y a

dq q q

q= -

Consecuencias de la igualdad anterior

Supongamos que T(y) alcanza la cota de Cramér-Rao:

Si es MLE de , T(y) función de :

Si T estimador insesgado de , coincide con el MLE,

T(y) es suficiente

q̂

( ) ( ) ( )ˆ ˆ; 0d

l y T y ad

q qq

= Þ =

q̂

( )ˆ T yq =

Propiedades asintóticas de los estimadores MLE

Bajo (complicadas) condiciones de regularidad (por ejemplo):– Problema regular de estimación– Existencia y valor positivo de I()– Existencia y acotación de terceras

derivadas de l– Muestreo aleatorio simple

MLE son consistentes, asintóticamente normales y asintóticamente eficientes

(Una) expresión concreta de las propiedades asintóticas de MLE

( ) ( )( )

( )

0

0

00

0

Sea el "valor verdadero" de , entoncesˆexiste un MLE, , tal que:

ˆ

1ˆ 0,

ˆvarlim 11

nP

n

dn

n

n

n Z Ni

ni

q q

q

q q

q qq

q

q®¥

¾¾®

æ ö÷ç- ¾¾® ÷ç ÷çè ø

=

:

MLE e información de Fisher en los modelos exponenciales

Caso unidimensional. t(y) es suficiente( ) ( ) ( ) ( ){ }

( ) ( ) ( ) ( )

( ){ }( )

( )( ){ } ( )

; exp

0

propiedad familia exponencial:

ˆ;

L y t y

l t y

E t Y E t Y t y

q y q t q

q y q t q

t qq

y q

µ -

¢ ¢ ¢= Û =

¢= Þ =

¢

MLE e información de Fisher en los modelos exponenciales

Relación con información de Fisher observada:

( ) ( ) ( ) ( )

( ) ( ){ }

( ) ( ){ } ( )

( ) ( ) ( )

;

;

ˆ ˆ ˆ

l t y

I E l Y

E t y

I l

q y q t q

q q

y q q t q

q q q

¢¢ ¢¢ ¢¢= -

¢¢= -

¢¢ ¢¢= -

¢¢= - = I