Post on 22-Sep-2018
Universidad Técnica Federico Santa María
1
Capítulo 7Capítulo 7
Estimación de ParámetrosEstimación de Parámetros
Estadística ComputacionalEstadística Computacional
II Semestre 2007II Semestre 2007
Prof. Carlos Valle
Página : www.inf.utfsm.cl/~cvalle
e-mail : cvalle@inf.utfsm.cl
C.Valle
2
El objetivo de la estimación de parámetros es proveer de
métodos que permitan determinar con cierta precisión, el
vector de parámetros desconocidos ϑ, de un modelo
estadístico f(x ; ϑ) a partir de una muestra aleatoria de
una población bajo estudio.
1. Método de estimación Puntual
2. Método de estimación por Intervalos
Estimación de Parámetros
Universidad Técnica Federico Santa María
2
3
1. Método de estimación Puntual:
Se busca un estimador ϑ que, con base en los
datos muestrales, dé origen a una estimación
univaluada del valor del parámetro.
2. Método de estimación por Intervalos:
Se determina un intervalo aleatorio I(ϑ), donde
con cierta probabilidad, se encuentra el valor del
parámetro ϑ.
Estimación de Parámetros
4
La idea detrás de la estimación puntual es bastante
simple. Cuando muestreamos desde una población
descrita por su función de densidad o cuantía,
conocer significa conocer la población entera.
Por lo tanto, es natural contar con métodos para
encontrar buenos estimadores del parámetro .
Estimación Puntual
)|( θxf
θ
θ
Universidad Técnica Federico Santa María
3
5
Un estimador es una regla que nos indica cómo obtener un
parámetro de un modelo, basándose en la información
contenida en una muestra ( M={ f ( x | θθθθ ) : θθθθ ∈∈∈∈ ΘΘΘΘ }}}} modelo )
T : χ τ ⊂ Θ
x T (x) = T (X1, X2,...., Xn)
T (x) : Estimador de θ, variable aleatoria, función de la
muestra, que no depende del parámetro θ.
(T (x) es una estadística basada en la Información χχχχ)
χ={x : x es una muestra aleatoria} Espacio de Información
♦ En lo que sigue = T (X1, X2,..., Xn) estimador de θ.
Definición de Estimador
θ̂
6
Métodos de Estimación Puntual
♦ Método de Momentos
♦ Método de Máxima Verosimilitud
Universidad Técnica Federico Santa María
4
7
Momentos Observados
krm rr ,...,1, == µ
Método de Momentos
][,/1
][,/1
][,/1
1
2
2
1
2
2
1
1
1
1
1
k
k
n
i
k
ik
n
i
i
n
i
i
XEXnm
XEXnm
XEXnm
==
==
==
∑
∑
∑
=
=
=
µ
µ
µ
ΜΜΜ
y resolvemos el sistema de ecuaciones:
Momentos Observados
(centrados en cero)
8
El método de MV es la técnica más popular para
derivar estimadores. Sea X1,X2,…,Xn, una muestra
desde una población con función de densidad
La función de verosimilitud se define como:
Para cada punto Xi de la muestra, es el estimador
de los parámetros en el cual alcanza su valor
máximo como función del verdadero valor .
Método de Máxima Verosimilitud
),...,,|( 21 kxf θθθ
)|( θxL
θ)
θ
∏ ===
n
i kikn xfxxxLθxL1 212111 ),..,,|(),..,,|,..,,()|( θθθθθθ
Universidad Técnica Federico Santa María
5
9
Si la función de verosimilitud es diferenciable (en ),
el estimador de máxima verosimilitud (EMV) del
verdadero valor es aquel que resuelve:
No obstante, habría que chequear que se cumple:
Método de Máxima Verosimilitud
kiθxLi
,...,1,0)|( ==∂
∂
θ
θ)
θ
kjiθxLji
,...,1,0,)|( ˆ
2
=<
∂∂
∂=θθθθ
θ
10
Dependiendo de la p.d.f, puede resultar muy
complicada la función de verosimilitud, es por ello que
es más fácil trabajar con la función de log-
verosimilitud, definida como:
Equivalentemente, el EMV es el valor de para el
cual se cumple:
Método de Máxima Verosimilitud
∑ ===
n
i kixfθxLθx1 21 ),...,,|(ln)|(ln)|( θθθλ
kiθxi
,...,1,0)|( ==∂
∂λ
θ
θθ̂
Universidad Técnica Federico Santa María
6
11
Métodos de Evaluación de E.Puntual
Error Cuadrático Medio (ECM):
El ECM de un estimador del parámetro es
El ECM mide el promedio de la diferencias cuadrática entre el
estimador y el verdadero valor del parámetro, y ha sido por
mucho tiempo una medida razonable del desempeño de todo
estimador puntual.
Una medida alternativa podría ser . No obstante, la
medida cuadrática que utiliza ECM tiene ventajas sobre otras
medidas: primero que es tratable analíticamente, y segundo que
tiene la siguiente interpretación ( dilema sesgo/ variancia):
θ̂≡T ])[( 2θ−TE
|][| θ−TE
12
Métodos de Evaluación de E.Puntual
Error Cuadrático Medio (ECM):
]2[][)( 222 θθθ +−=−= TTETETECM
2
2
22
22
))((][
)][(][
][2])[(][
][2][
TSesgoTV
TETV
TETETV
TETE
+=
−+=
+−+=
+−=
θ
θθ
θθ
θ−= ][)( TETSesgo
Donde se define el Sesgo (Bias) de un estimador puntual
como:
Universidad Técnica Federico Santa María
7
13
Métodos de Evaluación de E.Puntual
Error Cuadrático Medio (ECM):
El ECM incorpora dos componentes, una que mide la
variabilidad del estimador (precisión) y la otra que mide su
sesgo (cercanía al verdadero valor).
Un buen estimador tiene un ECM pequeño, i.e. tiene
varianza y sesgo pequeños. Parece razonable entonces
escoger como el mejor estimador de , la estadística que
tenga el ECM más pequeño posible de entre todos posibles
los estimadores
θ
θ
14
Métodos de Evaluación de E.Puntual
Error Cuadrático Medio (ECM): No obstante, no existe
ningún estimador que minimice el ECM para todos los
posibles valores de . Es decir, un estimador puede tener
un ECM mínimo para algunos valores de , mientras que
otro estimador tendrá la misma propiedad, pero para otros
valores de .
θθ
θ
Ejemplo: Considere la m.a. X1,X2,…,Xn de alguna
distribución tal que y . Considere
las estadísticas (estimadores):
como posibles estimadores de .
XXn
Tn
i
i == ∑=1
1
1
[ ] µ=iXE [ ] 2σ=iXV
∑=+
=n
i
iXn
T1
21
1
µ
y
Universidad Técnica Federico Santa María
8
15
Métodos de Evaluación de E.Puntual
Estimadores Consistentes:
Es razonable esperar que un buen estimador de un
parámetro sea cada vez mejor conforme crece el tamaño
de la muestra.
Esto es, conforme la información de una v.a. se vuelve más
completa, la distribución de muestreo de un buen estimador
se encuentra cada vez más centrada alrededor del
parámetro .
θ
θ
16
Métodos de Evaluación de E.Puntual
Estimadores Consistentes:
Sea el estimador del parámetro , y sea una
secuencia de estimadores que representan a con base en
muestras de tamaño 1,2..,n, respectivamente. Se dice que es
un estimador consistente para si
( ) 0 , , 1||lim >∀∀=≤−∞→ εθεθnn TP
θT nTTT ,...,, 21
T
θ
Obs.: Esta definición proviene del concepto de Convergencia
en Probabilidad. Como ejemplo, anteriormente demostramos
que la media muestral es un estimador consistente de la
media poblacional .
T
µnX
Universidad Técnica Federico Santa María
9
17
Métodos de Evaluación de E.Puntual
Estimadores Insesgados de Varianza Mínima:
Es difícil determinar un estimador con mínimo ECM para
todo valor de . Sin embargo, podemos efectuar esta
búsqueda dentro de una clase de estimadores llamados
“estimadores insesgados”. Si un estimador se encuentra
dentro de esta clase, se tiene que:
Entonces, dentro de la clase de estimadores insesgados,
podemos comparar éstos según su varianza.
θ
T
][)( TVTECM =y ][ θ=TE
18
Métodos de Evaluación de E.Puntual
Estimadores Insesgados de Varianza Mínima:
Sea X1,X2,…,Xn una m.a. de una distribución cuya densidad
tiene la forma . Si es un estimador insesgado de ,
entonces la varianza de debe satisfacer la siguiente
desigualdad:
Esta desigualdad establece un límite inferior para la varianza
de un estimador de (denominado “cota inferior de Cramér-
Rao”).
θ)|( θxf T
T
12
)|(ln][
−
∂
∂≥
θ
θXfnETV
θ
Universidad Técnica Federico Santa María
10
19
Métodos de Evaluación de E.Puntual
Estimadores Eficientes:
Si es un estimador insesgado del parámetro , se dice que
es un estimador eficiente si se cumple que:
12
)|(ln][
−
∂
∂=
θ
θXfnETV
θT T
Por lo tanto, el estimador eficiente de es el estimador de
mínima varianza, cuyo valor corresponde a la cota inferior de
Cramér-Rao.
El estimador eficiente de , si se puede encontrar, es el mejor
estimador insesgado de , en el contexto del ECM.
θ
θ
θ
20
Métodos de Evaluación de E.Puntual
Estimadores Eficientes:
Ejemplo: Sean X1,X2,…,Xn una m.a. de una distribución
Poisson de parámetro . Encuentre el estimador eficiente
de .λλ
Solución: Consideremos una distribución Poisson.
dada por , y su esperanza y varianza
están dadas por y . Luego:
!/)|( xexp xλλ λ−=λµ ==][XE λσ == 2][XV
)!ln()ln()|(ln xxxp −−= λλλ
λ
λ
λλ
λ −=−=
∂
∂ xxxp1
)|(ln
Universidad Técnica Federico Santa María
11
21
Métodos de Evaluación de E.Puntual
Estimadores Eficientes:
Ejemplo:
Entonces:
Y por la definición de eficiencia, el estimador eficiente T de
debe ser tal que se cumpla:
De aquí inferimos que el estimador eficiente de es la
media muestral: .
22)|(ln
−=
∂
∂
λ
λ
λ
λ xE
xpE
[ ]λλ
λλ
1][12
2
2==−=
XVxE
nnnTV
2
/
1][
σλ
λ===
λ
λXT =
22
Métodos de Evaluación de E.Puntual
Eficiencia Relativa:
Se define la eficiencia relativa del estimador T2 respecto del
estimador T1 como:
La varianza de un estimador insesgado es la cantidad más
importante para decidir qué tan bueno es. Si T1 y T2 son dos
cualesquiera estimadores insesgados de :
Se dice que T1 es más eficiente que T2 si .][][ 21 TVTV ≤
θ
)(
)(),(
2
112
TECM
TECMTTef =
][
][),(
2
112
TV
TVTTef =
Universidad Técnica Federico Santa María
12
23
Métodos de Evaluación de E.PuntualUna estadística suficiente de un parámetro es aquella que utiliza
toda la información contenida en la m.a. con respecto a
Estimadores Suficientes:
Sea X1,X2,…,Xn una m.a. de una distribución con densidad de
probabilidad . Se dice que T = T(X1,X2,…,Xn) es
suficiente para sí y sólo si la función de verosimilitud
puede factorizarse de la siguiente forma:
para cualquier valor t = T(x1,x2,…,xn) de T (realización) y en
donde no contiene al parámetro .
θ
)|( θxf
),...,()|()|,...,,()|( 111 nn xxgthxxxLθxL θθ ==
θ),...,( 1 nxxg
θθ
24
Métodos de Evaluación de E.Puntual
Estimadores Suficientes:
Ejemplo: Sea X1,X2,…,Xn una m.a. de una distribución
Poisson con pdf .
Demostrar que el estimador eficiente de es a su vez
suficiente.
!/)|( xexp xλλ λ−=
λ
Solución:
)|()|()|()|,...,,( 2111 λλλλ nn xpxpxpxxxL Λ=
∏=
−
−−−
∑=
⋅⋅⋅=
=
n
i
i
nx
n
xxx
xe
xexexe
n
i i
n
1
21
!/
!/!/!/
1
21
λ
λλλ
λ
λλλ Λ
Universidad Técnica Federico Santa María
13
25
Métodos de Evaluación de E.Puntual
Estimadores Suficientes:
Solución:
con
( ) ),...,,(|)|,...,,( 21111 n
n
i in xxxgxhxxxL λλ ∑ ==
( ) λλλ nxn
i i exhn
i i −
=
∑= =∑ 1|1
Entonces es una estadística suficiente para . Dado
que el estimador eficiente es una función uno a uno de
esta estadística, también es suficiente para .
∑ =
n
i ix1 λX
X λ
26
Propiedades de los Estimadores
Máximo Verosímiles
Todo estimador máximo verosímiles es:
�Asintóticamente insesgados
�Asintóticamente normales
�Asintóticamente eficientes
�Invariantes bajo transformaciones biunívocas
�Si ∃∃∃∃ estimador suficiente, es suficienteMVθ̂
Universidad Técnica Federico Santa María
14
27
Estimación por Intervalos
En la práctica, interesa no sólo dar una estimación
de un parámetro, sino que además, un intervalo
que permita precisar la incertidumbre existente en
la estimación.
Definición: Sea x m.a. ∝∝∝∝ f ( x , θθθθ ). Sean θθθθ1=T1(x),
θθθθ2=T2(x) dos estadísticas de θθθθ : T1 ≤≤≤≤ T2 ∧∧∧∧ ∀∀∀∀x ∈∈∈∈χχχχ ;
P [θ[θ[θ[θ1 ≤≤≤≤ θθθθ ≤≤≤≤ θθθθ2]]]] = 1 - αααα = γγγγ
Entonces el I = [θ[θ[θ[θ1 ; θθθθ2]]]] se llama intervalo aleatorio
de confianza del 100 γγγγ % para θθθθ ( 0 < αααα < 1 ).
28
Fijado αααα, el problema de determinar θθθθ1 y θθθθ2 puede
resolverse encontrando una variable aleatoria
Q(x,θθθθ) cuya distribución esté totalmente definida,
que sea independiente de θθθθ.
La variable Q(x,θθθθ) se denomina “Cantidad Pivotal”.
La construcción del intervalo de confianza se
efectúa con base en el mejor estimador del
parámetro desconocido θθθθ.
Estimación por Intervalos
Universidad Técnica Federico Santa María
15
29
1. Encontrar una cantidad Q.
2. P [[[[q1 ≤≤≤≤ Q ≤≤≤≤ q2]]]] = 1 - αααα = γγγγ3. Invertir P [θ[θ[θ[θ1 ≤≤≤≤ θθθθ ≤≤≤≤ θθθθ2]]]] = γγγγ , obteniendo así un
intervalo I=[θ[θ[θ[θ1 ; θθθθ2]]]] de confianza para θθθθ de nivel
100 γγγγ %.
Obs: Para muestras grandes existe una v. a. Q asintótica
ya que para , se tiene MVθ̂
( ) )1;0(ˆ
ˆNZQ
MV
MV ≈−
==θσ
θθ
Método de la Cantidad Pivotal
( )[ ]MVMV zI θσθ α
ˆˆ21−±=El intervalo para θθθθ estaría dado por:
donde el cuantil puede obtenerse de la tabla de la
distribución Normal estándar.2/1 α−z
30
I. C. para cuando suponemos normalidad con varianza
conocida:
Considerando como estimador de la media poblacional
como la media muestral , deseamos construir un intervalo
de confianza tal que:
Donde y
Estimación por Intervalos
µ
)]()([1)]()([ 2121 xTxTPgXgP <<=−=<< µαµµ
2/);(
)(1
αµµ
=∫∞−
g
xdxf 2/);()(2
αµµ
=∫∞
g
xdxf
);( µxf es la función de densidad de la distribución de muestreo
de , y y son funciones de , las cuales
no contienen a ningún otro parámetro desconocido.
X
X )(1 µg )(2 µg µ
1)
Universidad Técnica Federico Santa María
16
31
I. C. para cuando suponemos normalidad con
varianza conocida:
Puesto que , la v.a. ,
entonces:
Estimación por Intervalos
µ
ασ
µσ
µµ αα −=
+<<−=<< −− 1)]()([ 2/12/121
nzX
nzXPgXgP
),(~ σµNX )1,0(~)/(
)(N
n
XZ
σ
µ−=
considerando y ,
además de se tiene:
2/11
/
)(α
σ
µµzq
n
g==
−2/12
2
/
)(α
σ
µµ−==
−zq
n
g
ασ
µσ
µ ααγ −=
+<<−= −− 1)( 2/12/1
nzX
nzXPI
2/1212/ αα −−=−== zqqz
1)
32
I. C. para cuando suponemos normalidad con varianza
conocida:
Luego, el intervalo de confianza del para la media
poblacional es:
Estimación por Intervalos
µ
)%1(100 α−
donde el cuantil puede obtenerse de la tabla de la
distribución Normal estándar.
±=
+−= −−−
nzx
nzx
nzxI
σσσααα 2/12/12/1 ,
2/1 α−z
1)
Universidad Técnica Federico Santa María
17
33
I. C. para cuando suponemos normalidad con varianza
desconocida:
Sabemos que cuando se muestrea una v.a. ,
donde tanto como son desconocidos, la v.a.
sigue una distribución t-Student con (n-1) gl.,
donde S es la desviación estándar y n es el
tamaño de la muestra.
Por lo tanto, es posible determinar el valor del cuantil
de T, para el cual:
Estimación por Intervalos
µ
ααα −=<<− −−−− 1][ 1,2/11,2/1 nn tTtP
µ σ),(~ σµNX
nS
XT
/
µ−=
1,2/1 −− nt α
2)
34
I. C. para cuando suponemos normalidad con varianza
conocida:
Entonces:
Estimación por Intervalos
µ2)
αµ αα −=
+<<− −−−− 11,2/11,2/1
n
StX
n
StXP nn
Luego, el intervalo de confianza del para la media
poblacional es:
)%1(100 α−
donde el cuantil puede obtenerse de la tabla de la
distribución t-Student con (n-1) grados de libertad.
±=
+−= −−−−−−
n
stx
n
stx
n
stxI nnn 1,2/11,2/11,2/1 , ααα
1,2/1 −− nt α
Universidad Técnica Federico Santa María
18
35
I. C. para la diferencia de medias ( distribuciones
normales independientes):
Sean X1,X2,…,Xn y Y1,Y2,…,Ym dos m.a. provenientes de
dos distribuciones normales independientes, con medias
y y varianzas y , respectivamente.
Se desea construir un intervalo de confianza para la
diferencia , con el supuesto que se conocen las
varianzas.
Es sabido que la v.a.
Estimación por Intervalos
3)
Xµ
Yµ 2
Xσ 2
Yσ
)1,0(~)(
22N
mn
YXZ
YX
YX
σσ
µµ
+
−−−=
YX µµ −
36
I.Confianza para la diferencia de medias cuando se
muestrean dos distribuciones normales independientes:
Por lo tanto, es posible determinar el valor del cuantil
para el cual
Estimación por Intervalos
ααα −=<<− −− 1][ 2/12/1 zZzP2/1 α−z
3)
ασσ
µµσσ
αα −=
++−<−<+−− −− 1
22
2/1
22
2/1mn
zYXmn
zYXP YXYX
YX
+±−=− −mn
zyxI YX
22
2/121 )(σσ
µµ αγ
Entonces:
donde el cuantil puede obtenerse de la tabla de la
distribución Normal estándar.2/1 α−z
El intervalo está dado por:
Universidad Técnica Federico Santa María
19
37
I. C. para la diferencia de medias ( distribuciones normales
independientes):
Si las varianzas se desconoce, pero son iguales, entonces la
v.a.
El intervalo está dado por:
donde el estimado combinado de la varianza común es:
Estimación por Intervalos
3)
)(~11
)(kStudentt
mnS
YXZ
p
YX −
+
−−−=
µµ2−+= mnk
k
smsns
YX
p
22
2)1()1( −+−
=
gl
+±−=− −mn
styxI pk
11)( ,2/121 αγ µµ
38
I.C. para cuando suponemos normalidad con media
desconocida:
Sabemos que cuando se muestrea una v.a. ,
donde tanto como son desconocidos, la v.a.
sigue una distribución Ji-cuadrada con (n-1) gl.,
donde S es la desviación estándar y n es el
tamaño de la muestra.
Por lo tanto, es posible determinar el valor de los cuantiles
y tales que
Estimación por Intervalos
2σ
αχχχ αα −=<< −−− 1][ 1,2/12
1,2/2
nnP
µ σ),(~ σµNX
2
22 )1(
σχ
Sn −=
1,2/2
−nαχ
4)
1,2/12
−− nαχ
Universidad Técnica Federico Santa María
20
39
:
Estimación por Intervalos
Luego, el intervalo de confianza del , para la
varianza, con base en los datos de una muestra de tamaño n
es:
)%1(100 α−
donde los cuantiles y se obtienen de la
tabla de la distribución Ji-Cuadrada con (n-1) g.l.
−−=
−−− 1,2/2
2
1,2/12
2 )1(,
)1(
nn
snsnI
αα χχ
1,2/2
−nαχ 1,2/12
−− nαχ
4) I. C. para cuando suponemos normalidad con media
desconocida:
2σ
40
I. C. para el cuociente de dos varianzas (distribuciones
normales independientes):
Sean X1,X2,…,Xn y Y1,Y2,…,Ym dos m.a. de dos
distribuciones normales independientes, con medias y
y varianzas y , respectivamente.
Se desea construir un intervalo de confianza para el
cuociente .
Es sabido que la v.a.
Estimación por Intervalos
5)
Xµ Yµ2
Xσ 2
Yσ
)1,1(~/2
2
2
2
−−= mnFSS
FY
Y
X
X
σσ
22 / XY σσ
Universidad Técnica Federico Santa María
21
41
I. C. para el cuociente de dos varianzas (distribuciones
normales independientes):
Por lo tanto, es posible determinar los cuantiles a y b tales
que:
Estimación por Intervalos
[ ] α−=<< 1ba FFFP
donde
1,1,2/1
1
−−−
=mn
af
Fα 1,1,2/1
1
−−−
=mn
bf
Fα
y
=
2
2
2
2
,X
Yb
X
Ya
s
sF
s
sFI
donde los cuantiles Fa y Fb pueden obtenerse de la tabla de la
distribución F con (n-1) y (m-1) grados de libertad.
El intervalo está dado por:
42
Intervalo de ConfianzaIntervalo de Confianza Cantidad Cantidad PivotalPivotal
µ media la Para n
Xz
−=
σ
µ0
nS
Xt
−= 0µ
(σ conocido)
(σ desconocido)
2 variancia σlaPara ( )1
2
2
22 1
−−
= nSn
χσ
χ ∼
Universidad Técnica Federico Santa María
22
43
Intervalo de ConfianzaIntervalo de Confianza Cantidad Cantidad PivotalPivotal
21 Diferencia µµ − ( ) ( )2
21
21
2121
21 −++
−−−nn
P
t
nn
nnS
XX µµ
2
2
2
1 /σσ
p
( )112
2
2
1
21 −− nnFS
S,
∼
( ) ( )2
2
2
2
1
2
1
2121
21 −∆−+
+
−−−nn
P
t
n
S
n
SS
XX µµ∼
∼
( )( )1,0
ˆ1ˆ
ˆN
ppn
pnX
mvmv
mv
−
−∼
2
2
2
1
2
σσ
σ
=
adesconocid
2
2
2
1
2
σσ
σ
≠
adesconocid