Módulo 2_Análisis de Regresión

Mdulo II

ANLISIS DE REGRESIN(CONCEPTOS Y APLICACIN)Mg. Christian Acua OpazoProfesor DII2013

Prof.: Christian Acua O.

*AgendaEl Modelo de regresin Lineal generalRegresin Lineal Simple: Caso ParticularEspecificaciones al Modelo de Reg. SimpleEl Error en el ModeloFuncin de Regresin Poblacional y MuestralDeterminacin del Parmetro iRegresin Mltiple: Caso GeneralAnlisis MatricialMnimos Cuadrados Ordinarios (MCO)Hiptesis del ModeloMxima VerosimilitudAnexos


El Sub-Gerente de Inversiones de una gran empresa opina que las rentabilidades anuales de las acciones de la empresa dependen del riesgo de las mismas.

El Gerente no est muy convencido de ello, ya que est seguro que existen otras variables que influyen, por lo que ha solicitado pruebas. Introduccin al Tema

*Qu herramienta puede presentar el Sub-Gerente de inversiones que sustenten su teora?

Qu variables tendr que evaluar y medir?

Qu MODELO (ecuacin) ayudar a predecir las rentabilidades en funcin del riesgo?

Ser un MODELO (ecuacin) lineal o no lineal?

Qu precisin se puede esperar al usar esta herramienta de toma de decisiones?

Cuestionamiento a Resolver


*Modelo Economtrico GeneralError (Perturbacin)

Permite explicar la relacin entre una variable estocstica y una determinstica de un fenmeno


*El Modelo Lineal General(t = 1, 2,, n)En donde:Yt:Observacin t-sima de la variable endgena o dependienteXt:Observacin t-sima de la variable exgena o independiente (explicativa) i:i-simo parmetro o coeficiente t:t-simo valor del trmino de error o perturbacin (tambin denominado )k:nmero d parmetros, yn:nmero de observaciones o casos de la muestra

Por lo tanto, el MLG define una relacin:Lineal entre una variable endgena y k variables explicativasEstocstica, ya que admite errores de ajuste, ytil para inferir valores y, condicionados a Xi (i= 1,2,, k)


*(t = 1, 2,, n)El MLG con k variables explicativas y dada una muestra de t observaciones de cada una de las variables, tiene la siguiente especificacin:(i = 1, 2,, t)


*Especificaciones del MLGEl MLG tiene trmino constante cuando X0i para todo i=1,,t. es igual a uno (1). En este caso, se tiene:

0 es el trmino constante y 1, 2,, k las pendientes del modelo.

Muy importante: El MLG es Lineal porque los parmetros que figuran en su lado derecho lo hacen de forma lineal (a lo sumo, estn multiplicados por un trmino que no depende de ningn parmetro del modelo).(i = 1, 2,, t)


REGRESIN LINEAL SIMPLE


*Regresin: conjunto de tcnicas que son usadas para establecer una relacin entre una variable cuantitativa llamada variable dependiente y una o ms variables independientes, llamadas predictoras. Estas deben ser por lo general cuantitativas, sin embargo usar predictoras que son cualitativas es permisible.

Modelo de regresin. Ecuacin que representa la relacin entre las variables. Para estimar la ecuacin del modelo, se deben tener DATOS (o un conjunto de DATOS = MUESTRA).

Regresin Lineal:Concepto


*Reg. Lineal Simple v/s Reg. Lineal MltipleModelo de Regresin Simple: Determinar la relacin entre la rentabilidad de una accin (y) y los niveles de riesgo de la accin (x).

Yi = b0 + b1 X1i + i

Modelo de Regresin Mltiple. Determinar la relacin del gasto en consumo de las familias (y), como funcin del ingreso (x1), los activos financieros de la familia (x2) y del tamao de la familia (x3).

Yi = b0 + b1 X1i + b2 X2i + i


*Regresin Lineal Simple(Caso Particular)Definicin: Se vincula a la descripcin y evaluacin de la relacin entre una determinada variable dependiente (o explicada) y una variable denominada independiente (o explicativa).

Obs.:Actualmente se denomina regresin al estudio de la dependencia de una variable dependiente de una o ms variables explicativas, con la perspectiva de estimar y/o predecir el valor poblacional medio de la primera en trminos de los valores conocidos de las segundas.


*Ejemplo paraEl anlisis

AccinRendimiento (%) de la AccinValor (Nivel de Riesgo)15,41,528,91,932,3141,50,553,71,568,21,875,31,380,5-0,591,30,5105,91,8116,81,9127,21,9134,51,1145,31,4151,90,9162,51,4176,51,6187,11,1197,81,4205,91,8

Una teora financiera popular, sostiene que existe una relacin directa entre el riesgo de una inversin y el rendimiento que promete. El riesgo de una accin se mide por medio de su valor . A continuacin se presentan los rendimientos y los valores de para 20 acciones (ficticias) sugeridas por la empresa de inversiones "AAA". Estos datos confirman la teora financiera?


*Grficamente


*Es modelar la dependencia de la variable Y en funcin de la variable X, a travs de la ecuacin de una recta. i=1, 2, , nVariable dependienteVariable predictora (independiente)ParmetrosError ~ NID(0,2)Anlisis de Regresin Simple


y: Rentabilidad (%) x: Nivel de Riesgo (Beta)Cul ser la rentabilidad del prximo perodo, si el nivel de riesgo es de 2,0?Cul ser el valor de la rentabilidad, por cada un punto de riesgo que quiera asumir la empresa?Cul ser la rentabilidad anual promedio, dado un nivel de riesgo de x = 1,5 ?


*


El modelo de regresin es lineal en los parmetros, como se observa a continuacin.

Como se indica en el supuesto los parmetros son los que deben ser lineales (elevados a la uno) sin importar que forma tomen la variable dependiente y la variable explicativaSupuesto 1:

Modelo de regresin Lineal

Supuesto 2:

Valores de x son fijos en muestreo repetido.Los valores que toma la variable explicativa (X) son considerados fijos en muestreo repetido. Ms tcnicamente, se supone no estocsticos (regresores no estocsticos).

La parte sistmica y aleatoria son independientes

Cov(X, ) = 0

Supuesto 2:

Valores de x son fijos en muestreo repetido.Lo anterior implica:

Cuando estamos analizando un evento econmico, lo deseable es que se tengan diferentes muestras, para poder as observar el comportamiento promedio de los parmetros. Este supuesto nos indica que para todas las muestras analizadas, los valores que tome(n) la(s) variable(s) explicativa(s), deben ser los mismas para todas las muestras.

Supuesto 3:

Valor medio de las perturbaciones es igual a ceroDado el valor de X, la media o el valor esperado del trmino aleatorio de perturbaciones es cero. Tcnicamente, el valor de la media condicional de es cero (es decir, no hay error sistmico).

Simblicamente, se tiene:

E( / Xi) = E()= 0, para todo i=1,,n

Lo cual implica: E(y / Xi) = 0 + 1 X

Obs.:Este supuesto no es muy restrictivo, puesto que siempre podemos ajustar el intercepto b0 para normalizar E(u) = 0Supuesto 3:

Valor medio de las perturbaciones es igual a cero

Supuesto 4:

Homocedasticidad, o varianza de = cte.Dado el valor de X, la varianza de es la misma para todas las observaciones. Esto es, las varianzas condicionales de son idnticas, Simblicamente se tiene que:

Var(i/Xi) = E(i E(i )/Xi)2 = E(2i /Xi) por supuesto 3 = 2Obs: De los supuesto 3 y 4, se puede concluir: Los errores se distribuyen normalmente. (Se usa Kolmogorov)

*> 0.05. Los errores se distribuye normalmenteVerificacin supuesto 3 y 4

Prueba de Kolmogorov-Smirnov para una muestraUnstandardized ResidualN11Parmetros normalesa,bMedia,0000000Desviacin tpica2,50282563Diferencias ms extremasAbsoluta,143Positiva,143Negativa-,112Z de Kolmogorov-Smirnov,474Sig. asintt. (bilateral),978a. La distribucin de contraste es la Normal.b. Se han calculado a partir de los datos.


Supuesto 4:

Homocedasticidad, o varianza de = cte.

Supuesto 4: (en contraste)

Heterocedasticidad, o var(i/Xi) = 2i.

Supuesto 5:

No Autocorrelacin entre las perturbacionesDado dos valores cualquiera de U, La correlacin entre dos i y j cualquiera (i j) es cero.

Simblicamente:Cov(ij/Xi Xj) = E(i E(i )/Xi) (j E(j )/Xj) = E(i /Xi) (j /Xj) = 0Obs.:Lo que este supuesto nos indica, es que entre dos o ms perturbaciones (observaciones de la variable aleatoria) no de debe existir ninguna relacin.

Los errores no se encuentran autocorrelacionados (Durbin Watson D-W).

No existe Autocorrelacin Ho: No existe Autocorrelacin entre los residuosH1: Si existe Autocorrelacin entre los residuosVerificacin supuesto 5

ModeloRR2R2 adj.Error tp. De la estimacinDurbin-Watson1,80177,64284,622991,55051,6861

Supuesto 6:

La covarianza entre i y xi es ceroEste supuesto establece que la perturbacin i y la variable explicativa xi no estn correlacionadas.

Supuesto 7:

No hay Multicolinealidad PerfectaNo hay relaciones perfectamente lineales entre las variables explicativas.Para poder analizar la relacin existente entre la variable dependiente y las variables explicativas, el investigador debe tener seguridad de que las variables explicativas son totalmente independientes una de las otras, para poder tener certeza plena del significado de cada uno de los coeficientes pendientes.Cov(Xi/Xj) = 0, donde ij

Supuesto 8:

Grados de libertad suficientesNmero de observaciones n debe ser mayor que el nmero de parmetros por estimar.

Es decir: T k > 0

Alternativamente, el nmero de observaciones n debe ser mayor al nmero de variables explicativas.

Supuesto 9:

Variabilidad de los valores de xNo todos los valores de X en una muestra dad deben ser iguales.

Tcnicamente, var(X) debe ser un nmero positivo finito.

Ecuacin Estimada

*Pero cmo obtener los valores de los parmetros i en una Regresin Lineal Simple:Clculo de 0 y 1

Mtodo de Mnimos Cuadrados Ordinarios.

Mtodo de Momentos.

Mxima Verosimilitud


*


*

i = Yi E(Y/Xi):

es no observable. es una variable aleatoria a la que se le supone cierta distribucin de probabilidades.e:

es observable (se dispone de valores). satisface ciertas propiedades que veremos mas adelante.Diferencias entre i y ei:


*i) Elementos impredecibles y aleatorios en las respuestas humanas.

Por ejemplo Consumo =f(ingreso), pero las personas no siempre responden de igual forma para iguales valores del ingreso.

ii) Variables Omitidas.

En el trmino de error se resume la incapacidad de identificar la influencia de ciertas variables o en otros casos imposibilidad de representarlas en valores (por ser de difcil cuantificacin).

iii) Errores de medida en la variable dependiente.

Cuidado: estos errores de medida tienen ciertos problemas que estudiaremos ms adelante.Fuentes de error i


*y = Variable dependienteX = Variable IndependienteB0 = Interseccin en el eje YB1 = Pendienten = N de datosMatemticamente, se tiene:


Como el modelo de regresin es un modelo estadstico, es posible determinar su grado de presicin y confiabilidad de los resultados de la regresin. Para esto es utilizado el coeficiente de determinacin (r2), que indica que tan correcto es el estimado de la ecuacin de regresin*Mientras ms alto sea r2, ms confianza podr tenerse en el estimado de la lnea de regresin. De forma ms concreta, representa la proporcin de la variacin total en Y, que se explica por la ecuacin de regresin, pudiendo asumir un valor entre 0 y 1.


Con los antecedentes disponibles es posible calcular el error estndar de una estimacin, para determinar la desviacin estndar de la variable independiente y para un valor especfico de la variable independiente X.*El error estndar de la variable estimada y, designado como Se, se define como la desviacin estndar de la regresin, y se calcula por medio de la siguiente ecuacin:Entonces, si suponemos que los trminos del error estn normalmente distribuidos en torno a la lnea de regresin, la mayor precisin se asocia con los errores estndares ms pequeos de la estimacin.


*Ecuacin Estimada: Sumatorias (segn Excel)n = 20= 1,29= 4,925

AccinY: Rend. (%)X: Riesgo X2Y2XY15,41,52,2529,168,1028,91,93,6179,2116,9132,311,005,292,3041,50,50,252,250,7553,71,52,2513,695,5568,21,83,2467,2414,76..176,51,62,5642,2510,40187,11,11,2150,417,81197,81,41,9660,8410,92205,91,83,2434,8110,62Suma ():98,525,840,16606,27150,21


*Ecuacin Estimada: ANOVA (segn Excel)

G. L.Suma de cuadradosProm. CuadradosFValor crtico de FRegresin177,8847084977,8847084932,397372672,13115E-05Residuos1843,272791512,404043973Total19121,1575CoeficientesError tpicoEstadstico tProbabilidadIntercepcin0,5840505960,8377645360,697153640,494613205Variable X 13,3650770570,5912077495,6918689962,13115E-05


Anlisis de Varianza: ANOVASe rechaza Ho, si:

F0 > F(, 1, n-2)

Grfica Distribucin F de Ficher77,88470852,404043972= 32,3973727Zona deAceptacin de Ho

Coeficiente de determinacinPorcentaje de la variabilidad de Y que es explicada por la ecuacin de regresin ajustada.Coeficiente de no determinacinPorcentaje de la variabilidad de Y que es no es explicada por el modeloQu tan bueno es el modelo estimado?

Prueba de Hiptesis: Pendiente 1

Intervalos de Confianza para los Valores predichos

Intervalos de Confianza para nuestro ejemplo de anlisis

Datosn =20Xo =1,5Xprom =1,29Yo =5,631666159Se =1,5505Sxx=40,16(25,82 / 20)= 6,878t(/2,n-2)=2,1009

*Intervalos de Confianza para nuestro ejemplo de anlisisSi x = x0 =1,5:Lmite Superior= 5,631666159 + 3,3480640886088 = 8,97973025

Lmite Inferior = 5,631666159 - 3,3480640886088 = 2,28360207


*Es una herramienta estadstica que podemos usar para describir el grado de relacin lineal entre las variables.Tiene el mismo signo que 1Existe un una fuerte correlacin lineal directa entre la rentabilidad y el nivel de riesgoAnlisis de Correlacin


a)Asociacin lineal inversa b) Asociacin lineal directa c) No hay asociacin lineald) No hay asociacin lineal Grficas de Correlaciones


*El valor absoluto de r indica la fuerza de la relacin entre Y y X.El signo da la direccin de la relacin (directa o inversamente proporcional)r = 1 correlacin positiva perfecta.r = -1 correlacin negativa perfecta. r = 0 no hay relacin lineal entre Y y X.Interpretacin


Con un nivel de significancia del 5% se puede afirmar que la rentabilidad est correlacionada con el nivel de riesgo de la accin.Se Rechaza Ho2,11-2,115,6925,692

REGRESIN LINEAL MLTIPLE


*Regresin Mltiple(Caso General)Mtodo multivariante que analiza la relacin entre una nica variable dependiente (criterio) y varias variables independientes (predictores). El objetivo es predecir cambios en la variable dependiente en respuesta a cambios en varias de las variables independientes


*Explicacin objetiva del grado y carcter de la relacin entre las variables independientes y la variable dependiente. Concretamente:

Objetivos de la Regresin Mltiple


*Como se dijo anteriormente, los supuestos son los mismos que en el caso del modelo de regresin lineal simple. Pero con una presentacin de la forma matricial.

(ver Anexo 2).Supuestos del Modelo


*

Supuestos del modeloNotacin EscalarNotacin MatricialE (ei)=0 (para cada i)E (e)=0 donde e y 0 son vectores columna nx1 siendo 0 un vector nuloVar(ei)= s2 (cte.) Homocedasticidad de los erroresE (ee)= s2 I donde I es una matriz identidad n x nx1; x2; x3;;xn son fijas no estocsticasLa matriz X, n x k, es no estocsticaNo hay relacin lineal exacta entre las variables X, es decir no hay multicolienalidadEl rango de X es k, donde k es el nmero de columnas en X y k es menor que el N de observaciones


*

Supuestos del modeloNotacin EscalarNotacin MatricialErrores se distribuyen normales con media 0 y varianza s2 El vector E tiene una distribucin normal multivariada, es decir E~N(0; s2 I)Modelo lineal en los parmetros


ANEXO 1

FRP y FRM


*Funcin de Regresin Poblacional y MuestralDado que el objetivo del anlisis de regresin es estimar o predecir el valor medio o promedio (poblacional) de la variable dependiente basndose en los valores fijos o conocidos de las variables explicativas, distinguiremos algunos conceptos.1. Funcin de Regresin Poblacional (FRP):

Es la recta que surge de unir las esperanzas condicionales de la variable dependiente para los valores fijos de la variable explicativa.

Dado que para cada Xi, existe una poblacin de valores de Y, se puede calcular la esperanza condicional de los valores de Y, condicional a cada Xi. A la unin de las esperanzas condicionales se le denomina FRP.


*Del grfico podemos concluir que E(Y/Xi) es una funcin de Xi, y esa ser una funcin lineal de Xi. Recordar: la linealidad puede ser en las variables y en los parmetros.

Lo que nos interesa es que la relacin sea lineal en los parmetros.

Ejemplo:Sin perjuicio de lo anterior, es posible LINEALIZAR la funciones.E(Y/Xi) = b1 + b2 Xi2Es lineal en parmetros, no en las variablesE(Y/Xi) = b1 + b2 Xi2No es lineal ni en los parmetros, ni en las variables


*Modelos Linealizables:E (Y/Xi)= 1 Xi 2 ln E(Y/Xi)= ln 1 + 2XiModelos No Linealizables:E (Y/Xi)= 1 + 2 e 2Xi


*2. Funcin de Regresin Muestral (FRM):

Hasta ahora nos hemos referido a los valores poblacionales de Y correspondientes a los valores fijos de X. Al hacer econometra nuestro inters es estimar 1 y 2, pero el primer obstculo que enfrentamos es que no conocemos la poblacin, sino una muestra de ella.


*As como tenemos esta muestra, podramos tener otra.Dado que no conocemos la poblacin sino muestras, la estimacin de la E(Y/Xi) depender de la muestra elegida. Cul es la verdadera? No lo sabemos.Nuestro objetivo es conocer E(Y/Xi) => lo sabemos si tenemos 1 + 2 Xi , pero no conocemos 1 y 2 (parmetros poblacionales o tericos), por lo que debemos estimarlos:

Yi = 1 + 2 Xi + i , ser la recta estimada

Yi = + ei

Yi = + ei , donde:


*Primero se estima:

Donde los i son los valores resultantes (estimaciones) a partir de estimadores (frmulas o algoritmos).


ANEXO 2

MODELO LINEAL GENERALSIMPLE Y MLTIPLE

(Presentacin Matricial)


*Matricialmente, la Regresin Lineal Simple puede escribirse como.Como resultado se tiene que el modelo lineal simple puede expresarse en la notacin de matrices:


*Y = Xb + eTal como se vio anteriormente, se mantiene que:Donde s2 es la varianza del error, comn a todos ellos, e I es la matriz de identidad correspondiente.


*Dado quey


*Entonces


*Modelo Lineal General en forma MatricialVariable dependienta Y: La informacin asociada a la variable endgena se almacena en un vector (matriz) columna Y de tamao Tx1.

Variables Independientes X: La informacin (datos) asociada a las variables explicativas se recoge en una matriz X de tamao Txk.

Parmetros y Perturbaciones: Las perturbaciones en un vector u de tamao Tx1 y los parmetros en un vector b de tamao (kx1).


*Modelo Lineal en forma MatricialOrdenando los valores de Y, X y u como sigue:Nota: El 1 subndice de X indica el nmero de la observacin, el 2 identifica la variable.Es importante que T>KPodemos escribir el modelo en forma matricial como:Y = Xb + u


*En trminos generalesY = X + UObservaciones Variable EndgenaT x 1Observaciones Variable ExplicativaT x kParmetrosK x 1PerturbacionesT x 1Observaciones en perodo t=1 de todas las variablesObservaciones Variable x1+=*


* es un vector de K parmetros desconocidos, X es una matriz de valores conocidos de variables explicativas, es un vector, tal que (X,), de variables aleatorias independientes.

La estimacin de los parmetros del modelo lineal, por MCO es:Matricialmente el modelo lineal es:b es un vector aleatorio puesto que, como se ve, es una funcin lineal de Y, que es una v.a. Los Parmetros de Posicin:Mtodo de Mnimos Cuadrados Ordinarios (MCO)


*Estimadores MCO en Excel:Tomando el mismo ejemplo anterior

y dado que

estimando (X`X):Ventas y publicidad en millones de pesosObtencin del resultado en formato de Matriz:1.- Aplicar frmula (Mmulti(rango))2.- Seleccionar rango (extensin) matricial3.- Presionar F2, luego presionar Ctrl + Shif + Enter


Hoja1

AoVentasPublicidad

199010020

199112022

199211521

199314028

199413025

199513227

*Luego es posible determinar la matriz inversa de (X`X), esto es:Matriz Inversa = (X`X)-1Entonces los parmetros son:


*Ejercicio: Ventas de una empresa de radios.

Ventas t = B1 + B2 * Gastos en Publicidad + B3 * Precio t + utt=1,2,,10Datos:


Hoja1

Obs.VentasPublicidadPrecio

11208100

21159102

31301095

41421490

51481292

61441694

71652088

81602286

91752690

101802486

Hoja1

12018100

11519102

13011095

14211490

148112921

Ventas =144X =11694=2

165120883

16012286

17512690

18012486

ANEXO 3

REGRESIN LINEAL: SIMPLE Y MLTIPLE(Decisiones)


Problema de investigacin Seleccionar objetivo (s) - Prediccin- Explicacin Seleccionar variables dep. e indep.Primer pasoDiseo de la investigacin Seleccin del tamao muestral Creacin de variables adicionales

Segundo pasoTercer pasoNoSiDiagrama de Decisin de la Regresin Mltiple


Cuarto pasoEstimacin del modelo de regresin especifica el investigador el modelo o se utiliza algn procedimiento de seleccin de las var. indep.? Especificacin del investigador Procedimiento de seleccinSiMtodo de estimacin secuencial Estimacin progresiva/regresiva Estimacin por etapasMtodo de combinacin Examinar todas las combinaciones posibles para identificar la que mejor se ajustaNoA segundo paso: Creacin de variables adicionalesExaminar significacin estadstica del modelo Coeficiente de determinacin (R2) Coeficiente de determinacin ajustado Significacin de los coeficientes de regresinDiagrama de Decisin de la Regresin Mltiple


Sexto pasoInterpretacin del valor terico de la regresin Evaluar importancia relativa de las variables independientes con los coeficientes beta Valoracin de la multicolinealidadQuinto pasoDiagrama de Decisin de la Regresin Mltiple


***************************

Módulo 2_Análisis de Regresión

Documents

Transcript of Módulo 2_Análisis de Regresión