Modelo linealEn estadística, el término modelo lineal es usado en diferentes maneras de acuerdo al contexto. La

manera más frecuente es en conexión con modelos de regresión y el término a menudo se toma como

un sinónimo del modelo de regresión lineal. Sin embargo, el término es también usado en análisis

de series de tiempo con un significado diferente. En cada caso, la denominación como "lineal" es usada

para identificar una subclase de modelos para los cuales la reducción en complejidad de la teoría

estadística relacionada es posible.

Modelos de Regresión Lineal

Para el caso de regresión, el modelo estadístico es como sigue: un modelo lineal predice el valor de una

variable a través de otras que llamaremos factores mediante una función lineal de estos.1Estos factores

están determinados por el escenario donde observamos la variable a predecir, a la cual llamaremos

variable endógena. Dada una muestra (aleatoria)   la

relación entre las observaciones Yi y las variables independientes Xij se fórmula como

donde   pueden ser funciones no lineales. En la ecuación anterior, las

cantidades εi son variables aleatorias representando errores en la relación. La parte "lineal" se

refiere a la apariencia de los coeficientes de regresión, βj en esta ecuación. Alternativamente, se

puede decir que los valores ajustados correspondientes al anterior modelo, notados

son funciones lineales de los βj.

Dado que la estimación se toma en la base de un análisis de mínimos cuadrados, las

estimaciones de los parámetros desconocidos βj se determinan al minimizar una función de

suma de cuadrados

Por lo tanto, se puede ver que el aspecto "lineal" del modelo implica lo siguiente:

la función a ser minimizada es una función cuadrática de los βj para lo cual el problema de

minimización es relativamente simple;

las derivadas de la función son funciones lineales de los βj haciendo fácil de encontrar los

valores estimados que la minimizan;

los valores estimados de βj son funciones lineales de las observaciones Yi;

los valores estimados de βj son funciones lineales de los errores aleatorios εi lo cual hace

relativamente fácil determinar sus propiedades estadísticas.

Algunas expresiones del modelo de regresión lineal[editar · editar código]

Modelos polinomiales[editar · editar código]

Los modelos lineales sirven para estimar modelos polinomiales. Por ejemplo, si las potencias de una

variable explican la variable endógena, el modelo sería:

Modelos multinomiales

También podemos recurrir a los modelos lineales para estimar modelos multinomiales. Un ejemplo es el

siguiente:

Estimación del modelo

Para estimar el modelo, tenemos que observar el valor de la variable dependiente y de los factores

en   casos. En este caso, las ecuaciones serán:

Este sistema de ecuaciones admite la siguiente expresión vectorial:

Los símbolos que aparecen en este modelo vectorial representan lo siguiente:

El vector de errores cometido por el modelo viene dado por:

El estimador mínimo cuadrático es aquel que hace mínima la suma de los cuadrados de estos errores.

Esta suma es:

Observemos que no hemos establecido ninguna restricción para el valor de  . Estamos pues ante un

problema de optimización sin restricciones. Los cálculos llevan a las llamadas ecuaciones normales que

tiene que verificar el valor de   que hace mínima la suma de los cuadrados de los errores.

El estimador mínimo-cuadrático para   resulta ser:

El Teorema de Gauss-Márkov nos informa sobre la eficacia de este estimador.

Insesgado

Si los errores -que son variables aleatorias- son insesgados  , el estimador mínimo-

cuadrático también lo es:

Es importante que incluyamos en el modelo todos los factores relevantes: si falta alguno, es posible que

los errores no tengan media cero y el estimador de los coeficientes será sesgado. No obstante,

cualquier buen modelo lineal ayuda a comprender un fenómeno y a hacer buenas estimaciones. Si

incluimos factores de influencia dudosa, también podemos provocar un sesgo en el estimador mínimo-

cuadrático. Desde hace muchos años, existe una teoría de inferencia en modelos lineales que nos

permite decidir -con un pequeño margen de error- si un factor es o no relevante.

Residuos

Los errores cometidos por el modelo cuando se usa el verdadero valor del parámetro

son  . No obstante, nosotros no conocemos el verdadero valor del parámetro  ,

sino sólo su estimación   y esto provoca que no manejemos los verdaderos errores cometidos,

sino su estimación, a la que llamaremos residuos y que vienen dados por:

En nuestros cálculos, tampoco manejaremos la suma de los cuadrados de los errores, sino la suma de

los cuadrados de los residuos:

Se dice que los errores son homocedásticos cuando:

Si el error presenta una varianza distinta en cada caso, hablamos

de heterocedasticidad.

Modelos de series temporales

Un ejemplo de modelo lineal en series temporales es el Modelo autorregresivo de media móvil, en el que

los valores {Xt} de la serie pueden representarse de la forma

donde, de nuevo, las cantidades εt son variables aleatorias que representan las innovaciones o nuevos

efectos aleatorios que aparecen en un instante determinado pero solo afectan a X en lo sucesivo de la

serie. En este contexto, el término modelo lineal se refiere a la estructura de la relación que representa

a Xt como una función lineal de los valores anteriores de la misma serie de tiempo y de innovaciones en

el mismo instante e instantes pasados.2 Este aspecto particular de la estructura indica que hay una

manera simple de encontrar relaciones para la media y las propiedades de covarianza de la series. Note

que la parte "lineal" del término "modelo lineal" no se refiere a los coeficientes φi y θi, como era el caso

en el modelo de regresión, pero se ve estructuralmente similar.

Otros usos en estadística

Hay otras instancias donde los "modelos no lineales" son usados en contraste con un modelo

estructuralmente lineal, aunque el término "modelo lineal" no sea particularmente usado. Un ejemplo de

esto es la "reducción de dimensionalidad no lineal".