Regresión Lineal Simple

Mínimos Cuadrados - Regresión Lineal Simple
             (Explicación detallada con un ejemplo)
 
 
Las ecuaciones matemáticas nos dan una relación de causa -consecuencia y por medio de estas representamos los diversos fenómenos en la naturaleza. Tomemos un ejemplo sencillo: si colocamos diferentes pesos de un resorte, éste se va a estirar dependiendo del peso que se le haya colocado, sería útil para nosotros (por ejemplo para construir una balanza), predecir cuanto será la elongación del resorte dependiendo del peso que le coloquemos. Asumamos que no hemos escuchado hablar de la ley de Hooke y que lo que hacemos es tomar una serie de datos de la elongación versus el peso utilizado; la graficamos para "ver" que comportamiento tiene, y tratamos de esbozar una relación matemática de los datos tabulados:

Se tomaron las siguientes mediciones de elongación (x) para diferentes pesos (F) y se obtuvo la siguiente tabla:
 
F Elongación
0 0
5 1.5574538
10 1.2904726
15 3.153936
20 4.2275978
25 4.660399
30 5.2012599
35 6.9964007
40 7.074054
45 9.7068664
50 10.464314
55 11.445716
60 11.800098
65 12.188502
70 14.702421
75 15.898137
80 15.022116
85 17.623212
90 18.985872
95 19.669919
100 19.701222
105 21.121257
 
Hagamos un diagrama de dispersión para ver cual es el comportamiento de los datos:
 

Luego de ver la gráfica, podemos inferir que los datos siguen un comportamiento lineal, entonces nos preguntamos, ¿cuál es la recta que mejor se ajusta a los datos? Para responder a esta cuestión debemos encontrar la ecuación de la recta que esté lo más cercana posible a todos los puntos, y para esto podemos utilizar el método de los mínimos cuadrados.

Podemos decir que la mejor recta es la que tiene el menor error y que este es la suma de las diferencias o distancias que hay entre los valores que arroje la recta que encontramos Y' y el valor medido Y. Entonces la definición de error quedará así:


Error = (|Y' - Y|).
 
 
Sin embargo el tratamiento matemático de esta función de error es un poco complicada, así que mejor lo tomamos de la siguiente manera:


Error =(Y' - Y)2.
 
Como todo cuadrado de un valor real es positivo, esta definición es matemáticamente mucho más manejable y sirve para lo mismo... no nos vamos a complicar, no es cierto?


A PROPÓSITO.... éste método, el de los mínimos cuadrados se llama así, precisamente por la definición de error, que está dada como una sumatoria de cuadrados y lo que nos interesa es el mínimo.


La forma de la ecuación de la recta que buscamos la escribimos:
 
Y' = a + bx
 
donde Y representa la elongación calculada, x la fuerza que vamos a evaluar y a y b son los parámetros de la recta que deseamos hallar. Entonces:

Error = (a + bx - Y )2.
 
Ojo, que la y que acabamos de escribir es la que corresponde con los valores medidos. Como nos podemos dar cuenta, en esta función de error, lo que puede variar es precisamente los valores de a y de b, esto se refleja en el valor que tome la función error en total.
 
 ¿Cómo hallamos los parámetros a y b que minimicen la función? Utilizando el cálculo diferencial. Si derivamos la función y hacemos esta derivada igual a cero, encontramos el punto donde la función es mínima. Debido a que la función tiene dos variables independientes, no podemos tomar la derivada total, sino derivadas parciales con respecto a cada variable (a,b), igualamos cada derivada resultante a cero, y resolvemos el sistema de ecuaciones resultante.
 
 
 
Deducción de las Ecuaciones
 


Regresión Lineal: Yi son las mediciones hechas, a y b son los parámetros de la recta, X, Y son las variables de la recta que se encontrará. El  error, estará en función de los parámetros a y b, por lo tanto en la primera parte de la deducción, como no sabemos cuánto valen estos parámetros y es eso precisamente lo que queremos hallar, entonces se tomaran a y b como variables, para tomar derivadas parciales sobre ellos e igualarlos a cero, para hallar el mínimo de la función. Una vez se ha hallado las derivadas parciales, se supone que hemos hallado los valores de a y b que hacen minima la función, entonces ahora si volverán a ser constantes y se tomarán como variables, los valores de X y Y.
 
Ahora se repite el proceso con el parámetro b.
 
Resolviendo el sistema de ecuaciones:
 
 
O si prefiere de manera más comoda,  se despeja el valor de a así:
 
Esto significa que debemos encontrar la sumatoria de las x, sumatoria de Y, sumatoria de x^2 y sumatoria de x*Y.(Recordemos que aquí X la variable independiente es la fuerza aplicada F y Y es la elongación producida): 
 
Dato (x) F (y) Elongación   (x^2) F^2 (xy) F* Elongación 
1 0 0 0 0
2 5 1.5574538 25 7.7872692
3 10 1.2904726 100 12.904726
4 15 3.153936 225 47.309039
5 20 4.2275978 400 84.551955
6 25 4.660399 625 116.50998
7 30 5.2012599 900 156.0378
8 35 6.9964007 1225 244.87402
9 40 7.074054 1600 282.96216
10 45 9.7068664 2025 436.80899
11 50 10.464314 2500 523.21568
12 55 11.445716 3025 629.51438
13 60 11.800098 3600 708.0059
14 65 12.188502 4225 792.25264
15 70 14.702421 4900 1029.1695
16 75 15.898137 5625 1192.3602
17 80 15.022116 6400 1201.7693
18 85 17.623212 7225 1497.973
19 90 18.985872 8100 1708.7285
20 95 19.669919 9025 1868.6423
21 100 19.701222 10000 1970.1222
22 105 21.121257 11025 2217.732
Suma 1155 232.49123 82775 16729.232
 
   Reemplazando:

b=(22 * 16729.23  -  1155 * 232.49 ) / ( 22 * 82775 - (1155)^2)
b= 99517,11 / 487025 = 0.204333921  
a=(232.49-0.204333911 * 1155 ) / 22
a = -0.15974784
b = 0.204333921

Acabamos de encontrar la recta que predice el comportamiento del resorte, que es:
 
Y = -0.15974784 + 0.204333921 X,
 
donde x es la fuerza o peso aplicado y Y la elongación resultante. Hay que notar que esta ecuación que acabamos de encontrar es como un promedio, de los valores medidos, y que de tales valores existe un punto en el que estamos totalmente seguros que no cometimos absolutamente ningún error de medida y es el que cuando se aplica un peso de 0 obtenemos una elongación de 0, por eso la recta debería haber pasado por el origen, o sea a = 0. El método anterior se puede modificar para tal criterio haciendo Y' = bx .

Sinopsis:

El método de los mínimos cuadrados es una técnica matemática para encontrar la función (según el modelo que planteemos) de mejor ajuste a una serie dada de puntos. Es importante por que con ello, podemos hacer predicciones del comportamiento del fenómeno que estemos estudiando. Sirve tanto para resortes, para las ventas de una compañía, como para describir el consumo de un componente químico dentro de una reacción, o cualquier otra cosa
.
 

Contenido :

Social