Método de los mínimos cuadrados
Al ser un modelo lineal buscamos una recta $y= a x + b$ que modelice el conjunto de datos, de forma que introduciendo un valor de la variable X obtengamos el valor correspondiente de Y.
La realidad es que, salvo casos excepcionales, donde la correlación es lineal, es decir, los puntos están alineados y por tanto ya existe una recta que modeliza las variables, el resto de ocasiones el modelo será:
$$ y_i= a x_i + b + \epsilon_i$$
Donde $\epsilon_i$ será la diferencia entre el valor verdadero de $y_i$ y el valor calculado con el modelo $\hat{y_i}=a x_i + b$, es decir, $\epsilon_i = y_i - \hat{y_i}$.
Se trata, por tanto, de encontrar $a$ y $b$ de forma que esos errores sean lo más pequeños posibles.
Si sumamos todos esos errores:
$$\epsilon_1 + \epsilon_2 + \cdots \epsilon_n = y_1 - \hat{y_1} + y_2 - \hat{y_2} + \cdots + y_n - \hat{y_n}$$
$$\sum_{i=1}^n \epsilon_i=\sum_{i=1}^n y_i-\hat{y}_i $$
Al haber una resta, la diferencia $y_i-\hat{y}_i$ a veces será positiva y a veces será negativa. Para evitar esto, elevamos al cuadrado. Este paso es el que da nombre al método de los mínimos cuadrados.
$$ \sum_{i=1}^n \epsilon_i^2=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2$$
Sustituyendo ahora, $\hat{y}_i$ por su valor $a x_i + b$ tendremos que:
$$ \sum_{i=1}^n \epsilon_i^2=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2=\sum_{i=1}^n\left(y_i-b-a x_i\right)^2 $$
Utilizando matemáticas avanzadas obtenemos que:
$ a = \displaystyle \frac{S_{xy}}{{\sigma_x}^2} $ y $ b = \bar{y} - a \bar{x}$.
Por tanto, la recta que mejor se ajusta a los datos es:
$$ y = \displaystyle \frac{S_{xy}}{{\sigma_x}^2} x + \bar{y} - \displaystyle \frac{S_{xy}}{{\sigma_x}^2} \bar{x}$$
Esta es la denominada recta de regresión de Y sobre X.
De igual forma podemos obtener la recta de regresión de X sobre Y:
$$ x = \displaystyle \frac{S_{xy}}{{\sigma_y}^2} y + \bar{x} - \displaystyle \frac{S_{xy}}{{\sigma_y}^2} \bar{y}$$