Dans une promotion de \( 52\) étudiants, on dispose, pour chaque étudiant, de sa moyenne en mathématique et de sa moyenne en informatique. On représente ces données dans un graphique, où les notes de maths sont placées en abscisse et les notes d'informatique en ordonnée. Chaque point représente donc un étudiant. Une observation rapide, permet d'observer qu'il y a un alignement. L'observation de cet alignement nous motive à penser que la note d'informatique d'un étudiant, notée \( y\) , est une fonction affine de la note de mathématique, notée \( x\) . La formulation mathématique est donc \[y=ax+b\] On observe aussi que, bien que les données soient alignées elles ne le sont pas parfaitement, en vérité \( y=ax+b+erreur\) . L'objectif de la régression linéaire est d'essayer de trouver \( a\) et \( b\) tel que l'erreur soit la plus petite possible. Il y a enfin un dernier paramètre à prendre en compte : il n'y a pas qu'une information, mais \( 52\) , c'est à dire qu'en fait \( y_i=ax_i+b+erreur_i\) où l'ajout de l'indice \( i\) permet d'identifier l'étudiant \( i\) . Finalement, nous cherchons \( a\) et \( b\) tel que les \( erreur_i\) soient les plus petit possible. L'idée¹ est de faire en sorte que \( \dpl{\sum_i} erreur_i^2\) soient les plus petit possible. De la formule \( y_i=ax_i+b+erreur_i\) on obtient \( erreur_i=y_i-(ax_i+b)\) et on cherche donc le minimum de \[f(a, b)=\sum_i\left(y_i-(ax_i+b)\right)^2\] Déterminons les points critiques éventuels de cette fonction. \[ \dfrac{\partial f}{\partial a} (a, b) = \sum_i-2x_i\left(y_i-(ax_i+b)\right) \] \[ \dfrac{\partial f}{\partial b} (a, b) = \sum_i-2\left(y_i-(ax_i+b)\right) \] Trouver un point critique reviens donc à résoudre le système \[ \left\{ \begin{array}{rcl} \dfrac{\partial f}{\partial a} (a, b)&=&0\\ \dfrac{\partial f}{\partial b} (a, b)&=&0 \end{array} \right. \quad\Longrightarrow\quad \left\{ \begin{array}{rcl} \dpl{\sum_i}-2x_i\left(y_i-(ax_i+b)\right)&=&0\\ \dpl{\sum_i}-2\left(y_i-(ax_i+b)\right)&=&0 \end{array} \right. \] Faisons un peut de math, rappelons quelques notation de la statistique : \( \overline{x}=\dfrac{1}{52}\dpl{\sum_i}x_i\) (la moyenne), \( \overline{xy}=\dfrac{1}{52}\dpl{\sum_i}x_iy_i\) , \( \overline{x^2}=\overline{xx} = \dfrac{1}{52}\dpl{\sum_i}x_i^2\) , \( cov(x, y) = \overline{xy}-\overline{x}\cdot\overline{y}=\dfrac{1}{52}\dpl{\sum_i}(x_iy_i-\overline{x}\cdot\overline{y})\) (la covariance), \( \sigma_x^2=cov(x, x)\) (la variance, la racine carré, \( \sigma_x\) est appelé l'écrat-type). \begin{eqnarray*} \left\{ \begin{array}{rcl} \dpl{\sum_i}-2x_i\left(y_i-(ax_i+b)\right)&=&0\\ \dpl{\sum_i}-2\left(y_i-(ax_i+b)\right)&=&0 \end{array} \right. &\Rightarrow & \left\{ \begin{array}{rcl} \dpl{\sum_i}x_i\left(y_i-(ax_i+b)\right)&=&0\\ \dpl{\sum_i}\left(y_i-(ax_i+b)\right)&=&0 \end{array} \right. \\ &\Rightarrow & \left\{ \begin{array}{rcl} \dpl{\sum_i}x_iy_i-ax_i^2-bx_i&=&0\\ \dpl{\sum_i}y_i-ax_i-b&=&0 \end{array} \right. \\ &\Rightarrow & \left\{ \begin{array}{rcl} \dfrac{1}{52}\dpl{\sum_i}x_iy_i-ax_i^2-bx_i&=&0\\ \dfrac{1}{52}\dpl{\sum_i}y_i-ax_i-b&=&0 \end{array} \right. \\ &\Rightarrow & \left\{ \begin{array}{rcl} \dfrac{1}{52}\dpl{\sum_i}x_iy_i-a\dfrac{1}{52}\dpl{\sum_i}x_i^2-b\dfrac{1}{52}\dpl{\sum_i}x_i&=&0\\ \dfrac{1}{52}\dpl{\sum_i}y_i-a\dfrac{1}{52}\dpl{\sum_i}x_i-b\dfrac{1}{52}\dpl{\sum_i} 1&=&0 \end{array} \right. \\ &\Rightarrow & \left\{ \begin{array}{rcl} \overline{xy}-a\overline{x^2}-b\overline{x}&=&0\\ \overline{y}-a\overline{x}-b&=&0 \end{array} \right. \\ &\Rightarrow & \left\{ \begin{array}{rcl} a\overline{x^2}+b\overline{x}&=&\overline{xy}\\ a\overline{x}+b&=&\overline{y} \end{array} \right. \\ &\Rightarrow & \left\{ \begin{array}{rcl} a\overline{x^2}+b\overline{x}&=&\overline{xy}\\ a\overline{x}^2+b\overline{x}&=&\overline{y}\cdot \overline{x} \end{array} \right. \end{eqnarray*} En faisant la soustraction des deux lignes, on trouve \( a(\overline{x^2}-\overline{x}^2)=\overline{xy}-\overline{y}\cdot \overline{x}\) , soit avec les outils et notation de la statistique \( a\sigma_x^2=cov(x, y)\) et donc \( a=\dfrac{cov(x, y)}{\sigma_x^2}\) , la seconde équation donne \( b=\overline{y}-a\overline{x}\) . Bref, nous avons trouver un unique point critique. Puisqu'il s'agit d'une somme de carré, c'est nécessairement un minimum. Ce \( a\) et ce \( b\) donne donc la meilleure droite. On peut se convaincre qu'il s'agit d'un minimum en calculant la hessienne. \begin{eqnarray*} \dfrac{\partial^2 f}{\partial a^2}(a, b) &=& \dfrac{\partial }{\partial a}\left(\dpl{\sum_i}-2x_i\left(y_i-(ax_i+b)\right)\right)\\ &=& \dfrac{\partial }{\partial a}\left(\dpl{\sum_i}-2x_iy_i+2ax_i^2+2bx_i\right)\\ &=& \dpl{\sum_i}2x_i^2\\ &=& 2\times 52\overline{x^2} \end{eqnarray*} \begin{eqnarray*} \dfrac{\partial^2 f}{\partial b^2}(a, b) &=& \dfrac{\partial f}{\partial b}\left(\dpl{\sum_i}-2\left(y_i-(ax_i+b)\right)\right)\\ &=& \dfrac{\partial f}{\partial b}\left(\dpl{\sum_i}-2y_i+2ax_i+2b\right)\\ &=& \dpl{\sum_i} 2\\ &=& 2\times 52 \end{eqnarray*} \begin{eqnarray*} \dfrac{\partial^2 f}{\partial a\partial b}(a, b) &=& \dfrac{\partial f}{\partial a}\left(\dpl{\sum_i}-2\left(y_i-(ax_i+b)\right)\right)\\ &=& \dfrac{\partial f}{\partial a}\left(\dpl{\sum_i}-2y_i+2ax_i+2b\right)\\ &=& \dpl{\sum_i}2x_i\\ &=&2\times 52\overline{x} \end{eqnarray*} Ainsi la hessienne est \( H= \begin{pmatrix} 104\overline{x^2} & 104\overline{x}\\ 104\overline{x} & 104 \end{pmatrix} \) . En particulier \( \det(H)=(104\overline{x^2})(104)-(104\overline{x})^2 = 104^2\left(\overline{x^2}-\overline{x}\right)=104^2\sigma_x^2\) . Ce déterminant est donc positif. On a de plus \( tr(H)=104\overline{x^2} + 104{>}0\) et nous avons bien un minimum.

---

¹de Legendre et Gauss