3 Inférence statistique
3.1 Intervalle de confiance
La formule est similaire à celle présenté en section 1.3. Pour un coefficient \(\beta_j\), on a : \[ IC_{100(1-\alpha) \%}(\beta_j) = \widehat\beta_j \pm t_{1-\alpha/2\, ; \,n-p-1}\times SE(\widehat\beta_j) \]
Pareillement, pour un test bilatéral au risque \(\alpha = 5\%\), si l’IC 95 % d’un coefficient contient 0, alors le test correspondant n’est pas significatif au seuil de 5 %.
3.2 Tests d’hypothèse
3.2.1 Test t (un coefficient)
C’est le même test que celui présenté à la section 1.4 : on teste si un coefficient est significativement différent de zéro, conditionnellement aux autres covariables du modèle. On pose : \[ H_0:\beta_j=0 \;\text{vs.}\; H_1^{\text{bilatéral}}:\beta_j\neq0 \] avec \(\beta_j\) le coefficient associé à la covariable \(X_j\). La statistique de test est : \[ T=\frac{\widehat\beta_j}{SE(\widehat\beta_j)} \underset{H_0}{\sim} \text{Student}_{n-p-1} \] où \(p\) est le nombre de covariables dans le modèle.
Retenez que le nombre de degrés de liberté = nombre d’observations - nombre de \(\beta\) estimés
On conclut au rejet de \(H_0\) si la statistique de test est dans la région critique, soit si \[ |T| > t_{0{,}975\, ; \,n-p-1} \] pour un test bilatéral au risque \(\alpha=5\%\).
Pour tester un seul coefficient, on peut aussi utiliser le test de Wald, qui est basé sur la statistique \(W=\frac{\widehat\beta_j^2}{SE(\widehat\beta_j)^2} = T^2\) et \(W\sim\chi^2_1\) asymptotiquement sous \(H_0\). Nous voulions au moins vous le mentionner, car il est relativement fréquent.
3.2.2 Test global du modèle (tous les coefficients)
Le test F global évalue : \[ H_0:\beta_1=\cdots=\beta_p=0 \text{ vs. } H_1:\text{au moins un coefficient non nul} \]
Le test global se demande si au moins une covariable est significativement associée à \(Y\). Notez qu’on ne teste pas l’intercept ici !
Pour tester cela, on décompose la variabilité totale (comme fait en section “ANOVA pour trois moyennes ou plus” du chapitre Tests statistiques) : \[ SCT=\sum_{i=1}^n(y_i-\bar y)^2,\quad SCE=\sum_{i=1}^n(\widehat y_i-\bar y)^2,\quad SCR=\sum_{i=1}^n(y_i-\widehat y_i)^2, \] avec \(SCT=SCR + SCE\).
Pour rappel, SCT est la somme des carrés totale, SCE est la somme des carrés expliquée par le modèle, et SCR est la somme des carrés résiduelle.
La statistique de test est : \[ F=\frac{SCE/p}{SCR/(n-p-1)} \underset{H_0}{\sim} F_{p,n-p-1} \] On rejette \(H_0\) si \(F>f_{1-\alpha,p,n-p-1}\) pour un test global au risque \(\alpha\).
En français, on note “SCT”, “SCR” et “SCE”. Si vous venez à lire des articles / cours en anglais, vous rencontrerez d’autres choses. Voici donc les équivalences anglais-français :
- SCT : SST ou TSS
- SCE : SSR ou ESS
- SCR : SSE ou RSS
3.2.3 Test F partiel (un sous-ensemble de coefficients)
Souvent, on souhaite plutôt tester si certaines covariables (uniquement, pas toutes) sont associées à notre variable réponse \(Y\). On peut aussi vouloir tester si une variable avec 3 modalités ou plus apporte de l’information au modèle. Aucun des deux tests vus ne permet de le faire.
Un test F partiel compare deux modèles emboîtés :
- un modèle réduit \(\mathcal M_R\) avec \(p_R\) variables explicatives ;
- un modèle complet \(\mathcal M_C\) comprenant les \(p_R\) covariables du modèle réduit plus un bloc de \(q=p_C-p_R\) variables supplémentaires.
Sans perte de généralité, on peut supposer que ces \(q\) variables supplémentaires sont les dernières du modèle complet. Le modèle complet s’écrit donc : \[ \mathcal M_C \; : \; Y_i = \beta_0 + \beta_1 X_{i1} + \cdots + \beta_{p_R} X_{i,p_R} + \overbrace{\beta_{p_R+1} X_{i,p_R+1} + \cdots + \beta_{p_C} X_{i,p_C}}^{\text{$q=p_C-p_R$ variables testées}} + \varepsilon_i \]
On teste alors : \[ H_0:\beta_{p_R+1}=\cdots=\beta_{p_C}=0 \text{ vs. } H_1:\text{au moins un coefficient non nul} \]
La statistique est : \[ F=\frac{(SCR_R-SCR_C)/q}{SCR_C/(n-p_C-1)} \underset{H_0}{\sim} F_{q,n-p_C-1}, \] où \(q\) est le nombre de coefficients testés et \(p_C\) le nombre de coefficients hors intercept (car on fait déjà “-1”) dans le modèle complet.
Grâce au \(SCE\) et au \(SCT\), on peut calculer la proportion de variance expliquée par le modèle. On appelle cette proportion coefficient de détermination, qu’on note \(R^2\), dont la formule est : \[ R^2 = \frac{SCE}{SCT} = 1 - \frac{SCR}{SCT} \] Dans l’exemple précédent, on a \(R^2 = 6\,981\,830 / 99\,917\,053 \approx 0{,}07\). Ainsi, le modèle explique environ 7 % de la variabilité du poids de naissance.
Pour les deux sections suivantes (section 4 et section 5), on s’intéresse au cas où on étudie une association entre (au moins) une exposition et la variable réponse.