4 Inférence statistique
Précédemment, nous avons mis une colonne \(z\) et une colonne d’IC 95 %. Ici, nous expliquons comment ces valeurs ont été obtenues.
4.1 Intervalle de confiance
De façon TRÈS similaire à ce qui a été présenté avant (section 1.2), l’IC au niveau \(100(1-\alpha)\,\%\) pour \(\beta_j\) est donné par : \[ \text{IC}_{100(1-\alpha)\%}(\beta_j) = \left[\widehat\beta_j-z_{1-\alpha/2}\,SE(\widehat\beta_j)\, ; \,\widehat\beta_j+z_{1-\alpha/2}\,SE(\widehat\beta_j)\right] \]
Pour en tirer un IC au niveau \(100(1-\alpha)\,\%\) pour l’OR, il suffit d’exponentier les bornes précédentes : \[ IC_{100(1-\alpha)\%}(OR_j)= \left[ \exp\left(\widehat\beta_j-z_{1-\alpha/2}\,SE(\widehat\beta_j)\right)\, ; \, \exp\left(\widehat\beta_j+z_{1-\alpha/2}\,SE(\widehat\beta_j)\right) \right] \]
4.2 Tests d’hypothèses
4.2.1 Tester un coefficient
Comme en régression linéaire, pour tester un coefficient, on pose : \[ H_0:\beta_j=0 \;\text{ vs. }\; H_1:\beta_j\neq0 \]
Hormis pour \(\beta_0\), cela revient à tester : \[ H_0:OR_j=1 \;\text{ vs. }\; H_1:OR_j\neq1 \] pour un test bilatéral. On peut aussi poser un test unilatéral : \[ H_0:OR_j=1 \;\text{ vs. }\; H_1:OR_j>1 \] ou encore \[ H_0:OR_j=1 \;\text{ vs. }\; H_1:OR_j<1 \] suivant le sens souhaité. Le plus commun est de faire un test Z : \[ Z=\frac{\widehat\beta_j}{SE(\widehat\beta_j)} \underset{H_0}{\overset{approx.}{\sim}} N(0,1) \]
Comme en régression linéaire, on compare la statistique calculée avec la région critique.
- Pour un test bilatéral, si \(|Z| > z_{1-\alpha/2}\), on rejette \(H_0\).
- Pour un test unilatéral à droite, si \(Z > z_{1-\alpha}\), on rejette \(H_0\) ; à gauche, si \(Z < z_{\alpha}\), on rejette \(H_0\).
Il existe aussi le test de Wald, qui correspond à \(Z^2\) et qui suit asymptotiquement une loi du \(\chi^2\) à 1 degré de liberté sous \(H_0\). On rejette \(H_0\) si la statistique calculée est plus grande que la valeur critique de la loi du \(\chi^2\) à 1 degré de liberté, d’environ \(3,84\) pour \(\alpha=0,05\).
Ce test porte le nom d’Abraham Wald, qui a développé en 1943 des méthodes de test d’hypothèses pour de grands échantillons (Wald 1943).
4.2.2 Log-vraisemblance
En régression linéaire simple, on pouvait décomposer la variabilité avec SCT, SCR et SCE. Ici, ce n’est plus possible. À la place, on travaille avec une quantité appelée “vraisemblance” (ou “log-vraisemblance”, “(log-)likelihood” en anglais), qu’on présente brièvement en section 7.2. Les tests suivants reposent sur cette quantité.
Pour rester simple, la (log-)vraisemblance mesure à quel point les données observées sont compatibles avec un modèle donné. C’est avec ça qu’on estime nos paramètres \(\beta_0,\ldots,\beta_p\) dans les modèles de régression !
4.2.3 Tester tous les coefficients du modèle
Pour tester si le modèle apporte globalement de l’information, on compare le modèle complet au modèle sans aucune covariable (donc qui ne contient que l’intercept, un peu comme en régression linéaire). La différence est qu’ici, on utilise un test du rapport de vraisemblance.
On teste : \[ H_0:\beta_1=\cdots=\beta_p=0 \;\text{ vs. }\; H_1:\text{au moins un coefficient est non nul} \]
Notons \[ (\mathcal M_C) \,:\, \operatorname{logit}(p(x_1,\ldots,x_p))=\beta_0+\beta_1x_1+\cdots+\beta_px_p \] et \[ (\mathcal M_R) \,:\, \operatorname{logit}(p(x_1,\ldots,x_p))=\beta_0 \]
La statistique du rapport de vraisemblance est alors : \[ -2 \times (\operatorname{log-likelihood}(\mathcal M_R)-\operatorname{log-likelihood}(\mathcal M_C)) \underset{H_0}{\overset{asympt.}{\sim}} \chi^2_q, \] où \(q\) est le nombre de coefficients testés. On rejette \(H_0\) si la statistique calculée est plus grande que la valeur critique de la loi du \(\chi^2\) à \(q\) degrés de liberté.
En 1938, Samuel Wilks établit, sous des conditions de régularité, la distribution asymptotique en loi du chi carré de la statistique du test du rapport de vraisemblance (Wilks 1938).
Ce test peut aussi être appliqué au modèle de régression linéaire !
4.2.4 Tester un sous-ensemble de coefficients
Pour tester une variable qualitative à plusieurs modalités, ou plus généralement un bloc de variables, on compare deux modèles emboîtés :
- un modèle complet \(\mathcal M_C\), qui contient toutes les variables d’intérêt ;
- un modèle réduit \(\mathcal M_R\) où on a enlevé le bloc de variables à tester.
La statistique est : \[ -2 \times (\operatorname{log-likelihood}(\mathcal M_R)-\operatorname{log-likelihood}(\mathcal M_C)) \underset{H_0}{\overset{asympt.}{\sim}}\chi^2_q, \] où \(q\) est le nombre de coefficients testés.
Au lieu de faire un test de Wald, on peut faire un test du rapport de vraisemblance pour tester un seul coefficient ! Le modèle réduit est alors le modèle complet sans la variable à tester. On aura alors \(q = 1\) degré de liberté, et la statistique du test suit approximativement une loi du \(\chi^2\) à 1 degré de liberté !