7 Pour aller plus loin
7.1 Séparation
Pour estimer un modèle de régression logistique, il est important de disposer d’un nombre suffisant d’événements et de “non-événements”.
Dans le cas contraire, on risque un problème de “séparation”. Une séparation survient lorsqu’une variable ou une combinaison de variables prédit parfaitement l’événement. Si vous avez l’un des signes suivants, il est possible que vous soyez confronté à un tel problème :
- problème de “convergence” ;
- message du type
fitted probabilities numerically 0 or 1 occurred; - coefficients très grands en valeur absolue ;
- erreurs standards très grandes ;
- cellules nulles dans des tableaux croisés.
Une solution peut être de regrouper des modalités rares, si ce regroupement est scientifiquement justifié. Des méthodes pénalisées, comme la régression logistique de Firth, peuvent aussi être utilisées.
David Firth a proposé une méthode générale de réduction du biais en 1993 (Firth 1993). Georg Heinze et Michael Schemper ont montré en 2002 comment elle permet de traiter la séparation en régression logistique (Heinze et Schemper 2002).
7.2 Vraisemblance et estimation par maximum de vraisemblance
Pour l’individu \(i\), conditionnellement à ses covariables \(\mathbf x_i\), on suppose \[ Y_i\mid\mathbf x_i\sim\operatorname{Bernoulli}(p_i), \; \text{ où } \; \operatorname{logit}(p_i)=\mathbf x_i^\top\boldsymbol\beta. \] Comme \(y_i\in\{0,1\}\), la probabilité d’observer sa valeur s’écrit sous une forme unique : \[ \mathbb P(Y_i=y_i\mid\mathbf x_i) =p_i^{y_i}(1-p_i)^{1-y_i} \] Sous l’hypothèse d’indépendance conditionnelle des observations, la vraisemblance est donc le produit des contributions individuelles : \[ L(\boldsymbol\beta) = \prod_{i=1}^n p_i^{y_i}(1-p_i)^{1-y_i} \] En posant \(\eta_i=\mathbf x_i^\top\boldsymbol\beta\), on a \[ p_i=\frac{\exp(\eta_i)}{1+\exp(\eta_i)} \;\text{ et }\; 1-p_i=\frac{1}{1+\exp(\eta_i)}, \] d’où \[ L(\boldsymbol\beta) = \prod_{i=1}^n \frac{\exp(y_i\eta_i)}{1+\exp(\eta_i)} \] Il est plus commode de maximiser la log-vraisemblance : \[ \ell(\boldsymbol\beta) =\log L(\boldsymbol\beta) =\sum_{i=1}^n\left[ y_i\mathbf x_i^\top\boldsymbol\beta -\log\!\left(1+\exp(\mathbf x_i^\top\boldsymbol\beta)\right) \right] \] L’estimateur du maximum de vraisemblance est \[ \widehat{\boldsymbol\beta}_{\mathrm{MV}} =\arg\max_{\boldsymbol\beta}\ell(\boldsymbol\beta) \] Contrairement à la régression linéaire, cette maximisation ne fournit pas de formule explicite, car les probabilités \(p_i\) dépendent elles-mêmes des coefficients. Le logiciel obtient donc le maximum par une méthode numérique itérative : il met successivement à jour les coefficients jusqu’à convergence. Un exemple de telle méthode est l’algorithme de Newton-Raphson.
En pratique, quasiment toutes les estimations pour un modèle de régression obtenues par votre logiciel statistique préféré sont obtenues par un algorithme itératif !