Cours régression linéaire

Sélection des variables

Variables explicatives doivent être pertinentes.
Risque de multicolinéarité si les variables explicatives sont fortement corrélées entre elles.

Exemple 3 – Maisons
Un agent immobilier veut essayer de prédire le prix de vente d’une maison.
Variables explicatives potentielles :
–Surface habitable,
–Nombre de chambres,
–Superficie du terrain.
Données historiques sur 100 maisons vendues.

Sélection de variables
Variables explicatives pertinentes :
–Tests individuels sur les paramètres b.
–Attention à la multicolinéarité.
Principe de parcimonie :
–Réduire le nombre de variables explicatives le plus possible (interprétation du modèle).
Méthodes de sélection.

Méthodes de sélection
« Backward elimination»
–Éliminer progressivement les variables explicatives dont les coefficients sont non significativement différents de 0.
« Forward selection»
–Introduire progressivement les variables explicatives les plus corrélées (corrélation partielle significative) avec y.
« Stepwise selection»
–Méthode « pas à pas » : combine « forward » et « backward ».
Exemple : La Quinta