Le cadre général d’analyse, les méthodes d’appariement et les expériences contrôlées

Le cadre général d’analyse, les méthodes d’appariement et les expériences contrôlées

Par évaluation, on comprend souvent évaluer le processus de mise en œuvre d’un pro gramme généralement destiné à une population spécifique. Les analyses s’apparentent alors à un audit : compter le nombre de bénéficiaires effectifs, déterminer le taux d’entrée dans le programme, vérifier que les services prévus ont bien été offerts, qu’ils étaient de bonne qua lité, etc. Ce sont des questions importantes et utiles, mais pas suffisantes.Les programmes ont en effet surtout pour finalité d’atteindre un objectif, par exemple favo riser la réinsertion professionnelle des personnes privées d’emploi et les évaluations de pro cessus ne donnent aucune information sur ce point qui est soit ignoré, soit considéré comme acquis. Il est pourtant crucial de vérifier si les objectifs assignés aux programmes sont atteints et si ces programmes apportent une réelle plusvalue. En outre, il est également utile de déterminer si le programme est rentable ou non à partir d’une analyse coûtbénéfice et d’explorer des pistes d’amélioration. C’est l’objet des évaluations dites « d’impact ».La formalisation de ce que peut être l’impact d’un dispositif, au niveau individuel ou collectif, et la façon dont on peut le mesurer ont été l’objet de recherches importantes (Angrist et Krueger, 2001 ; Heckman et Vytlacil, 2005). L’effet causal de la participation à un dispositif (par exemple la sortie du chômage vers l’emploi) est défini comme la comparaison entre la situation d’un individu bénéficiaire et ce qu’aurait été sa situation s’il n’avait pas participé au programme. On compare donc une situation réelle et observée, celle de l’individu bénéfi ciaire, avec une situation virtuelle et inobservée. L’effet causal a une caractéristique centrale : il est inobservé. On n’observe pour chaque individu qu’une seule des deux situations : avec et sans participation au programme. Il y a nécessairement une des deux informations qui est manquante. Pour mesurer l’impact d’un programme, il est nécessaire de reconstruire cette situation inobservée. L’idée centrale est de s’appuyer sur la situation observée pour des individus n’ayant pas participé au programme. On est alors amené à confronter la situation moyenne observée pour un groupe de participants et la situation moyenne observée pour un groupe de nonparticipants – un groupe de contrôle. La question est alors celle du choix de ce groupe de contrôle.

Prenons l’exemple de l’évaluation des programmes « Opérateurs privés de placement » de l’ASSEDIC et « Cap vers l’entreprise » de l’ANPE, réalisée entre 2007 et 2009. Ces programmes ciblent spécifiquement les demandeurs d’emploi pour qui on a identifié un risque de chô mage de longue durée lors de leur inscription à l’ANPE. L’idée est de les faire bénéficier d’une prise en charge plus intense en les adressant à des conseillers qui ont moins de cas à traiter simultanément : alors que le portefeuille « normal » d’un agent de l’ANPE est de 120 deman deurs d’emploi, il est de 60 demandeurs d’emploi pour les conseillers participant au pro gramme. L’évaluation d’impact peut alors s’intéresser à l’effet de la réduction de la taille du portefeuille par conseiller sur le retour à l’emploi. Une méthode naturelle consiste à choisir les nonbénéficiaires comme groupe de contrôle. Cette méthode est simple mais certaine ment erronée car comme on l’a vu la population éligible est une population spécifique dont le retour à l’emploi est certainement plus difficile en l’absence de programme. De la même façon, choisir comme groupe de contrôle les individus éligibles qui ont choisi de ne pas par ticiper au programme peut conduire à des résultats biaisés : on peut penser par exemple que ces individus refusent de participer au programme car ils ont des raisons de penser qu’ils peuvent retrouver un emploi relativement rapidement même sans participer au programme (par l’intermédiaire de leur réseau par exemple).

Ainsi, les deux populations de participants et de nonparticipants ne sont pas identiques, en l’ab sence même du programme. De ce fait, la comparaison de la situation moyenne des deux popula tions de bénéficiaires et de nonbénéficiaires mêle deux effets indiscernables. Le premier est l’im pact du programme. C’est ce que l’on cherche à mesurer. Le deuxième est «l’effet population» qui résulte des différences préexistantes entre les deux populations. Cet effet vient contaminer la mesure à laquelle on s’intéresse et biaise l’appréciation que l’on a de l’impact de la participation au programme. Il s’agit là d’un problème fondamental de l’évaluation: «le biais de sélection».Il existe un large éventail de méthodes pour corriger les comparaisons que l’on effectue entre bénéficiaires et nonbénéficiaires de ce biais de sélection. Cellesci reposent sur des hypo thèses spécifiques qui ont un impact considérable sur les résultats. Ces méthodes sont en général peu robustes et font appel à de l’économétrie compliquée. Les résultats ont ainsi du mal à peser sur le débat public en raison d’un déficit de crédibilité. Le débat porte alors plus sur les méthodes et hypothèses sousjacentes retenues pour réaliser les estimations que sur leurs résultats. Deux méthodes, la méthode dite de l’appariement et la méthode dite de l’ex périmentation aléatoire permettent de lever cette difficulté.