La mesure d’impact permet de qualifier l’action d’une Régie de Quartier

Mesurer pour avoir des arguments en faveur

Une Régie de Quartier a besoin de valoriser son action et d’avoir des arguments en faveur de son existence et du développement de ses projets. Le concept britannique de « Prove and Improve » utilisé par Stievenart et Pache (2014) qui signifie « prouver et améliorer » reflète les objectifs majeurs de la mesure d’impact social. Nous allons donc chercher dans cette partie à avoir des arguments pour convaincre les différentes parties prenantes de l’intérêt de notre action afin qu’elles la soutiennent, c’est le « Prove ». L’idée est donc que ces arguments aillent au-delà du seul accès à l’emploi à l’issue du parcours d’insertion. Pour mesurer les effets de notre action sur la société, nous allons individualiser l’évaluation, en s’intéressant à la progression des personnes et nous allons proposer des indicateurs à cet effet.

Mesurer la contribution de notre action sur la société 

Il s’agit dans un premier temps de réfléchir à l’efficacité de la structure, au-delà des indicateurs de fonctionnement de celle-ci. André (2015) met en évidence la raison d’être d’une entreprise sociale : contrairement à une structure « classique », elle existe pour répondre à des besoins. Ainsi, son impact est exogène et alors qu’il peut paraitre légitime pour la structure de rendre des comptes à ses administrateurs, il est également sensé qu’elle puisse rendre des comptes à la société civile. Nous allons donc chercher à faire reconnaitre notre contribution à la société. Le pilotage devient donc en partie exogène et ne se limite plus à des indicateurs de performance interne. Au-delà de ce nouveau mode de pilotage et de reporting, mesurer son impact social contribue également à « imposer une nouvelle représentation de la valeur sociale » comme le revendique l’étude de la Fonda , du Labo de l’ESS et de l’Avise : « ESS et création de valeur ». En effet, plus l’impact social d’un projet aura de la valeur dans les choix de financements, de visibilité, de partenariat, d’essaimage, plus les acteurs sociaux seront reconnus et plus la valeur sociale permettra d’avancer sur un mode de développement durable. Mesurer la valeur sociale d’une action contribue à rendre visible l’impact qu’elle génère, sur son territoire ou sur la société. On attend donc une idée de richesse qui soit différenciée, ou complémentaire, de la production de richesses monétaires. En 2003, Emerson théorise le concept de « blended value » que Eynaud et Mourey (2015) expliquent ainsi : « une forme d’entreprise n’opposant pas valeur financière et valeur sociale mais revendiquant la création d’une valeur mixte ». Dans l’exemple utilisé par ces auteurs, qui est celui d’une entreprise sociale appelée Quid-Après-l’Ecole , cette valeur mixte, financière et sociale, permet la professionnalisation de l’entreprise. D’une part, dans ses relations avec les parties prenantes, et d’autre part, dans l’appropriation de ses propres chiffres, s’indépendantisant d’un contrôle en s’appuyant au contraire sur un pilotage maitrisé et intégré. Cela permet, selon les auteurs, de « sortir d’une vision réductrice du contrôle administratif ». Cela permet également de co-construire la mesure d’impact avec les parties prenantes voire d’engager « un processus d’apprentissage collectif avec les financeurs publics ». Dans notre cas de l’Insertion par l’Activité Economique, où les financements, les agréments et le dialogue avec l’Etat sont conditionnés par des résultats « à la sortie», une co-construction d’objectifs, de moyens et d’indicateurs entre l’Etat et les structures parait très prometteuse. Cela permettrait aux financeurs comme aux acteurs de s’accorder sur une vision commune de l’insertion et des objectifs à atteindre en termes d’accès à l’emploi mais aussi de situation sociale des personnes, de création d’activités qui répondent à des besoins locaux… et autres nombreux aspects sur lesquels l’IAE a aujourd’hui un impact important et gagneraient à être mesurés. D’autre part, dans notre cas de la Régie de Quartier de Pierrefitte Sur Seine, il est nécessaire d’utiliser la mesure d’impact pour montrer les effets des actions qui ne sont pas directement à rattacher à l’IAE. Ainsi, alors que sur les actions d’insertion par l’emploi, la structure a un partenaire financier important et solide qui est l’Etat, nous avons tout intérêt à travailler à valoriser les autres aspects de notre action qui peuvent convaincre des parties prenantes précises de nous soutenir et collaborer avec nous. Dans le cadre du projet sur lequel j’ai travaillé, un restaurant solidaire d’insertion, qui valorise des produits alimentaires en dates courtes appelé Le Bocal , de nombreux impacts sont valorisables. Nous en avons choisi trois grandes familles : l’impact environnemental, l’impact social et l’impact sur la santé.

Cette première évaluation d’impact est très intéressante pour la structure. Elle ne porte que sur une activité de la Régie de Quartier (le restaurant) et choisit de mettre en avant les effets que l’activité produit sur son environnement et sur les bénéficiaires, en dehors de l’insertion professionnelle.

On voit très vite que ces éléments, aussi succincts soient-ils à l’heure de ce rapport, peuvent « renforcer le pouvoir de négociation » de la structure. L’Etude « ESS et Création de Valeur » explique bien que, une fois consciente de la valeur qu’elle produit, une entreprise sociale ou une association sera plus en mesure de négocier avec les diverses parties prenantes et de « consolider sa place et son rôle ». Dans un contexte de place croissante de l’impact social dans les décisions des financeurs privés, la mesure d’impact devient une arme de négociation pour les structures sociales et un outil de comparaison pour les financeurs. Ainsi, deux grandes familles d’outils de mesure se distinguent selon Mortier (2013) :
– Des outils standards, qui permettent des comparaisons entre différents dispositifs ou actions, tels que le SROI (Social Return On Investment) qui propose de donner une valeur monétaire aux impacts.
– Des outils « maison » adaptés à l’activité, tels que des recueils de témoignages, des impacts extraits de données collectées mais nonexploitées… Les outils dits « standards » sont bien utiles aux financeurs et permettent de facilement comparer différentes actions. Ainsi, la Cour des Comptes, dans son rapport sur l’insertion de 2019 cité précédemment, encourage les SIAE à se saisir du SROI. Cette approche standardisée a de nombreuses limites que nous développerons dans la partie II de ce mémoire. On peut cependant mettre en évidence l’expérience de Anne Charpy, fondatrice de l’association Voisin Malin pour qui l’utilisation de la méthode SROI a réellement permis de qualifier l’impact de l’action « On a pu valider le fait que le management et son coût représentaient l’apport le plus important dans le projet et que l’impact le plus fort était dans un premier temps sur les Voisins Malins eux mêmes». Ici, l’approche SROI, en donnant une valeur monétaire à des impacts sociaux, a permis de légitimer une action et de valider le fait que l’argent investi entrainait un retour sur investissement, d’ordre social. Comme le souligne Quentin Mortier et comme illustré par la mesure d’impact du restaurant le Bocal, proposée plus haut, ces éléments peuvent également être narratifs plutôt que chiffrés.

Individualiser l’évaluation : identifier la progression des personnes 

Comme expliqué plus tôt, de nombreuses raisons peuvent faire qu’une personne ne sort pas vers l’emploi à l’issue des 24 mois de parcours d’insertion. Selon l’approche de Quentin Mortier, nous pouvons chercher à mettre en évidence les éléments sur lesquels la structure (ici la Régie de Quartier de Pierrefitte) peut réellement agir. Il s’agit d’« isoler la part imputable à l’organisation ». En effet, un non-accès à l’emploi ne signifie pas que des « freins » n’ont pas été levés ou qu’une amélioration de la situation des personnes n’est pas observable. Que ce soit à travers l’insertion par l’activité économique ou les cours de français, une grande partie des activités de notre structure consiste à accompagner des personnes sur un temps long. On peut donc s’intéresser aux effets de l’accompagnement sur les situations individuelles des bénéficiaires. Cette individualisation de l’évaluation est préconisée par la Fédération des Acteurs de la Solidarité (FNARS) dans son étude sur la performance des SIAE, publiée en 2012. L’étude soulève un point très intéressant : s’intéresser d’aussi près au parcours des personnes dans l’évaluation d’impact permet de prendre en compte différentes étapes du parcours d’insertion et pas seulement le résultat final comme dans les indicateurs actuels d’accès à l’emploi ou encore le SROI. La question du rapport au temps est ici pertinente : alors que la sortie du parcours est peu stable, voire fragile ou en tout cas pas représentative de l’ensemble de l’accompagnement, les différentes étapes sont, elles, ancrées et acquises, tout au long du parcours. Des exemples de progressions peuvent être le niveau d’intégration, le niveau de compréhension des institutions, l’accès au logement, l’état de santé… Cette forme d’évaluation nécessite une prise en compte de la situation de la personne dès l’entrée dans l’accompagnement. Il ne s’agit pas d’une évaluation ex-post comme les outils vus précédemment mais une forme d’évaluation du début jusqu’à la fin (voire encore après) du parcours, qui implique que la démarche d’évaluation soit une volonté de la structure sur le temps long. Nous allons présenter ici différents indicateurs et outils qui permettent d’évaluer l’amélioration de la situation des bénéficiaires.

Proposition d’indicateurs sur le parcours de la personne

En 2018, Marec et Pachoud mènent une évaluation d’un dispositif d’emploi accompagné : MESSIDOR. Alors que leur évaluation conforte à la fois la pertinence du dispositif et l’importance de l’évaluation elle-même, les deux auteurs mettent en lumière le fait qu’ils se sont limités à des indicateurs de référence directement liés à l’insertion. Ils préconisent donc pour la suite de l’évaluation et pour d’autres démarches similaires, de prendre en compte trois éléments qui ont manqué à leur étude :

– Une analyse d’indicateurs « d’amélioration globale de la situation de la personne » (qualité de vie, satisfaction globale).
– Une analyse d’indicateurs « de performance indirectement liés à l’intégration professionnelle » il s’agit par exemple de l’estime de soi ou la perception des obstacles.
– Une analyse « longitudinale des parcours professionnels » : continuer de recueillir des données au moins deux ans après le départ de la personne.

Le Réseau Cocagne a développé un outil de mesure ad hoc pour les structures d’insertion appelé « Sociogramme ». L’objectif de cet outil et de faire une photographie de la personne, au regard de 12 aspects qui concernent à la fois des savoir-être, des situations sociales et des compétences. Les questions à l’origine de ce diagramme peuvent être nombreuses et variées et doivent amener à une note sur quatre pour chacun des aspects. Cet outil répond aux deux premières préconisations de Marec et Pachoud car il regroupe à la fois des éléments liés à la situation globale de la personne et des éléments indirectement liés à l’emploi. Rempli à l’entrée dans la structure, plusieurs fois au cours de l’accompagnement et à la sortie, ce diagramme très visuel permet d’identifier les progressions (ou régressions possibles) de la personne dans chaque domaine évalué. Alors que cet outil est intéressant, semble facile d’usage et permet d’évaluer l’impact de l’accompagnement au-delà de l’IAE pur, il semble compliqué de suivre la personne au-delà de son accompagnement par la structure via cet outil. En effet, alors que les auteurs de l’étude sur le programme MESSIDOR préconisent une analyse des parcours professionnels dans les années qui suivent la fin de l’accompagnement, on imagine mal pouvoir interroger les personnes sur autant d’aspects lorsqu’elles ne seront plus suivies par la structure. Malgré cet écueil, le Sociogramme permet de valoriser, de manière globale, à la fois la progression des personnes en termes de compétences et de savoir-être transversaux et en termes de freins génériques (à l’emploi ou à l’intégration sociale). Il semble tout à fait pertinent de joindre à ce diagramme des précisions qualitatives, issues d’une analyse narrative de la progression de la personne, afin d’identifier les moments où la structure a joué un rôle clé sur un aspect ou un autre.