Dans le cadre de notre recherche social impact business model, Benoit Mounier nous propose une analyse de l’évaluation de l’impact social, à travers une synthèse d’une étude menée par l’Avise sur le sujet.
Les entreprises sociales, lorsqu’elles ne s’appuient pas sur le marché, développent bien souvent leurs ressources financières sur la promesse de leur utilité sociale. Il s’agit d’un critère déterminant notamment pour les acteurs de la philanthropie, les investisseurs à impact, la puissance publique et également le grand public. Les entreprises sociales ont donc un enjeu à démontrer cette utilité sociale notamment en mesurant leur impact social. La logique d’accès aux ressources n’influencerait-elle pas la manière d’évaluer ?
L’accès aux ressources financières comme un des principaux leviers pour évaluer l’impact social.
En mars 2017, l’Avise publiait les résultats d’une étude, « l’expérience de l’évaluation d’impact social », confiée à l’Agence Phare. L’objectif de celle-ci était de décrypter les perceptions, les leviers, les enjeux, les freins et les motivations à l’évaluation d’impact social des structures d’utilité sociale. Des dirigeants d’une vingtaine de structures ont ainsi été interrogés dans le cadre d’entretiens semi-directifs. Ces structures étaient de tailles, de forme juridique et de secteurs d’activité différents. Elles avaient pour point commun d’employer des salariés. La moitié d’entre-elles communiquait sur les démarches d’évaluation qu’elles mettaient en œuvre.
Une influence, à confirmer, du modèle économique sur le degré de formalisation des démarches d’évaluation
L’étude suggère qu’opposer les acteurs qui réalisent des évaluations de leur impact et celles qui n’en réalisent pas est une simplification réductrice. Toutes les entreprises de l’ESS enquêtées ont une appréhension de leur impact. Pour autant, cette appréciation ne s’inscrit pas nécessairement dans une démarche formalisée et s’appuie sur des outils divers, plus ou moins fiables. L’étude propose un continuum de pratiques décliné en quatre niveaux de formalisation de l’évaluation d’impact social : la validation de l’impact au ressenti, le « bricolage », la revendication d’une mesure appuyée sur des outils, la revendication de scientificité.
Source : Avise, Agence Phare, (2017) Etude « L’expérience de l’évaluation d’impact social »
Il a été constaté que les structures enquêtées appréhendant l’impact « au ressenti » semblaient s’appuyer principalement sur un modèle économique marchand et dépendaient peu de financements publics ou issus de la philanthropie. Elles n’ont pas d’incitation extérieure à démontrer leur impact. Elles tendent à voir dans leur équilibre budgétaire la preuve de leur efficacité et ressentent peu l’enjeu de convaincre des financeurs. Ces structures ont une perception revendiquée de leur impact par l’observation non formalisée ou par des indicateurs très simples (indicateurs « d’activité » et/ou « de réalisation »). Le poids de l’expérience de terrain et la proximité avec les bénéficiaires sont valorisés pour évaluer l’impact social.
« L’impact on sait qu’on l’a, à la limite peu importe si on arrive à le mesurer ou pas. (…) On est tous sur le terrain en fait. (…) Donc concrètement l’impact on le voit. » (Entreprise SAS, Insertion par l’emploi de personnes handicapées et réemploi des déchets, entre 50 et 99 salariés)
D’autres structures s’inscrivent dans des pratiques dites « bricolage », peu formalisées et construites de manière inductive, en interne, au fil de la construction du projet. Ces structures ont des incitations extérieures, par leurs financeurs, à fournir des données sur les résultats de leur action.
Les pratiques peuvent alors concerner l’ensemble de la démarche mise en œuvre, depuis la construction d’indicateurs jusqu’aux outils de récolte de données et leur analyse. Il s’agit par exemple de grilles d’autoévaluation proposées aux bénéficiaires. Les structures concernées sont récentes, en phase de création ou de consolidation. Elles n’ont pas à disposition de ressources humaines et financières suffisantes pour approfondir leurs démarches.
Les pratiques de « bricolage » peuvent ne concerner que la collecte de données. Dans ce cas, les structures se trouvent dans une logique de reporting, contraint par leurs financeurs. Elles doivent se conformer à des indicateurs standardisés, généralement des indicateurs de résultats, par exemple le nombre et les caractéristiques des personnes touchées par leurs actions. Les dirigeants de ces structures se retrouvent parfois démunis pour récolter ces informations. Ils peuvent développer des outillages pour répondre à la demande, notamment des pouvoirs publics qui les financent. Les structures de l’insertion par l’activité économique enquêtées se retrouvent dans ce cas de figure.
Les structures revendiquant des mesures appuyées sur des outils formalisés, associent plus volontairement les parties prenantes. Elles peuvent faire appel à des professionnels dans la construction d’outils. Elles cherchent à mieux analyser leur impact en interne et à communiquer auprès des financeurs.
Les structures enquêtées mettant en œuvre ce type de démarche sont de taille relativement importante (budget et nombre de salariés). Des faisceaux d’indices permettent d’émettre l’hypothèse que ces structures ont un modèle économique dépendant majoritairement de l’économie de la redistribution (subventions publiques, philanthropie).
Concrètement, il peut s’agir de la construction de questionnaires ou de tableaux de bords élaborés. Ces démarches cherchent à mettre en place des analyses relativement ambitieuses. Elles se différentient de pratiques « bricolées » notamment par le fait que les approches et outils élaborés sont issus de réflexions analytiques menées en amont. Elles s’inscrivent dans un temps long. Elles associent les parties prenantes internes (salariés et/ou bénévoles).
Enfin, les structures d’utilité sociale interrogées mettant en place des pratiques perçues comme scientifiques s’appuient systématiquement sur des acteurs extérieurs, généralement des chercheurs en sciences économiques et sociales. Elles sont cependant peu impliquées dans la mise en œuvre du dispositif d’évaluation ainsi que dans l’analyse des données collectées. Si elles appliquent des méthodes formalisées, elles peuvent disposer de leurs propres indicateurs. Ces structures sont plus matures, avec un modèle économique consolidé, qui semble dépendre principalement de l’économie de la redistribution. A la différence des structures mettant en place des démarches appuyées sur des outils formalisés, elles s’inscrivent dans un processus de changement d’échelle de type « scale up » (augmentation du nombre de bénéficiaires ou de territoires touchés).
L’objet de cette enquête n’était pas précisément d’établir un lien entre le modèle économique des structures et leur mode d’évaluation. Aussi, nous suggérons de retenir plutôt l’influence du modèle économique comme une hypothèse qu’il conviendrait de vérifier dans le cadre d’une prochaine étude.
Influence du modèle économique sur la logique d’évaluation
L’étude a permis également de révéler que ce n’est pas tant une motivation particulière mais des leviers qui amènent les structures à évaluer leur impact social. Deux logiques d’évaluation ont été identifiées, actionnées par des leviers différents. L’étude n’établit pas de corrélation explicite entre le niveau de formalisation de la démarche, présenté dans la partie précédente, et ces deux logiques d’évaluation. Il s’agir d’une autre grille de lecture.
Démontrer son impact social (prove) plus que d’évaluer l’impact
Cette logique s’inscrit dans une stratégie de distinction, favorisée par un environnement concurrentiel, une attente de comptes de la part de partenaires ou la nécessité d’obtenir des fonds. L’enjeu est de communiquer à l’externe. On montre alors une image positive de la structure et on occulte les points d’amélioration ou problématiques. L’étude révèle, dans ce cas, une faible appropriation par les structures enquêtées des outils créés et des résultats obtenus. Le choix des indicateurs est restrictif. Leur définition s’inscrit peu ou pas dans le cadre d’un travail collectif.
Evaluer l’impact social pour s’améliorer (improve)
Dans une volonté d’améliorer l’efficience de l’action et de motiver leurs équipes, certains acteurs, plus rares, inscrivent l’évaluation dans une logique de pilotage de l’action. Dans ce cas, ils cherchent à comprendre à la fois les effets positifs et négatifs de leurs actions et pratiques. Ils ont recours à des méthodes mixtes, intégrant à la fois du qualitatif (pour pondérer) et du quantitatif (pour comprendre). Les financeurs, et plus largement l’environnement externe, sont peu influents dans le choix de s’inscrire dans ce type de logique.
Source : Avise, Agence Phare, (2017) Etude « L’expérience de l’évaluation d’impact social »
Evaluer l’impact social, la question de la légitimité et l’approche de la complexité.
En le simplifiant, il serait possible de décomposer un processus d’évaluation en trois étapes :
- Définir ce qui compte (la promesse). Le référentiel qui servira à évaluer
- Mesurer la valeur (la preuve). La collecte et l’analyse des informations
- Construire un point de vue partagé (l’appréciation). Le jugement et les enseignements à en tirer
Les débats sur la question de l’évaluation d’impact social se cristallisent souvent autour de la méthode de mesure. Qu’elle est LA bonne méthode? La meilleure méthode est sans doute celle qui correspond le mieux aux enjeux et aux capacités propres de la structure. Les premières et dernières étapes semblent être couramment occultées. C’est le cas lorsque la finalité de l’évaluation se limite à une démonstration de l’impact et nous l’avons vu précédemment, influencée par un besoin de développement de ressources financières.
Deux questions probablement plus essentielles que le choix de la méthode se posent : la légitimité et l’approche de la complexité.
La légitimité
Une évaluation n’est jamais véritablement neutre. Elle ne se limite pas à une opération technique. En effet, l’utilité sociale que l’on cherche à apprécier (via la mesure de l’impact social), ainsi que les critères et indicateurs utilisés pour mieux la qualifier, sont des construits sociaux. La définition de l’utilité sociale ne peut pas être stabilisée. Elle est notamment liée au système de valeurs et au contexte (temporel et géographique) relatifs aux personnes et au territoire concernés. Parce que nous ne partageons pas tous le même modèle de société, nous n’avons pas la même conception de ce qui peut être utile ou pas à la société. Qui donc est légitime pour définir l’utilité sociale ou pour porter un jugement ?
Selon Florence Jany-Catrice et Grégory Marlier trois types de légitimité peuvent être à l’œuvre : le monde de l’expertise, le monde de l’individu et le monde de la démocratie participative et délibérative. Le cadre de référence du monde de l’expertise peut s’appuyer sur un travail en « chambre » entre experts et éventuellement politiques pour définir notamment des indicateurs qui feront norme. Pour le monde de l’individu, il s’agira de sondages et agrégations des préférences individuelles. Enfin pour le dernier, le référentiel s’élaborera sur un travail de co-construction par les parties prenantes des priorités pour l’élaboration des biens communs.
L’approche de la complexité
Identifier, attribuer et valoriser des changements sociaux, sociétaux et environnementaux est complexe. L’utilité sociale peut recouvrir de nombreuses dimensions (sociale, politique, environnementale, sociétale, etc.). Pour l’évaluer il est nécessaire de prioriser les informations, de définir un champ d’évaluation limité, pour des questions de limite de temps et de moyens. Les résultats seront donc nécessairement incomplets. Dans le cas de la résolution de certaines problématiques sociales, les preuves de résultat ne sont pas nécessairement tangibles. Pour se matérialiser, il peut être nécessaire de faire référence à un paradigme particulier. C’est le cas notamment lorsque l’on s’intéresse à l’amélioration du bien-être, des conditions de vies ou de l’estime de soi, etc. De fait, les outils et indicateurs utilisés pour le mesurer ne proposeront qu’une interprétation de la réalité. Enfin, le changement social est influencé par de multiples facteurs systémiques. Il est difficile d’établir la démonstration incontestable d’une relation de causalité « pure » entre une action et un effet particulier. L’insertion professionnelle durable de personnes éloignées de l’emploi peut être liée aux effets d’un programme d’insertion par l’activité économique, de formations professionnalisantes, mais également le traitement de problématiques de logement et de santé, d’un cadre familial sécurisant ainsi que d’opportunités économiques sur le territoire. Il s’agit donc d’une simplification de la réalité.
Geoff Mulgan écrivait ceci : « Le principal obstacle est de considérer que la valeur sociale est une chose objective, déterminée et stable. A partir du moment où on aborde la valeur sociale comme étant subjective malléable et variable, on crée de meilleures mesures pour l’évaluer ».
Placer l’évaluation de l’impact social au cœur du dispositif de gouvernance des structures d’utilité sociale.
Il serait pertinent d’expérimenter de nouveaux modèles de gouvernance adaptés aux caractéristiques des entreprises sociales en y intégrant pleinement l’évaluation de l’impact social. Impliquer les parties prenantes, tant internes qu’externes, contribuerait à faire de l’évaluation un outil de construction et d’animation d’une « convention partagée de l’utilité sociale ». Ce type d’approche permettrait à l’ensemble des acteurs intéressés par la création de valeur sociale, de mieux aborder la complexité inhérente à l’appréciation de l’utilité sociale, en assumant pleinement les imperfections, et aurait certainement une plus forte légitimité puisque tenant compte de points de vue différents et d’éléments contextuels. Ce mode de gouvernance ouvert, nécessiterait néanmoins un engagement fort en transparence et la mise en place de nouvelles postures partenariales basées sur une relation de confiance plutôt que de contrôle.
Références bibliographiques
Stievenart, E., Pache, A-C, (2014) « Évaluer l’impact social d’une entreprise sociale : points de repère », Recma, n° 331.
Frémeaux, P. (2013) « L’évaluation de l’apport de l’économie sociale et solidaire »
OCDE (2015) « Synthèse sur la mesure de l’impact social des entreprises sociales »
Comission Européenne (2014), «Proposed approaches to social impact measurement in European Commission legislation and in practice relating to EuSEFs and the EaSI »
Avise, Agence Phare, (2017) « L’expérience de l’évaluation d’impact social »
Avise, Culture et promotion, Duclos, H. (2007) « Evaluer l’utilité sociale de son activité. Conduire une démarche d’auto-évaluation »
Aller plus loin :
Dossier de l’Avise sur l’évaluation de l’impact social :
- Version web : http://www.avise.org/dossiers/impact-social
- Version print : http://www.avise.org/ressources/dossier-impact-social
