Le métier d'évaluateur de politiques publiques

Cahier de la Société Française de l'Évaluation | Compétences, spécificités et référentiel - 2/73 - Numéro coordonné et rédigé par François MOUTERDE et François LECOUTURIER, co-animateurs du groupe de travail SFE « Reconnaissance professionnelle des compétences des évaluateurs » (2020 / 2023) Administrateur fondateur de la SFE (1999), François MOUTERDE a été président de cette dernière (2011-13) et en est aujourd’hui président d’honneur ; cofondateur du cabinet Planète Publique et directeur associé jusqu’en 2024, il en est aujourd’hui président d’honneur. Consultant et gérant du cabinet Itinere-Conseil depuis sa création en 2011 et jusqu’à fin 2024, François LECOUTURIER a été membre du bureau de la SFE entre 2009 et 2016. Il a été co-organisateur des JFE de Montpellier (2015) et formateur en évaluation à l’IEP de Lyon, puis à l’Université d’Avignon. Publié le 25 décembre 2024 Cahier de la Société Française de l'Évaluation N°11 | Le métier d’évaluateur des politiques publiques : Compétences, spécificités et référentiel Ce cahier, publié par la Société Française de l’Évaluation (SFE), résulte d’un travail collectif mené entre 2020 et 2024 sur la professionnalisation du métier d’évaluateur de politiques publiques. Il vise à formaliser un référentiel de compétences adapté au contexte français, tout en s’inspirant d’expériences internationales. Ce travail résulte d’un mandat donné par les instances de la SFE en 2020 et visant à : • clarifier et valoriser les compétences spécifiques à l’évaluation pour renforcer la crédibilité des évaluateurs, • soutenir le développement de la qualité des travaux évaluatifs, attirer de nouveaux professionnels, et clarifier les distinctions entre évaluation, audit et autres activités voisines, • à travers un référentiel de compétences, offrir un outil utile aux praticiens, commanditaires et institutions pour structurer les parcours professionnels, recruter, ou améliorer les pratiques évaluatives. Le groupe de travail a réalisé une analyse comparative de dix référentiels de compétences étrangers, en identifiant des domaines communs (méthodologie, déontologie, gestion, relations, compétences professionnelles et scientifiques) et en distinguant quelques spécificités comme la reconnaissance des compétences culturelles (Canada, Nouvelle-Zélande) ou la gradation par séniorité (ONU). Il a conduit 25 entretiens approfondis avec des praticiens français d’horizons divers, afin de recueillir leurs perceptions sur les compétences nécessaires, l’intérêt d’un référentiel et d’une éventuelle reconnaissance formelle. A partir de ces éléments, le groupe a réalisé un travail de conception du référentiel, structuré en six domaines de compétences regroupés en savoirs, savoir-faire et savoir-être. Ce référentiel a ensuite été soumis à l’expérimentation sur cinq organisations en 2023 afin de bénéficier de premiers retours d’expérience et de vérifier son niveau de pertinence. A deux reprises, ces travaux ont été mis en débat au sein de la communauté évaluative afin d’en tirer des enseignements utiles et des axes d’enrichissement. Au terme de ce travail, il est proposé ici un référentiel structuré en 6 domaines (connaissances en sciences sociales ; connaissances en évaluation des politiques publiques ; compétences relatives à l’initiation d’une évaluation ; au processus d’évaluation ; à la gestion de projet ; à la posture évaluative) et décliné en 49 sous-compétences couvrant les différentes dimensions du métier, en spécifiant les compétences nécessaires selon le statut d’évaluateur ou de responsable d’évaluation (versant commanditaire). Des usages multiples de cet outils ont été identifiés, en termes de professionnalisation et structuration de la filière, de soutien au recrutement, à la formation continue, et au dialogue entre acteurs. Également comme outil de légitimation et de promotion de l’évaluation auprès des tiers. Les échanges ont mis également en lumière quelques enjeux et limites, liés à la fragmentation et au flou du champ de l’évaluation en France, aux risques d’une standardisation excessive (ex. habilitation) et à la nécessité d’une approche inclusive, flexible et évolutive. En conclusion, ce référentiel constitue un socle pour la structuration du métier en France et ouvre la voie à une reconnaissance accrue, tout en posant des bases pour de futures évolutions. - 4/73 - TABLE DES MATIÈRES INTRODUCTION p 5 Le mandat et les travaux du groupe CHAPITRE I p 8 L’évaluation des politiques publiques, de la pratique d’activités à la reconnaissance professionnelle, éléments conceptuels CHAPITRE II p 13 Le référentiel de compétences : panorama international CHAPITRE III p 23 Contenu et utilité d’un référentiel : la situation française CHAPITRE IV p 32 Une reconnaissance formelle des compétences comme condition d’exercice ? CHAPITRE V p 37 La proposition d’un référentiel pour la SFE CONCLUSION p 47 Un outil à faire vivre par les praticiens de l’évaluation ANNEXES p 50 1. Liste des membres du groupe Reconnaissance professionnelle des compétences 2. Mandat SFE pour un groupe Reconnaissance professionnelle des compétences 3. Synthèses sur les référentiels des sociétés nationales et multinationales d’évaluation 4. Liste des praticiens de l’évaluation interviewés 5. Le référentiel de compétences de la SFE (en versions complète ou synthétique) En octobre 2020, un groupe de travail de la SFE s’est réuni pour la première fois 1 , sur la question de la reconnaissance professionnelle des compétences en évaluation des politiques publiques : quelles sont les compétences spécifiques à la conduite des évaluations de politiques publiques ? Est-il utile de bénéficier d’un dispositif formel de reconnaissance professionnelle des compétences ? Le mandat confié au groupe par le conseil d’administration (cf. annexe 2) visait d’une part, à favoriser la progression professionnelle des métiers de l’évaluation et d’autre part, à crédibiliser les travaux évaluatifs conduits, par l’affichage des compétences. Le besoin de cette réflexion pouvait avoir plusieurs origines : frustration des évaluateurs de ne pas voir leur activité reconnue comme métier ou de ne pas voir leur métier reconnu à sa juste valeur ? problème de qualité des travaux d’évaluation produits ? constat que d’autres professions ou acteurs produisent des notes identifiées par la société comme de l’évaluation, mais non reconnues comme telles par les initiés ? 1 Liste des membres en annexe 1 difficulté des pouvoirs publics à pouvoir identifier aisément de « vrais » évaluateurs (professionnels de l’évaluation) ? Sur la base de ces constats initiaux, plusieurs questions pouvaient alors légitimement se poser : faut-il renforcer la reconnaissance du métier via une forme de certification/habilitation ? fautil professionnaliser et structurer une filière, afin de garantir une élévation de la qualité des évaluations menées ? faut-il former plus et mieux les futures générations d’évaluateurs, dans une perspective de développement accéléré du nombre de professionnels de l’évaluation ? faut-il crédibiliser les rapports d’évaluation auprès des citoyens par l’affichage des compétences ? INTRODUCTION - 6/73 - Différents travaux antérieurs avaient déjà tenté d’analyser le sujet. En effet, rapidement après la création de la SFE (1999), des réflexions s’étaient fait jour autour de la formalisation des compétences nécessaires à l’évaluation de politiques publiques. En 2003, au Café de l’évaluation du Nord-Pas de Calais, des membres de la SFE créaient ainsi un « groupe métiers de l’évaluation des politiques publiques », autour de Ghislaine Grézil (Communauté urbaine de Lille), Claire Tourmen (CIFRE/Eureval C3E) et Maurice Baslé (fondateur premier président de la SFE, Université Rennes I) pour répondre – déjà – à une demande de référentiel des métiers de l’évaluation. Ces travaux ont acté l’utilité de disposer d’un tel référentiel, tant pour favoriser la reconnaissance de l’évaluation que pour développer les compétences nécessaires à son exercice. Ils ont permis, en 2005, de disposer d’un premier cadre théorique de référentiel métier. Le groupe a ensuite cherché, dans les années 2006-08, à traduire de manière plus concrète ces éléments théoriques. En parallèle, la SFE confiait, en 2008, à deux administrateurs, Arnaud de Champris (cabinet ECS) et Laure Tougard (FASILD), l’animation et la coordination d’une réflexion sur le sujet de la pertinence et de la nécessité d’une « labellisation » ou d’une « certification » des évaluateurs en France. Plusieurs raisons avaient conduit le conseil d'administration à s'interroger sur ce sujet : l’affichage de la compétence en évaluation par de nombreux bureaux d’étude techniques, ne participant pas de la culture de l’évaluation capitalisée par la SFE ; la confusion chez de multiples nouveaux commanditaires publics d’évaluation, entre les concepts d’évaluation, d’audit, de contrôle, etc. ; l’utilisation à des fins commerciales de la simple adhésion à la SFE comme d'une marque de "qualité" (un "label"). Ce double mouvement vers un référentiel de compétences d’une part, et vers la question de la labellisation d’autre part, fut modifié par le projet associatif 2009-2014 de la SFE. Tandis que la réflexion sur les référentiels de compétences était mise en avant pour contribuer à la professionnalisation des acteurs de l’évaluation, tant pour les formations à l’évaluation que pour les professionnels en exercice, la démarche de normalisation/certification, voire de labellisation des évaluateurs et des pratiques était abandonnée, car « non pertinente aujourd’hui » (les débats au sein du groupe concerné ont en effet donné lieu à de fortes oppositions, peu susceptibles d’évolution dans la durée du projet associatif). Ce tournant des années 2010 ne donnera cependant pas lieu à des développements importants sur le volet du référentiel des compétences. Le projet associatif 2014-17 n’évoque plus l’hypothèse d’un référentiel de compétences. Tant la montée en charge de nombreux autres projets que l’absence de relais dans la durée, des porteurs initiaux de la démarche, expliquent cette situation, qui perdurera jusqu’à l’installation du groupe « Reconnaissance professionnelle des compétences » en 2020. - 7/73 - La première réunion du groupe s’est déroulée avec une vingtaine de membres, le 14 octobre 2020. Au total, 12 réunions seront tenues, avec un noyau dur d’une dizaine de participants, jusqu’au 30 septembre 2022. Ces réunions ont permis de conduire les travaux suivants : • Une analyse comparative des référentiels de compétences existant à l’étranger, de leurs contenus, points forts et limites ; • Une réflexion sur la notion de métier émergent et la place des compétences dans ce processus ; • Une réflexion sur les différentes formes de reconnaissance professionnelle en fonction des contextes ; • La conduite de 25 entretiens approfondis auprès d’évaluateurs diversifiés, portant sur les compétences identifiées et leur perception de l’intérêt d’un référentiel, d’une part, et d’un dispositif de reconnaissance formel, d’autre part ; • L’élaboration d’un premier projet de référentiel. Une synthèse de ces travaux a été présentée dans un premier temps au bureau de la SFE, puis aux Journées Françaises de l’Évaluation de Lille, le 17 novembre 2022. L’intérêt porté à la démarche, lors de cette présentation, a amené à proposer de tester l’utilisation du projet de référentiel dans quelques situations concrètes. L’année 2023 a permis de sélectionner cinq terrains sur lesquels s’est déroulée une expérimentation. L’ensemble de la démarche, complété par les observations faites sur ces terrains, a été à nouveau débattu lors du premier « Rendez-vous de l’évaluation » organisé conjointement par la SFE et le CESE, au Palais d’Iéna, le 30 novembre 2023. L’année 2024 voit se clore ce processus avec la formalisation du présent cahier contenant l’ensemble des travaux réalisés depuis fin 2020, lors du deuxième « Rendez-vous de l’évaluation » organisé conjointement par la SFE et le CESE, au Palais d’Iéna, le 9 janvier 2025. Et moi, j’ai besoin de connaitre ceci … et de savoir faire cela… - 8/73 - - 9/73 - Pour mieux appréhender les enjeux soustendus par ces questions de compétences et de reconnaissance professionnelle, le groupe de travail, dans ses premiers échanges, a souhaité faire un détour par les travaux existants relatifs à ces concepts d’activités, de métier et de profession. Même si ces concepts ne sont pas toujours aussi stabilisés qu’on pourrait le souhaiter, on peut retenir de l’état de l’art réalisé 2 les quelques éléments structurants suivants. Canadien et très engagé dans ce champ de l’évaluation, Benoît GAUTHIER, dans une note diffusée en 2020 3 , rappelle tout d’abord qu’historiquement, la professionnalisation a concerné, dès le moyen-âge, puis aux XIX et XXe siècles, des activités et services très qualifiés et à haut statut social (notamment les activités libérales), dans une perspective de reconnaissance, de valorisation et de garantie de la qualité des services, avec pour corollaire des dispositions visant à limiter l’entrée dans ces professions. 2 3 auteurs sont ici mobilisés, Benoît GAUTHIER, Claire TOURMEN et Mohammed TISSOUI, dont les deux premiers sont ou ont été fortement impliqués dans le champ de l’évaluation. 3 Benoit GAUTHIER : « Une analyse engagée de la professionnalisation des pratiques d’évaluation ». © Il indique ensuite, ce qui semble faire consensus, « que si le professionnalisme est un état, la professionnalisation est un processus », partant du stade premier qui est celui d’une occupation non structurée pour aboutir le cas échéant, à une réglementation (autorisation d’exercer), le cheminement reposant sur un collectif volontaire et structuré et une reconnaissance professionnelle. Un tel processus repose sur « cinq classes d’ingrédients » que sont, concernant l’évaluation : 1) « l’écosystème national d’évaluation » (existence d’une demande, d’une expertise, perception d’un problème et consensus à ce propos, parties prenantes et environnement favorable), 2) les mécanismes de professionnalisation, 3) le processus de changement, 4) les ressources, 5) un plan enraciné. Plus précisément, concernant les mécanismes de cette professionnalisation, il relève que « l’élaboration de lignes directrices éthiques est généralement un marqueur précoce de la volonté de professionnaliser une pratique », ce qui fait écho à l’adoption en 2003 de la Charte de l’évaluation, portée par la SFE. Il indique ensuite que « le deuxième mécanisme le plus courant est l’élaboration d’un ensemble de normes pour la pratique de l’évaluation. Les normes parlent des caractéristiques d’un travail de qualité », et que « vient ensuite le développement de référentiels de compétences en tant que mécanisme de professionnalisation. Ces référentiels identifient les compétences requises pour 2020 Canadian Journal of Program Evaluation / La Revue canadienne d’évaluation de programme 35.1 (Spring/Printemps), 127–137 doi : 10.3138/cjpe.69364. Les éléments saillants de cette note ont été repris dans son intervention lors de la journée Française de l’Évaluation du 30 novembre 2023, consacrée pour partie aux travaux présentés dans ce cahier. Chapitre 1 - 16/73 - Un premier niveau géographique d’appréhension de ces expériences permet rapidement de noter le caractère étendu du déploiement de ces référentiels : tant les régions ou pays anglo-saxons - Amérique, Canada, Australasie, Nouvelle-Zélande - sont concernés, que les pays européens : Allemagne, Grande-Bretagne, Suisse, sans oublier l’Europe elle-même, à travers la Société Européenne d’Évaluation. Des organisations internationales ont pu aussi s’emparer de cette démarche : c’est le cas des NationsUnies, au niveau mondial, mais également d’une association plus spécialisée, comme l’International Development Évaluation Association, centrée sur l’évaluation du développement durable international. S’agissant de l’historique de parution des premières versions des référentiels, le tableau fait clairement apparaître une concentration des productions au tout début de la décennie 2010. L’association américaine fait exception avec un document disposant d’une quinzaine d’années d’avance. Les autres documents sont produits dans une sorte d’élan commun, étalé sur seulement cinq années. Il est à noter que certaines des associations ont procédé à des révisions des versions initiales dans les années qui suivirent. S’agissant des titres donnés à ces documents, l’utilisation du terme « compétences » est prépondérante, ce dernier étant parfois remplacé par les mots « aptitudes » ou « capacités ». Le titre du document allemand évoque la destination de ce dernier (« pour la formation professionnelle »), mais celleci sous-tend bien la question des compétences. Le critère de la taille des documents contenant ces référentiels partage les sociétés en trois groupes : celui des sociétés américaine, européenne et britannique, avec des documents de moins de 10 pages qui consistent principalement en la simple liste des compétences jugées pertinentes ; celui des sociétés canadienne, néo-zélandaise, australasienne, suisse et de l’association IDEAS, qui, au-delà de la liste des compétences, décrit dans un document de 15 à 25 pages, le contexte de la démarche, les conditions d’utilisation du référentiel ou le contenu des compétences et annexe une bibliographie, un glossaire ou des notes ; enfin, les cas particuliers des référentiels allemand et des Nations-Unies, qui dépassent chacun les 30 pages, avec – pour le cas allemand – une description détaillée de chacune des compétences, et – pour le cas des Nations-Unies – la description, pour chacune des compétences, des attendus selon trois niveaux de séniorité. Enfin, au cœur des référentiels, le niveau de détail différencie davantage les documents par le nombre total de compétences listées que par le nombre de domaines rassemblant ces dernières. Ce nombre de domaines s’échelonne de manière ramassée entre 3 et 7, avec une médiane à 5 domaines, tandis que le nombre total de compétences est beaucoup plus dispersé : de 15 pour la société néozélandaise à 103 pour la société australasienne, avec une moyenne autour d’une trentaine de compétences. Ceci tient à un niveau de déclinaison des compétences par domaine très variable, allant de 4 à 15 compétences par domaine. - 17/73 - Quelques points saillants des dix référentiels étudiés sont présentés ciaprès (voir les fiches par référentiels en annexe 3). • American Evaluation Association (AEA) Le premier référentiel de compétences de la Société Américaine d'Évaluation (AEA) date de 1994. Ce référentiel a évolué au fil des années pour mieux répondre aux besoins des professionnels de l'évaluation et aux défis émergents dans le domaine. Le document The 2018 AEA Evaluator Competencies est la version la plus récente de ce référentiel. Il définit un ensemble de compétences essentielles pour les évaluateurs professionnels regroupées en cinq domaines clés. Ces compétences visent à garantir que les évaluateurs exercent leurs fonctions de manière rigoureuse, éthique et respectueuse des différents contextes et parties prenantes, tout en utilisant des méthodes d’évaluation appropriées pour obtenir des résultats utiles et fiables. Ce référentiel de compétences s'articule étroitement avec deux autres documents fondamentaux de l'AEA : les Program Évaluation Standards et les Guiding Principles for Evaluators. Ces trois documents se complètent et forment un cadre cohérent pour la pratique professionnelle de l'évaluation, qui définit non seulement les compétences techniques et méthodologiques de l’évaluateur, mais aussi les normes de qualité et les principes éthiques qui sous-tendent leur pratique professionnelle. • Australasian Evaluation Society (AES) Le document est un Projet stratégique de l’association pour accompagner le développement professionnel de ses membres et des autres professionnels intéressés. Le Cadre a été établi avec l’aide de l’European Evaluation Society, la Canadian Evaluation Society, l’International Development Evaluation Association et l’association néozélandaise d’évaluation. L’objectif était de guider et d’aider les membres et les autres parties intéressées à améliorer leurs connaissances et leur expertise en matière d’évaluation, et ce en cohérence avec l’objectif de l’association « d'améliorer la qualité des pratiques d'évaluation en Australasie ». Dans le prolongement, l’association indiquait offrir un ensemble d'activités, de programmes et de conférences en termes de formation professionnelle continue, basées sur le présent Cadre. Les enjeux identifiés et pris en compte au cours des travaux étaient la rigueur de la méthode utilisée, la production d’un Cadre concis et accessible, le choix de la bonne structure pour les compétences, les problématiques de langage, les champs de compétences (au-delà de la seule évaluation), la limitation du cadre aux compétences (pas de niveau d’expertise), la prise en compte des valeurs/cultures des domaines évalués. • New Zealand Evaluation Association (ANZEA) Le document constitue le fruit des travaux menés par un groupe de travail entre 2009 et 2011. Le groupe a passé en revue la littérature, les compétences des évaluateurs locaux et internationaux à date. Il a réuni un groupe d'évaluateurs - 18/73 - issus de divers secteurs et rôles/fonctions, et a organisé des consultations régionales avec ses membres et la communauté internationale de l'évaluation. Le projet répond à un besoin exprimé par les membres de faciliter et de promouvoir la pratique de l'évaluation de qualité. Les destinataires sont larges et comprennent en particulier les évaluateurs, les commanditaires d’évaluation, les employeurs et les formateurs en évaluation. La reconnaissance des valeurs fait partie intégrante de l’évaluation, nécessitant le recours à des méthodes spécifiques, différenciant l’évaluation de la recherche, l’audit, le suivi. La question des valeurs culturelles, avec comme conséquence la compétence culturelle pour l’évaluation, est affichée comme centrale. • Canadian Evaluation Association (CES/SCE) Les compétences sont définies comme « le fondement, les connaissances, les compétences et les attitudes que les évaluateurs de programme doivent posséder pour produire des évaluations solides » (adaptation de Stevahn et al, 2005). Elles ont été développées par le biais de recherches, de consultations de membres et de validations par des experts en 2008 et 2009 pour correspondre au contexte canadien. En 2017-2018, le Groupe de travail sur l’examen des compétences a réalisé une mise à jour afin de répondre à l’évolution du cadre de la profession ; par cette occasion il a également simplifié et précisé les énoncés de compétences. Les compétences sont présentées comme non figées, et devant être révisées et renouvelées de façon systématique. Bien que les compétences aient été élaborées dans le cadre du Programme de désignation professionnelle de la Société canadienne d'évaluation (SCÉ), elles sont présentées comme fournissant une base plus large pour la collectivité de l'évaluation. Elles peuvent être utilisées pour la formation, l'auto-évaluation, la conception des emplois, l'élaboration d'appels d'offres. • Deutsche Gesellschaft für Evaluation (DEGEVAL) Le document offre un cadre d'orientation pour l'élaboration de programmes et de modèles d'éducation et de formation en évaluation, qui doit contribuer à la professionnalisation des évaluateurs et, partant, à l'amélioration de la qualité et de la crédibilité de l'évaluation. La tâche décrite comme la plus importante dans la formation des évaluateurs est la nécessité de rassembler diverses compétences en une seule personne, englobant la théorie et la pratique, les connaissances et les capacités. Le document rappelle que l'évaluation est une science transversale, nécessitant toujours simultanément des connaissances théoriques et méthodologiques de base et une application pratique directe. Selon ce texte, il ne suffit pas d'avoir une excellente formation méthodologique, théorique, organisationnelle et spécifique à la matière, ou d'avoir d'excellentes compétences sociales et personnelles ; une approche purement pratique ne peut pas suffire non plus. Le document explique qu'il faut créer une synthèse entre ces différentes compétences, afin de pouvoir s'épanouir dans un domaine souvent caractérisé par la simultanéité d'intentions politiques et scientifiques différentes. - 19/73 - • European Evaluation Society (EES) Suite à la création et aux travaux de la Société Allemande d’évaluation (production d’un cadre de travail relatif aux programmes de formation à l’évaluation), puis de la Société Canadienne d’évaluation, et de International Development Évaluation Association, l’EES a diffusé son cadre d’évaluation des aptitudes en 2011. En introduction, le document rappelle que l’évaluation n’est pas faite par n’importe qui (« n’est pas évaluateur qui veut »), que les bons évaluateurs sont dotés d’un état d’esprit particulier, qui requiert de la connaissance et une formation systématique pour renforcer une pratique de qualité, et que l’objectif de la démarche, jugé difficile, est d’insuffler les dispositions et les attitudes pour une évaluation d’excellence. Ce cadre des aptitudes proposé par l’EES a pour but de rendre compte des attributions nécessaires pour la conduite d’évaluations de qualité. Il est indiqué que celles-ci ne peuvent reposer sur les épaules d’une seule personne, mais sur un travail d’équipe aux compétences différentes. • International Development Evaluation Association (IDEAS) Pour IDEAS, rassemblant 1200 membres dans 105 pays, l’enjeu de ce travail était le partage entre praticiens et commanditaires de normes et de compétences communes, afin de faciliter et de sécuriser le recours à l’évaluation de la part d’organismes ou d’institutions très variées. Le document repose sur l’idée qu’il existe un socle de compétences de base en évaluation du développement, indépendamment du pays de la pratique ainsi que du statut du praticien ou commanditaire, mais que des compétences spécifiques vont être nécessaires en fonction de chaque situation. Ces compétences (= connaissances + expérience + savoirfaire) sont pour partie distinctes par catégorie d’acteur : évaluateur / gestionnaire d’évaluation / commissaire d’évaluation (décideur, financeur, utilisateur d’évaluation). • Société Suisse d’Évaluation (SEVAL) Entre 2010 et 2015, la SEVAL a formalisé sa position sur la professionnalisation de l’évaluation à l’égard de deux publics : les gestionnaires et les réalisateurs d’évaluation. Concernant les gestionnaires, la SEVAL a estimé nécessaire, au regard de la montée d’une demande d’évaluation de la part des institutions et organisations suisses, de clarifier les compétences requises pour assurer ce type de fonction. Il s’agissait ainsi de contribuer à la qualité des évaluations et donc à leur crédibilité et utilité, de promouvoir au sein des organisations une culture de l’évaluation, mais aussi de valoriser et favoriser l’utilisation des résultats des évaluations. S’agissant des réalisateurs d’évaluation, la SEVAL a constaté l’absence ou l’insuffisance d’un cadre de référence en termes de compétences. Elle a estimé que cette situation faisait peser un risque sur la montée en puissance de la profession d’évaluateurs (quasi-absence de cursus diplômant ou d’offre de formation en continu…) et in fine sur la qualité des évaluations. Ces constats pour ces deux types d’acteurs au cœur des métiers liés à l’évaluation se rejoignent avec comme enjeu central la qualité des évaluations. Ils ont abouti à la publication de deux grilles de compétences. - 20/73 - • United Kingdom Evaluation Association (UKES) Le cadre de compétences de la société d’évaluation du Royaume-Uni (UKES) est le fruit d’un travail de trois ans. Il a été ratifié par le Conseil de UKES en juin 2012 et révisé quatre fois. La formalisation du cadre de compétences d'évaluation a été impulsée sur la base de plusieurs constats : les lignes directrices / principes / normes / et codes développés par les sociétés de l’évaluation ont contribué à créer une culture d'évaluation et à renforcer le professionnalisme de l'évaluation, mais ne précisent pas les compétences spécifiques dont les évaluateurs ont besoin afin de mener des évaluations utiles et crédibles ; ce cadre permet donc de les préciser tout en s’inscrivant dans la même continuité de professionnalisation du métier ; en l'absence de qualifications formelles pour les évaluateurs et d’accréditation pour exercer, les cadres de compétences semblent offrir un contrôle supplémentaire utile sur la qualité de l'évaluation et sur ceux qui la mènent. Le cadre a pour ambition d’être éducatif, et non prescriptif. Il tient également compte du fait que la responsabilité de garantir une évaluation de qualité n'incombe pas uniquement à un évaluateur individuel. • United Nations Evaluation Group (UNEG) Le Groupe d’évaluation des Nations Unies (PNUE) a publié à l’origine les compétences d’évaluation en 2008 pour les chefs des départements d’évaluation et les évaluateurs. La révision de 2016 étend ces compétences aux commissaires à l’évaluation et aux utilisateurs. Le document reconnaît que les utilisateurs de l’évaluation se composent d’un large éventail d’intervenants et de groupes d’intervenants, allant des décideurs aux parlementaires et dirigeants de la société civile. Des efforts ont été déployés pour simplifier les compétences en matière d’évaluation, tout en veillant à ce qu’elles demeurent suffisamment spécifiques pour qu’elles puissent être clairement appliquées au sein du système des Nations Unies. Le document fournit des utilisations potentielles des compétences pour les évaluateurs, les chefs d’unité d’évaluation et les commissaires à l’évaluation. Les compétences visent à s’assurer que les organismes des Nations Unies sont en mesure de mener ou de gérer des évaluations de haute qualité, en particulier ceux qui sont concernés par les progrès réalisés dans la mise en œuvre des Objectifs de développement durable (ODD). L’analyse des dix référentiels fait apparaître sept domaines de compétences fréquemment décrits dans une majorité de ces documents : • Le domaine scientifique : il s’agit là des compétences relatives à la maîtrise des fondements théoriques de l’évaluation des politiques publiques (concepts, littérature, histoire, écoles…), que cela concerne la théorie même de l’évaluation ou le contexte de sciences sociales, humaines, économiques et politiques sur lesquelles elle s’appuie ; • Le domaine méthodologique : on trouve généralement dans ce domaine plusieurs aspects différents : la question des stratégies - 21/73 - d’évaluation, les processus méthodologiques selon lesquels l’évaluation se déploie, mais également l’ensemble des techniques et outils quantitatifs et qualitatifs qu’utilisent les évaluateurs ; • Le domaine déontologique : ce domaine recouvre toute la question des valeurs, de l’éthique, des normes, ainsi que les lignes de conduite que ces cadres imposent, en particulier en matière d’indépendance de l’évaluateur, de respect des personnes, de promotion de la démocratie, de transparence des méthodes… • Le domaine contextuel : il s’agit là des compétences permettant de comprendre et d’analyser la situation dans laquelle l’évaluation va se déployer (acteurs, parties prenantes, enjeux, cultures…), afin d’adapter au mieux la démarche d’évaluation pour la rendre pertinente, efficace et rigoureuse ; • Le domaine de gestion : les compétences incluses dans ce domaine sont celles qui permettent de conduire l’évaluation comme un projet, avec une gestion efficace et efficiente des ressources, un déroulement approprié du processus et une production professionnelle des différents documents attendus ; • Le domaine relationnel : dans ce domaine figurent l’ensemble des compétences sociales et personnelles permettant d’agir de manière pertinente et efficace au service du processus d’évaluation, en 9 L’absence de croix dans un domaine ne signifie pas nécessairement l’absence de toute mention dans ce domaine, mais une présence plus limitée. particulier en ce qui concerne la capacité à écouter, communiquer, dialoguer ou travailler en équipe ; • Le domaine professionnel enfin : ce domaine couvre la question du développement professionnel de l’évaluateur au-delà de la réalisation ponctuelle d’une évaluation, comme le recul sur sa pratique, la capacité à capitaliser, la participation aux réseaux professionnels ou la recherche des innovations. Le tableau page suivante inventorie la récurrence de ces domaines dans les dix référentiels étudiés 9 . Il fait apparaître une forte homogénéité de contenus entre les documents des différentes sociétés. Toutes les sociétés d’évaluation présentent au moins cinq des sept domaines de compétences évoqués cidessus. Deux domaines sont logiquement présents dans l’intégralité des dix documents : le domaine méthodologique et le domaine de gestion. Ils constituent d’une certaine façon le minimum attendu des compétences des évaluateurs : savoir concevoir une stratégie et un processus d’évaluation, avec les outils en découlant, et savoir gérer l’ensemble de cette démarche. Trois autres domaines de compétences sont présents dans sept à huit des neuf documents : le domaine contextuel qui vise à adapter finement la méthode à une situation spécifique ; les domaines déontologique et relationnel, qui « encadrent » la démarche d’évaluation - 22/73 - tant sur le plan des grands principes et valeurs que sur celui de la relation quotidienne avec les parties prenantes. Enfin, deux domaines sont un peu moins présents (dans cinq et six des neuf documents) : le domaine scientifique et le domaine professionnel, qui peuvent apparaître moins explicitement indispensables à la conduite d’une évaluation de qualité. … Au-delà des équilibres entre domaines de compétences évoqués ci-dessus et du niveau de détail dans la description de ces dernières (cf. supra analyse du volume des documents) trois éléments de différenciation spécifiques apparaissent, pour quelques pays : • Le Canada et la Nouvelle-Zélande intègrent dans leurs référentiels un volet « appréhension des différentes cultures » pour traiter la question de l’application des démarches d’évaluation aux « cultures autochtones » ; • Les Nations Unies ont fait l’effort de développer chacune des compétences de leur référentiel selon trois niveaux de séniorité des évaluateurs (junior/senior/expert), ce qui permet d’affiner les possibilités d’utilisation du document selon le niveau d’expérience ; • La Suisse enrichit la démarche de description des compétences en développant ces dernières dans deux documents : l’un, classiquement, pour les réalisateurs d’évaluation ; l’autre, pour les commanditaires d’évaluation, dont les compétences spécifiques ne sont jamais prises en compte dans les référentiels des autres sociétés d’évaluation. Association Domaine scientifique Domaine méthodologique Domaine déontologique Domaine contextuel Domaine gestionnaire Domaine relationnel Domaine professionnel AEA X X X X X X UNEG X X X X X X SCE X X X X X X X ANZEA X X X X X X EES X X X X X UKES X X X X X X IDEAS X X X X X AES X X X X X X X SEVAL X X X X DEGEVAL X X X X X - 23/73 - - 24/73 - On l’a vu, la situation française de l’évaluation se caractérise à la fois par un processus d’institutionnalisation effectif, mais erratique, un processus de professionnalisation engagé et avéré depuis plusieurs décennies et une absence singulière de cadre descriptif des compétences mobilisées dans cette pratique. Dans ce contexte et pour alimenter ses travaux, le groupe de travail a fait le choix de ne pas se limiter à l’inventaire comparé des référentiels étrangers présenté plus haut, mais également de conduire une série d’entretiens approfondis avec plusieurs dizaines de praticiens de l’évaluation, aux origines professionnelles, profils et statuts diversifiés 10 . 24 praticiens volontaires ont ainsi été interviewés sur la base d’un guide identique portant sur leur expérience et perception de l’évaluation des politiques publiques ainsi que leur cadre d’exercice, les compétences mobilisées ou à mobiliser pour cette activité ainsi que les évolutions constatées de celles-ci, leurs attentes éventuelles vis-à-vis d’un référentiel de compétence ou d’une forme d’habilitation des professionnels. Un premier niveau de synthèse de ces entretiens a été présenté lors des JFE de Lille en novembre 2022. Ce qui suit constitue une analyse plus approfondie, reprenant largement, pour les parties relatives à la perception du référentiel, l’analyse réalisée en janvier 10 Cf. liste des interviewés en annexe 4. 2022 par Edine GASSERT 11 , membre du groupe de travail. Le premier constat qui s’impose à l’issue de cette campagne d’entretiens est celui de la grande variabilité des situations rencontrées. Variabilité qui induit à l’évidence des représentations diversifiées de l’activité d’évaluation par les intéressés et des compétences à l’œuvre. Quelles sont ces variables ? La première est celle du profil et du parcours ayant amené les uns et les autres à cette activité d’évaluation. Les cursus initiaux sont en effet variés, et même si l’économie et les sciences politiques semblent être les voies d’accès dominantes, on trouve également des juristes, des sociologues ou anthropologues, des statisticiens, des spécialistes de l’administration publique (carrières publiques) ou du développement territorial, et au final encore peu, dans cet échantillon, de professionnels issus de formations spécialisées en évaluation (de type Master). À ces bagages initiaux s’ajoutent les éléments d’expérience, là encore diversifiés, mais avec une dominante pour des fonctions d’étude ou assimilées. Pour la grande majorité des praticiens interrogés, l’apprentissage de l’évaluation des politiques publiques s’est fait soit « sur le tas », soit par « capillarité » au contact des collègues, soit encore, et sans que cela ne soit exclusif, par des 11 Consultant et chercheur en sociologie (Sauléa Conseil/LISE-CNAM-CNRS) Chapitre 3 - 25/73 - formations spécifiques de durée modeste. La deuxième variable est, bien entendu, celle de la fonction occupée, avec une première distinction entre la pratique de l’évaluation au sein d’une institution publique (service de l’État, collectivité, agence…) ou au sein d’un bureau d’étude ou cabinet-conseil. Dans le premier cas, les praticiens peuvent réaliser (ou contribuer à) des évaluations ou bien les commanditer/superviser. Dans le second cas, ces praticiens conduisent des évaluations, mais peuvent parfois se situer dans des postures de formation, d’accompagnement ou de conseil aval auprès de leurs clients/commanditaires. Enfin, une troisième variable est celle de l’activité d’évaluation elle-même, tel que l’organisation employeuse la définit et la positionne au regard des besoins et des autres activités portées par elle-même. Cette variable est la plus sensible au sein des organisations publiques, là où les situations décrites attestent d’une évolutivité quasi permanente résultant des choix technico-politiques, mais également des profils de tels ou tels responsables. On observe ainsi des situations aussi contrastées que celles de « pure players » (un chargé de mission évaluation, centré sur cette activité et « isolé » des autres services) ou à l’inverse de services larges pouvant intégrer, au choix, le contrôle de gestion, la qualité, l’innovation, la prospective, la concertation ou la démocratie participative, le design de services… et l’évaluation, qui n’est alors qu’une composante d’un outil largement dédié à une forme « d’intelligence de l’action publique ». Quels que soient ces périmètres, les éclairages recueillis attestent que l’articulation de l’évaluation avec une ou plusieurs autres activités est perçue comme une situation nettement plus favorable et stimulante professionnellement pour les intéressés. Côté prestataires d’évaluation, il existe certes un certain nombre de structures spécialisées, mais la plupart développe une offre de services qui ne se limite pas à l’évaluation, intégrant des missions de conseil stratégique ou opérationnel, de conception d’outils de suivi, de concertation, de conception ou design de politiques publiques, excluant, de fait, les situations de mono activité pour les praticiens qui y exercent leur activité. Ce bref panorama confirme, si cela était nécessaire, le caractère encore largement « instable » et peu délimité de l’activité d’évaluation, ce à quoi s’ajoutent, in fine, des orientations de travail que l’on pourrait sommairement résumer dans une distinction « quali / quanti » qui n’est pas véritablement dépassée. Il est donc logique, dans ce paysage, que les praticiens exposent une vision des compétences à l’œuvre elle aussi mouvante, ou à tout le moins « souple ». Interrogés sur les compétences mobilisées ou qui leur paraissent nécessaires à la pratique de l’évaluation, les praticiens en ont mentionné un certain nombre, assez diversifiées, mais pour partie relativement convergentes, qui font l’objet d’une tentative de présentation ordonnée plus bas. Mais avant de détailler cet inventaire, le premier constat opéré est celui de la logique d’exposition de ces compétences - 32/73 - - 33/73 - Derrière ce terme de reconnaissance formelle, peuvent exister différentes approches se situant plutôt sur les versants académique, professionnel ou institutionnel. Ainsi, on peut distinguer : • La certification, qui correspond à l’acquisition de compétences à titre individuel et leur reconnaissance par un titre. Ce qui induit l’existence de cursus de formation reconnus débouchant sur l’obtention de ce titre et par conséquent de référentiels de compétences. • La reconnaissance / valorisation des compétences par les pairs, ce qui induit l’existence d’institutions dédiées (commissions), de processus (conditions expérientielles d’accès, temporalité…) et de critères établis (titres, expérience, mise en situation, publications…). • L’habilitation (en tant que capacité légale à exercer) ou l’accréditation (en tant qu’autorité accordée pour agir en tant que…), généralement prononcées par une autorité institutionnelle (Ministère, Agence…) ou par une instance professionnelle, ce qui induit également l’existence de processus, d’instances et de critères, mais également de formes de contrôle du respect de ces règles. Ces formes rapprochent de la notion de profession réglementée, laquelle repose généralement sur la détention de titres (certification) comme critère d’accès initial, mais parfois également sur une obligation d’actualisation des compétences dans la durée. Dans tous les cas, un dispositif de reconnaissance formelle repose donc sur : • Une stabilisation des compétences requises • Des modalités de reconnaissance adaptées à l’objet : détention d’un titre, auto-déclaration, commission de valorisation, contrôle de type audit… • Une légitimité reconnue, par les acteurs, de l’instance qui accorde cette reconnaissance Une telle démarche procède donc d’une volonté de garantir la qualité des services et prestations délivrées et de restreindre l’accès à la pratique aux seuls acteurs en situation d’attester de leur capacité en la matière. Chapitre 4 - 34/73 - Le titre canadien d'évaluateur qualifié (ÉQ) 14 a été conçu, en 2010, en vue de définir, reconnaître et promouvoir un exercice qui réponde à de hauts standards d'éthique et de qualité, et qui reflète la maîtrise de compétences dans le domaine, à l'échelle du Canada. Un évaluateur qualifié doit ainsi avoir démontré qu'il possède le niveau de scolarité ainsi que l'expérience professionnelle requise pour être considéré comme un évaluateur compétent. Cette désignation professionnelle est destinée aux membres de la SCÉ, sur une base volontaire. Par ses exigences de maintien et de renouvellement des acquis, elle instaure une culture de formation continue dans le domaine, au sein de la communauté des évaluateurs. Le titre d’évaluateur qualifié peut intéresser, selon la SCÉ : • Les praticiens de l'évaluation, en précisant la nature des connaissances et des habiletés requises pour qu'un évaluateur soit considéré comme compétent, ainsi que la teneur du perfectionnement à envisager ; • Les établissements d'enseignement et services de formation, en décrivant la teneur de la formation initiale et continue permettant de contribuer au développement de la discipline ; • Les entreprises de services / organisations qui embauchent des 14 Source : Programme de désignation professionnelle de la SCE, https://evaluationcanada.ca/fr/titre/index.html ressources en évaluation ou qui souhaitent développer ce secteur, quant au contenu de l'expertise à faire figurer dans la description du poste ; • Les gestionnaires de programme qui travaillent avec des évaluateurs professionnels, au regard de l'expertise qu'ils sont en droit d'attendre. Le postulant doit répondre aux trois critères suivants : • Détenir un diplôme ou un certificat d'études universitaires de second cycle (lorsqu'un postulant n'a pas fait d’études universitaires de second cycle, il peut demander une reconnaissance des acquis), • Disposer de deux ans d'expérience professionnelle en évaluation au cours des dix dernières années, • Avoir accompli une scolarité et/ou une expérience professionnelle qui a permis au postulant de développer une maîtrise dans au moins 70 % des 36 compétences énoncées sous chacun des 5 volets des compétences professionnelles requises dans le référentiel (pour chacune des compétences, le candidat doit établir, en 150 mots maximum, la relation entre sa scolarité et son expérience professionnelle, et les compétences identifiées dans les cinq volets). Il n'est donc pas nécessaire d'avoir fait des études dans le domaine ET d'avoir de l'expérience professionnelle pour - 35/73 - justifier une compétence. Le postulant peut présenter sa preuve en invoquant l'un ou l'autre, ou la combinaison qui s'avère pertinente. Pour conserver leur titre dans la durée, les évaluateurs qualifiés doivent fournir la preuve qu'ils maintiennent leurs compétences à jour au moyen d'une formation continue – à raison de 40 heures d'activités sur une période de trois ans. En termes de déroulement du processus, les demandes d'accréditation sont soumises en ligne sur le site Web de la SCÉ (frais d’un montant de 485 $ canadiens). Une fois la demande initiée, les postulants bénéficient d'un délai pouvant aller jusqu'à 36 mois pour compléter leur demande. Un jury comprenant des professionnels en évaluation chevronnés ayant au moins 25 années d'expérience en évaluation, prononce l'accréditation. Les évaluateurs qualifiés sont inscrits dans un registre public, qui compte aujourd’hui 500 personnes (2024). La SCÉ précise bien que le terme d’évaluateur qualifié est un titre de compétences, et non un certificat ou un brevet (où la compétence d'un individu sur des aptitudes ou des connaissances spécifiques est testée de manière formelle). Les implications légales du titre sont donc limitées, et reflètent plutôt la compétence, en encourageant l'apprentissage continu et en démontrant un engagement envers la profession de l'évaluation. Interrogés sur l’intérêt et l’opportunité d’un dispositif de type « habilitation », les praticiens interrogés ont pour la plupart d’entre eux exprimé un certain scepticisme, motivé par les réflexions suivantes. Le mécanisme est jugé peu compatible avec une approche de l’évaluation nécessairement souple et non standardisée. « La matière de l’évaluation est souple et mouvante », dit ainsi un interviewé. Cette particularité interroge la notion « d’opposabilité » du commanditaire qui serait en droit de demander une stricte application de la certification, et ce, malgré les aléas et les ajustements parfois nécessaires aux démarches évaluatives. En outre, la spécialisation de certains marchés sectorisés de la politique publique limiterait d’autant l’intérêt d’une accréditation que les acteurs qui façonnent ces marchés (décideurs, commanditaires, cabinets de conseil…) entretiennent des rapports étroits au sein desquels les enjeux de reconnaissance (confiance, renommée) ont leurs mécanismes propres. Dans ce cas de figure, la portée d’une reconnaissance « externe » des compétences à l’échelle d’un individu ou d’un organisme serait secondaire. Par ailleurs, l’invitation faite aux interlocuteurs à exprimer leur point de vue à ce sujet a suscité en retour de nombreux questionnements, à la fois sur les finalités et les modalités, qui suggèrent une certaine distance vis-à-vis de cette proposition. Le mécanisme est perçu comme complexe et les acteurs s’interrogent : s’agirait-il d’habiliter des - 36/73 - organismes ou des personnes au sein de ceux-ci ? Quel étalonnage des niveaux de compétence permettrait de tenir compte des différents profils des praticiens ? Comment surmonter les nombreuses contraintes induites, en matière de coût, d’engagement, de durée de validité… ? Des doutes sont également formulés sur l’applicabilité d’une telle approche, induisant une reconnaissance par les pairs, au regard des nombreuses « spécialités » (en termes de domaines, de méthodes et d’approches) qui composent ce champ professionnel. Dans cette même logique, les interviewés interrogent le rôle de la SFE, du fait de sa légitimité incertaine dans un champ fragmenté, mais également ses capacités du fait des exigences élevées en matière de processus d’instruction et de contrôle. Un risque de « bureaucratisation » est évoqué par certains à ce sujet. Et, pour finir, on note l’expression de craintes liées aux risques de détournement d’un tel dispositif, qui pourrait être utilisé comme un fairevaloir, plutôt qu’un réel marqueur de compétences. Face à ces écueils, plusieurs pistes d’approfondissement, voire de dépassement, à l’édification d’un système de reconnaissance professionnelle des métiers de l’évaluation ont été suggérées. Des recommandations convergent notamment en faveur d’un modèle de charte d’engagement (ex. : code de l’évaluateur, sur le modèle de la charte du conseil de SYNTEC Conseil), sinon de labellisation des exigences spécifiées. Des modalités qui sont jugées moins contraignantes en termes de mise en œuvre et socialement plus acceptables pour les professionnels de l’évaluation qui redoutent l’excès de formalisme. Certains proposent également de s’inspirer des pratiques de peer review (évaluation par les pairs) en cours dans le milieu de la recherche afin de mieux capitaliser et faire connaître les rapports d’évaluation dans une logique de professionnalisation. D’autres enfin proposent de prolonger les réflexions au sein de la SFE sur le « travail réel » des métiers de l’évaluation des politiques publiques, en amont de l’élaboration d’une démarche de reconnaissance professionnelle par les compétences. Les appréciations et questionnements exprimés, et les suggestions qui les accompagnent témoignent donc d’un souci partagé de poursuite et d’intensification de la professionnalisation des activités d’évaluation, mais via des méthodes ou approches avant tout compatibles avec les réalités de ce champ professionnel. - 37/73 - - 38/73 - Deux considérations fortes ont guidé le groupe de travail dans l‘élaboration du projet de référentiel : • disposer d’un document susceptible d’être utilisé tant par les commanditaires que par les réalisateurs d’évaluation ; l’analyse des dix référentiels internationaux (cf. supra) a en effet montré que seul le référentiel suisse repose sur une telle approche ; or, celle-ci est rapidement apparue au groupe de travail comme essentielle dans le contexte français, tant pour favoriser globalement le développement de l’intégralité des compétences nécessaires, que pour tenir compte de l’importance de la participation des commanditaires en évaluation à la SFE ; • rester dans une rédaction précise, mais peu détaillée ; le groupe a rédigé la formulation de chacune des compétences en recherchant des termes clairs, mais en laissant aux futurs utilisateurs une capacité d’appropriation de ces compétences, sans enfermer ces dernières dans un cadre détaillé ; l’approche reste en effet très nouvelle en France, et il convient qu’une première version de référentiel puisse être adoptée rapidement et de manière large, avant d’être éventuellement revue à l’aune de l’expérience, pour reformuler certains termes et les préciser ; cette démarche de révision du référentiel de compétences est significativement répandue parmi les sociétés sœurs citées précédemment. Sur ces bases, le référentiel SFE comporte 6 domaines de compétences, rassemblant 20 compétences, ellesmêmes décomposées en 49 « souscompétences ». Il se situe ainsi dans le profil régulièrement rencontré parmi les dix référentiels étudiés, à savoir 5 domaines de compétences et une trentaine de compétences. Les 6 domaines de compétences proposés couvrent les 7 grands domaines (scientifique, méthodologique, déontologique, contextuel, gestion, relationnel, professionnel) détectés dans la quasi-totalité des référentiels étudiés. Une première particularité du référentiel français réside cependant dans le fait d’avoir regroupé les 6 domaines de compétences proposés en trois grandes parties : • les savoirs qui couvrent les domaines scientifique et méthodologique (au sens des méthodes d’évaluation, mais non des techniques et des outils), • les savoir-faire qui décrivent le domaine méthodologique au sens des techniques et outils, ainsi que les domaines contextuel et gestion, • les savoir-être qui comprennent les domaines déontologique, relationnel et professionnel. Cette classification est apparue aux yeux des membres du groupe, comme Chapitre 5 4 - 39/73 - susceptible de clarifier un niveau de « méta-compétences » ajoutant du sens à la description des domaines de compétences. Elle semble cependant pouvoir être discutée au regard des développements des sciences de l’éducation et de la formation. L’architecture du référentiel peut donc être résumée ainsi : SAVOIRS 1. Connaissances relatives aux sciences sociales 2. Connaissances relatives à l’évaluation des politiques publiques SAVOIR-FAIRE 3. Compétences relatives à l'initialisation d’une évaluation 4. Compétences relatives au processus d’évaluation 5. Compétences relatives à la gestion de l’évaluation SAVOIR-ÊTRE 6. Compétences relatives à la POSTURE d’évaluation Le détail des compétences est commenté ci-après et repris dans le document complet figurant en annexe 5. Une deuxième particularité du référentiel réside dans la description des compétences des commanditaires comme des évaluateurs (entendus comme producteurs des travaux d’évaluation, prestataires ou évaluateurs internes). Dans ce but, les intitulés des compétences revêtent trois couleurs différentes dans le document : • Intitulés relatifs aux seuls évaluateurs • Intitulés relatifs aux seuls commanditaires • Intitulés communs aux évaluateurs et aux commanditaires d’évaluations Les deux premiers domaines de compétences compris dans la partie Savoirs couvrent les connaissances relatives tant aux sciences sociales qu’à l’évaluation des politiques publiques. Il s’agit de deux niveaux différents : • un premier niveau permettant, d’une part de situer l’évaluation dans le périmètre et l’évolution de l’ensemble des sciences sociales au sens large du terme (sciences politiques, sociologie, économie, etc.), et d’autre part de comprendre comment une grande diversité d’outils des sciences sociales peut être mise au service de l’évaluation des politiques publiques ; • un second niveau, spécifique à l’évaluation des politiques publiques : il s’agit d’abord, avant de parler d’évaluation, de comprendre ce que sont les politiques publiques et comment elles sont conçues ; il s’agit ensuite de connaître tant la théorie de l’évaluation que les grandes méthodologies qui en découlent ; il s’agit enfin d’identifier et connaître les - 40/73 - normes et standards applicables à l’évaluation. Ces compétences concernent tant les commanditaires d’évaluation que les évaluateurs. 1. Connaissances relatives aux sciences sociales 1.1. Comprendre le rôle des sciences sociales au regard de l’évaluation 1.2. Comprendre la diversité des outils issus des sciences sociales au service de l’évaluation 2. Connaissances relatives à l’évaluation des politiques publiques 2.1. Connaître la conception des politiques publiques 2.2. Connaître la théorie de l’évaluation 2.3. Connaître les méthodologies de l’évaluation 2.4. Connaître les normes et standards applicables Dans la deuxième partie des savoir-faire se trouve ensuite tout ce qui concerne le déroulement de l’évaluation, de son initialisation à son processus de mise en œuvre, en incluant l’ensemble des compétences de gestion nécessaires. Le troisième domaine de compétences du référentiel porte ainsi d’abord sur l’initialisation de l’évaluation. Il s’agit là de compétences partagées entre commanditaires et évaluateurs, les premiers devant savoir formaliser une commande d’évaluation et analyser des réponses à un appel d’offres, les seconds étant bien sûr en charge de l’élaboration d’une offre d’évaluation. Cinq points concrets détaillent les compétences nécessaires à la formalisation de la commande : étude d’opportunité / faisabilité, estimation budgétaire, registres d’évaluation, questions d’évaluation et cahier des charges. Cinq autres points concrets précisent ensuite, pour l’évaluateur, les compétences nécessaires à la rédaction d’une offre : appropriation du contexte, méthodologie, expertises, devis et calendrier. Enfin deux derniers points soulignent les compétences nécessaires au commanditaire pour analyser les réponses à un appel d’offres : pertinence technique et budgétaire et adéquation des profils. 3. Compétences relatives à l'initialisation d’une évaluation 3.1. Formaliser la commande d’évaluation 3.1.1. Savoir repérer l’opportunité et la faisabilité de l’évaluation 3.1.2. Savoir-faire une estimation budgétaire 3.1.3. Savoir identifier des registres d'évaluation pertinents - 41/73 - 3.1.4. Savoir élaborer des questions évaluatives à partir de la logique d’intervention 3.1.5. Savoir rédiger un cahier des charges 3.2. Élaborer une offre d’évaluation 3.2.1. Savoir s’approprier un contexte et des questions d’évaluation 3.2.2. Savoir concevoir une méthodologie adaptée 3.2.3. Savoir inclure l’ensemble des expertises nécessaires 3.2.4. Savoir définir un devis pertinent et cohérent 3.2.5. Savoir définir un calendrier réaliste, pertinent et cohérent 3.3. Analyser des réponses à un appel d’offres 3.3.1. Savoir évaluer la pertinence technique et budgétaire d’une proposition méthodologique 3.3.2. Savoir évaluer l’adéquation des profils d’une équipe pour une mission d’évaluation Le quatrième domaine de compétences s’applique à l’ensemble du déroulement de l’évaluation, une fois l’offre validée. Ces compétences sont nécessaires aux évaluateurs, à l’exception du premier point relatif à la contextualisation de l’évaluation (finalités de l’évaluation, parties prenantes et culture institutionnelle et professionnelle) qui concerne tant les commanditaires que les évaluateurs. La description du déroulement reprend ensuite les quatre grandes phases de la méthodologie générale de l’évaluation : structuration de l’évaluation, collecte des données, analyse et jugement d’évaluation. La structuration de l’évaluation comprend classiquement les compétences nécessaires à la formalisation de la logique d’action du programme évalué, à l’analyse des questions d’évaluation, à la conception du référentiel, à la revue du protocole d’évaluation et à la planification du processus. Les compétences nécessaires à la collecte de l’information touchent tant les méthodes quantitatives que qualitatives. Les compétences en matière d’analyse des données collectées concernent l’exploitation outil par outil, le croisement de ces résultats, puis la formulation des constats. Le dernier ensemble de compétences vise alors à savoir répondre aux questions d’évaluation, formuler des conclusions, dégager des recommandations, argumenter sur l’ensemble des résultats et en rendre compte clairement. 4. Compétences relatives au PROCESSUS d’évaluation 4.1. Contextualiser l’évaluation 4.1.1. Être capable de comprendre les finalités et analyser les utilisations possibles de l’évaluation - 48/73 - Ce travail mené par le groupe thématique « Reconnaissance professionnelle des compétences » constitue donc une belle et réelle avancée. Il dote les acteurs français de l’évaluation des politiques publiques d’un outil fondamental : un référentiel de compétences, outil qui faisait cruellement défaut comme élément de reconnaissance du métier et de soutien à la professionnalisation d’une part, et dont l’inexistence – un peu incompréhensible au regard du panorama international – ne rendait pas justice au développement de l’évaluation en France d’autre part. On l’aura compris, ce Cahier de la Société Française de l’Evaluation clôture une première phase, mais ne vise pas à conclure la réflexion sur le métier d’évaluateur de politiques publiques. Son ambition est plus modeste, mais reste forte. Il s’agit de proposer un langage commun et un ensemble de critères visant à clarifier ce que signifie être un évaluateur de politiques publiques. Par son processus même de co-construction (par un groupe de bénévoles, sur la base d’une étude de la situation en France et à l’international, de propositions, de tests en individuel auprès de professionnels reconnus, adhérents ou non de la SFE, de soumission à l’analyse critique en collectif lors des Journées Françaises de l’Evaluation ou des Rendez-vous de l’Evaluation au CESE), le référentiel de compétences ici proposé est un produit partagé. Il a été adopté par le Conseil d’administration de l’association fin 2024. Tout comme l’avait été la Charte de l’évaluation, qu’il complète, il constitue une ressource, un repère auquel les évaluateurs et acteurs des politiques publiques pourront se référer. Le référentiel de compétences constitue une forme de feuille de route pour guider les acteurs de l'éducation et de la formation continue des évaluateurs. Il encourage également à la réflexion critique sur les forces et les limites des évaluateurs. Il est néanmoins crucial de souligner qu’un tel outil ne s’envisage qu’en approche dynamique. Il n’est pas question de sceller ici ce que sont ou devraient être les compétences des évaluateurs. Ce référentiel doit vivre et intégrer progressivement les évolutions des sciences et des pratiques, se nourrir des rencontres et enrichissements interdisciplinaires, prendre en compte les contextes politiques et culturels ainsi que leurs évolutions. A titre d’exemple, l’introduction de l’intelligence artificielle requestionne déjà bien des choses. Sa mobilisation en évaluation, les possibles qu’elle ouvre et Virginie BESREST, Présidente de la SFE Conclusion - 49/73 - les défis - éthiques notamment - qu’elle pose vont faire évoluer le métier. Ce pan de compétence est déjà manquant dans le référentiel, s’agissant d’une évolution encore récente au regard des travaux présentés ici. Les réflexions autour de la reconnaissance professionnelle (certification, habilitation, etc.), qui n’ont pas donné lieu à un consensus favorable à ce stade de développement du métier, reviendront peut-être également à l’avenir sur le devant de la scène. Nous donnons donc rendez-vous aux bonnes volontés pour un suivi et une actualisation régulière de ce référentiel de compétences, et au-delà, pour poursuivre la documentation de la pratique effective du métier et la réflexion sur la reconnaissance de l’évaluation des politiques publiques comme profession. Pour conclure, nous tenons à remercier chaudement l’ensemble des personnes qui ont bien voulu participer à ces travaux, pour leur contribution à la construction de cette première version du référentiel français de compétences en évaluation ! - 50/73 - - 51/73 - Co-animateurs : François Mouterde et François Lecouturier Virginie BESREST Quadrant Conseil François CATHELINEAU Agence Phare Nadine DUPRE AltiConseil Abla Akpene FRED Union de Caisses - Institut inter Régional pour la Santé Sébastien GALEA EVAL Edine GASSERT Sauléa Martine GUERIN Consultante Alain LE VIGOUROUX Médecin de santé publique François LECOUTURIER Itinere conseil Mansoh MANGO Université du Havre Metty MANOUVIA Health Data Hub François MOUTERDE Planète Publique Bjorn NEUHAUS Evalux Bruno ROUDIER Edater Michaël SILISTRINI Ministère des outre-mer Scott SITBON Planète Publique Hélène VARLET Région Hauts de France Alexandra WILLIAMS Quadrant Conseil - 52/73 - FINALITES POUR LA SFE ▪ Finalité opérationnelle : favoriser la progression professionnelle des métiers de l’évaluation des politiques publiques, en formalisant clairement l’ensemble des compétences nécessaires à la production d’évaluations de qualité ▪ Finalité démocratique : favoriser la capacité à rendre compte des politiques publiques en crédibilisant les rapports d’évaluation auprès des citoyens par l’affichage des compétences DEMARCHE ▪ Elaborer le cadre de compétences des évaluateurs.trices : établir un référentiel de compétences en réalisation et pilotage d’évaluations de politiques publiques, regroupant les compétences nécessaires en quelques chapitres différenciés et parlant ; ce travail sera réalisé en s’appuyant au maximum sur les cadres de compétences existant dans de nombreux pays ▪ Comprendre les dispositifs existant en France pour reconnaître les compétences professionnelles : identifier l’ensemble des dispositifs et processus existant en France, pour reconnaître des compétences professionnelles, en allant des démarches les plus informelles (auto-organisation) aux cadres les plus contraignants (ordres professionnels…) ▪ Proposer un dispositif formel de reconnaissance professionnelle des compétences d’évaluateurs.trices, impliquant la SFE : construire un cadre et des procédures permettant à des évaluateurs.trices de faire reconnaître formellement leurs compétences professionnelles au niveau national ; cette démarche impliquera la SFE, pour favoriser sa visibilité et accroître la reconnaissance de l’évaluation de politiques publiques en France CONDITIONS DE REALISATION ▪ Un processus limité à 2 ans, tourné vers la production concrète du résultat attendu ; la démarche ne vise pas à réouvrir des débats de principe ni à répondre à des critères scientifiques ▪ Une démarche articulée à celles d’autres groupes de la SFE : groupe « Charte » (mais la démarche ne vise pas à requestionner les 7 principes de la Charte de la SFE) ; groupe « Jeunes » ; clubs régionaux ▪ Un effort significatif de communication et d’échange : le sujet a été controversé par le passé ; il reste globalement peu connu et peu appréhendé ; il doit faire l’objet d’interactions entre les adhérents de la SFE (journées d’étude ; discussion dans les groupes et clubs ; etc.) OBJECTIF FINAL ▪ Au bout des 2 années, la SFE dispose d’un projet de dispositif clair sur la reconnaissance professionnelle de compétences en évaluation, susceptible d’être soumis à la décision de ses instances - 53/73 - AEA : Société Américaine d’Évaluation Le document est intitulé « Compétences de l’évaluateur » (Evaluator Competencies) Contexte et objectifs de la démarche Le référentiel des compétences de l'évaluateur de la Société Américaine d'Évaluation (AEA) s'articule étroitement avec deux autres documents fondamentaux de l'AEA pour former un cadre cohérent pour la pratique professionnelle de l'évaluation. 1. Program Evaluation Standards (Normes pour l'évaluation des programmes) Publiées pour la première fois en 1994, ces normes sont un ensemble de critères qui définissent la qualité et les attentes en matière d'évaluation des programmes. Elles couvrent des domaines comme la conception, l’exécution, l’analyse et la communication des évaluations. 2. Evaluator Competencies (Compétences de l’Évaluateur) Le référentiel de compétences de l’évaluateur décrit les capacités et les connaissances qu'un évaluateur doit posséder pour respecter ces normes. Autrement dit, les compétences des évaluateurs sont un moyen de garantir que les normes seront respectées. Par exemple, une compétence spécifique en analyse de données permettra de répondre aux normes relatives à la rigueur méthodologique. 3. Guiding Principles for Evaluators (Principes directeurs pour les évaluateurs) Publiés en 2004, ces principes énoncent les valeurs et les comportements éthiques que les évaluateurs doivent suivre dans leur travail. Ils couvrent des aspects tels que l'intégrité, la responsabilité, la transparence et le respect des parties prenantes. Structuration proposée pour les compétences 49 compétences sont regroupées en 5 domaines clés : 1. 9 compétences déclinent la question de la pratique professionnelle, soit la capacité à concevoir des évaluations éthiques et rigoureuses 2. 14 compétences ont trait à la méthodologie, avec la capacité à utiliser des approches qualitatives, quantitatives ou mixtes - 54/73 - 3. 8 compétences concernent la maîtrise du contexte, des circonstances, des perspectives, concernant l’ensemble les parties prenantes 4. 10 compétences touchent les problématiques de gestion, soit la capacité à planifier, coordonner et gérer les processus d’évaluation 5. 8 compétences décrivent la question de l’interpersonnel, soit la capacité à collaborer efficacement avec les parties prenantes Points d’intérêt - L’articulation entre le Référentiel de compétences, les Normes d’évaluation et les Principes d’évaluation AES : Australasian Évaluation Society Cadre des compétences pour la formation professionnelle des évaluateurs (1ère édition 2013) Contexte et objectifs de la démarche Le document est un Projet stratégique de l’association pour accompagner le développement professionnel des professionnels intéressés. Le Cadre a été établi avec l’aide de l’European Evaluation Society, la Canadian Evaluation Society, l’International Development Evaluation Association et l’association néozélandaise d’évaluation. L’objectif est de guider et d’aider les parties intéressées à améliorer leurs connaissances et leur expertise en matière d’évaluation et ce en cohérence avec l’objectif « d'améliorer la qualité des pratiques d'évaluation en Australasie ». Dans le prolongement, l’association offrira un ensemble d'activités de formation professionnelle continue, basées sur le présent Cadre. Les enjeux identifiés et pris en compte au cours des travaux sont : - la rigueur de la méthode utilisée - la production d’un Cadre concis et accessible - le choix de la bonne structure pour les compétences - les problématiques de langage - les champs de compétences (au-delà de la seule évaluation) - la limitation du cadre aux compétences (pas de niveau d’expertise) - la prise en compte des valeurs/cultures des domaines évalués - 55/73 - Structuration proposée pour les compétences 7 domaines de compétences : 1. Posture en évaluation et pratiques professionnelles : autoréflexion sur ses pratiques et perfectionnement continu Postures évaluatives et bonnes pratiques 2. Fondements théoriques en matière d’évaluation : fondements de l’évaluation à distinguer d’autres formes d’investigation (audit, enquêtes…), objet de l’évaluation, processus évaluatif, méthodes d’analyse et de synthèse, éthique et déontologie Processus évaluatif 3. Culture, parties prenantes et contexte : avoir conscience du contexte, comprendre les parties prenantes et la culture de l’objet/domaine de l’évaluation et s’y adapter. Environnement et parties prenantes 4. Méthodes d’investigation et d’enquête systématiques : maîtrise de différentes méthodes d’investigation et d’enquêtes pour recueillir des données valides et fiables à partir desquelles les constats évaluatifs seront établis Outils d’analyse quantitative et qualitative 5. Gestion de Projet : compétences pour négocier, évaluer, gérer et organiser une évaluation de façon efficace. Évaluation en mode projet 6. Compétences relationnelles : pour communiquer avec les clients, les usagers et autres parties prenantes ; écoute, communication verbale et non verbale, écrits, négociation, facilitation. Communication 7. Activités évaluatives : tâches pour réaliser l’évaluation (l’équipe, les questions évaluatives, le plan d’évaluation, la sélection des outils, la réalisation des enquêtes, les constats, les conclusions, leur présentation…) Mise en œuvre des compétences précédentes Points d’intérêt - Cadre se voulant universel dans ses destinataires : chercheur, formateur, consultant, donneur d’ordre ou évaluateur interne - Dispositif à usage individuel pour construire son parcours de professionnalisation - 56/73 - ANZEA : Aotearoa New Zealand Evaluation Association Evaluator competencies (2011) Contexte et objectifs de la démarche Le document constitue le fruit des travaux menés par un groupe de travail la société néozélandaise de l’évaluation entre 2009 et 2011. Le groupe a passé en revue la littérature, les compétences des évaluateurs locaux et internationaux à date. Il a réuni un groupe d'évaluateurs issus de divers secteurs et rôles/fonctions, et a organisé des consultations régionales avec ses membres et la communauté internationale de l'évaluation. Le projet répond à un besoin exprimé par les membres de faciliter et de promouvoir la pratique de l'évaluation de qualité. Les destinataires sont larges et comprennent en particulier les évaluateurs, les commanditaires d’évaluation, les employeurs et les formateurs en évaluation 3 principes ont guidé les travaux : 1. La reconnaissance du Traité de Waitangi comme fournissant les principes fondamentaux de l’engagement de l’évaluateur : partenariat, protection et participation 2. La reconnaissance des valeurs comme partie intégrante de l’évaluation, nécessitant le recours à des méthodes spécifiques, différenciant l’évaluation de la recherche, l’audit, le suivi. 3. Le caractère central des valeurs culturelles, et en conséquence de la compétence culturelle, pour l’évaluation. Structuration proposée pour les compétences Quatre domaines rassemblant 15 compétences interdépendantes (et qui se chevauchent souvent) • Domaine 1 : Analyse contextuelle et engagement décrit les capacités essentielles au début (puis tout au long) du processus d'évaluation, c'est-à-dire être capable d'entreprendre une analyse du contexte ; s'engager avec les gens dans le cadre du développement d'une compréhension du contexte dans lequel se situe l'évaluation ; identifier les personnes, les connaissances, les compétences, l'expérience nécessaires pour effectuer une évaluation. • Domaine 2 : enquête évaluative systématique décrit les connaissances, les compétences et les capacités requises pour entreprendre une enquête d'évaluation systématique (on y retrouve notamment tous les aspects méthodologiques). - 57/73 - • Domaine 3 : gestion de projet d’évaluation et pratique professionnelle de l’évaluation décrit les compétences nécessaires pour gérer une évaluation de manière professionnelle (gérer un projet d’évaluation ; développer des relations de collaboration, de coopération et de respect avec les personnes impliquées et affectées par l'évaluation (parties prenantes) et les membres de l'équipe d'évaluation ; souscrire et appliquer les normes et l'éthique appropriées). • Domaine 4 : pratique réflexive et développement professionnel comprend les compétences soutenant le développement du praticien de l'évaluation et de la profession (réfléchir sur sa propre identité, ses pratiques d’évaluation et son expertise ; évaluer les besoins de progression et s'engager dans le développement professionnel ; contribuer à la profession d'évaluation). Points d’intérêt - L’ANZEA considère les VALEURS comme faisant partie intégrante de l’évaluation. - Il n'est PAS attendu qu'un évaluateur individuel ou une équipe d'évaluation possède TOUTES les compétences proposées. - Les compétences identifiées dans le guide sont présentées comme non figées et devant être révisées et renouvelées de façon systématique. - Lors des travaux, il a été suggéré que, compte tenu de l'exhaustivité de la liste des compétences, un ensemble de compétences "essentielles" non négociables soit identifié. Il a été décidé que tous les domaines de compétences sont essentiels. Les compétences au sein des domaines doivent être considérées un menu (plutôt qu'une checklist) et que chaque situation d'évaluation nécessitera l'identification des compétences clés que doivent posséder le(s) évaluateur(s) ou les équipes d'évaluation. - 64/73 - • Domaine 3 : Connaissance de l'organisation et du sujet Ce domaine se réfère à une compréhension organisationnelle étendue, qui permet un aperçu systématique des caractéristiques, des limites et des fonctions des organisations. • Domaine 4 : Compétences sociales et personnelles Ces compétences touchent le contact personnel, la compréhension et la coopération des évaluateurs avec d'autres parties prenantes, ainsi que la et la résolution de problèmes. • Domaine 5 : Pratique de l'évaluation La pratique de l'évaluation concerne tout ce qui caractérise cette démarche non pas comme une procédure purement technique, mais plutôt comme une mesure orientée vers le développement au sein des systèmes sociaux. Points d’intérêt - Une grille tournée vers l’apprentissage et la formation - Une perception aigüe de la diversité/complémentarité des compétences nécessaires - 65/73 - SEVAL : Société Suisse d’Évaluation Titre (2015) Contexte et objectifs de la démarche Entre 2010 et 2015, la SEVAL a formalisé sa position sur la professionnalisation de l’évaluation à l’égard de deux publics : les gestionnaires et les réalisateurs d’évaluation. Concernant les gestionnaires, la SEVAL a estimé nécessaire, au regard de la montée d’une demande d’évaluation de la part des institutions et organisations suisses, de clarifier les compétences requises pour assurer ce type de fonction. Il s’agissait ainsi de contribuer à la qualité des évaluations et donc à leur crédibilité et utilité, de promouvoir au sein des organisations une culture de l’évaluation, mais aussi de valoriser et favoriser l’utilisation des résultats des évaluations. Concernant les réalisateurs d’évaluation, la SEVAL a constaté l’absence ou l’insuffisance d’un cadre de référence en termes de compétences. Elle a estimé que cette situation faisait peser un risque sur la montée en puissance de la profession d’évaluateurs (quasi-absence de cursus diplômant ou d’offre de formation en continu…) et in fine sur la qualité des évaluations. Ces constats pour ces deux types d’acteurs au cœur des métiers liés à l’évaluation se rejoignent avec comme enjeu central la qualité des évaluations. Ils ont abouti à la publication de deux grilles de compétences. Structuration proposée pour les compétences Grille de compétences des gestionnaires d’évaluation La grille se décompose en deux parties : • Partie 1 : les tâches que doit assurer un gestionnaire d’évaluation ainsi que les défis auxquels il est confronté, enfin les facteurs de succès de sa mission ; • Partie 2 : la grille de compétences ; elle tient en 2 pages concises, et se compose de 4 familles de compétences Au total la grille comprend 25 compétences. Grille de compétences des réalisateurs d’évaluation Elle tient également en 2 pages, et se compose de 3 familles de compétences. Au total la grille comprend 37 compétences. - 66/73 - Points d’intérêt - Deux grilles de compétences claires et synthétiques, très largement transposables au contexte institutionnel et de marché français - Des catégorisations très proches dans les deux grilles comprenant, au-delà des compétences techniques et méthodologiques, des compétences relationnelles liées au savoir être des personnes. - En 2015, un débat sur l’hypothèse d’un système de certification des évaluateurs ne semblait pas tranché, avec proposition de créer une nouvelle catégorie de membres au sein de la SEVAL : les membres exerçant l’évaluation à titre professionnel. - 67/73 - UKES : UK Evaluation Society Evaluation Capabilities Framework (2012) Contexte et objectifs de la démarche Le cadre de compétences de la société d’évaluation du Royaume-Uni (UKES) est le fruit d’un travail de trois ans. Il a été révisé quatre fois et a été ratifié par le Conseil de UKES en juin 2012. La formalisation du cadre de compétences d'évaluation a été impulsée sur la base de deux constats : - Les lignes directrices / principes / normes / et codes développés par les sociétés de l’évaluation ont contribué à créer une culture d'évaluation et à renforcer le professionnalisme de l'évaluation, mais ne précisent pas les compétences spécifiques dont les évaluateurs ont besoin afin de mener des évaluations utiles et crédibles. Le cadre permet donc de les préciser tout en s’inscrivant dans la même continuité de professionnalisation du métier. - En l'absence de qualifications formelles pour les évaluateurs et d’accréditation pour exercer, les cadres de compétences semblent offrir un contrôle supplémentaire utile sur la qualité de l'évaluation et sur ceux qui la mènent. Le cadre a pour ambition d’être éducatif, et non prescriptif. Il tient également compte du fait que la responsabilité de garantir une évaluation de qualité n'incombe pas uniquement à un évaluateur individuel. Structuration proposée pour les compétences 33 compétences sont réparties en 3 catégories principales : 1. Les connaissances en évaluation (Evaluation knowledge) : les évaluateurs doivent comprendre l’histoire de l’évaluation (émergence, liens et différences avec la recherche…), connaître les différents modèles et approches évaluatives, et comprendre et être capable de mettre en œuvre – de manière efficace – les méthodologies évaluatives (14 compétences) 2. La pratique professionnelle (Professional practice) : les évaluateurs ont besoin de compétences techniques pour mener une évaluation crédible et valable, ainsi que des compétences interpersonnelles et politiques pour gérer le processus (13 compétences) 3. Les caractéristiques personnelles (Qualities and attitudes or dispositions) : les évaluateurs ont également besoin de nombreuses compétences personnelles afin de pouvoir surmonter des - 68/73 - difficultés et/ou travailler dans des circonstances difficiles (6 compétences) Points d’intérêt Bien que développée dans le cadre du débat plus large sur les compétences dans la professionnalisation de l'évaluation et influencée par celui-ci, la terminologie « capacités » est utilisée dans ce document pour faire écho au même terme employé par la Société Européenne d’Évaluation (la SEE) et pour en signaler une interprétation plus large - 69/73 - UNEG : United Nations Evaluation Group Evaluation Competency Framework (2016) Contexte et objectifs de la démarche Le Groupe d’évaluation des Nations Unies (PNUE) a publié les compétences d’évaluation en 2008 pour les chefs des départements d’évaluation et les évaluateurs. La révision de 2016 étend ces compétences aux commissaires à l’évaluation et aux utilisateurs (des décideurs aux parlementaires et dirigeants de la société civile…) Des efforts ont été déployés pour simplifier les compétences en matière d’évaluation, tout en veillant à ce qu’elles demeurent suffisamment spécifiques pour qu’elles puissent être clairement appliquées au sein du système des Nations Unies. Le document fournit des utilisations potentielles des compétences pour les évaluateurs, les chefs d’unité d’évaluation et les commissaires à l’évaluation. Les compétences visent à s’assurer que les organismes des Nations Unies sont en mesure de mener ou de gérer des évaluations de haute qualité, en particulier ceux qui sont concernés par les progrès réalisés dans la mise en œuvre des Objectifs de développement durable (ODD). Structuration proposée pour les compétences 5 domaines de compétences sont reconnus : 1. Fondations professionnelles Les fondements professionnels sont les compétences qui sont fondamentales dans la pratique de l’évaluation. Ils comprennent l’éthique, les normes, une base de connaissances et une pratique de réflexion. 2. Compétences techniques en évaluation Les compétences techniques en évaluation sont essentielles pour assurer des évaluations de haute qualité pertinentes, fiables et qui appuient la traduction et l’utilisation des résultats de l’évaluation pour éclairer et influencer les décisions futures en matière de programmes et de politiques. Elles comprennent : l’identification des besoins d’évaluation et l’élaboration de conceptions d’évaluation avec des questions d’évaluation ciblées ; les approches et méthodes d’évaluation ; les compétences analytiques pour interpréter les résultats et formuler des conclusions et des recommandations clairement liées aux constats et conclusions. - 70/73 - 3. Compétences en gestion Les compétences en gestion sont essentielles pour diriger les équipes qui effectuent des évaluations et pour gérer ou superviser d’autres façons la mise en œuvre de l’évaluation. Bien que les compétences en gestion comprennent bon nombre des compétences requises pour gérer n’importe quel projet, les compétences en gestion pour l’évaluation se rapportent à des compétences propres à la gestion des évaluations. 4. Compétences interpersonnelles Les compétences interpersonnelles sont importantes pour s’assurer que l’engagement avec les intervenants impliqués dans le processus d’évaluation à toutes les étapes est efficace et que l’utilisation subséquente de l’évaluation est renforcée. Ces compétences sont souvent appelées « compétences douces » qui aident à améliorer l’influence de l’évaluation auprès de ses intervenants. Les compétences incluent la communication, la facilitation, la négociation et le partage de connaissance. 5. Compétences pour promouvoir une culture de l’apprentissage pour l’évaluation Ces compétences visent à promouvoir une culture de l’apprentissage pour l’évaluation au sein d’une organisation, à impliquer les utilisateurs et les promoteurs dans les processus d’évaluation et à élargir l’utilisation des données probantes dans la prise de décisions. Points d’intérêt - Une grille large, articulée aux ODD - Des descriptions pour chacune des compétences requises - 3 niveaux de compétences proposés par compétence - 71/73 - 4 François AVENTUR Ex-directeur adjoint des statistiques, études, évaluation Pôle emploi Dorig BRUNO Responsable évaluation Ville/Métropole de Rennes Hélène CLOT Responsable mission stratégie et innovation publique. Grenoble Alpes Métropole Thomas DELAHAIS Consultant, Quadrant Conseil Adnane DIALLO Chargé d'évaluation, Conseil départemental des Vosges Nicolas FARVAQUE Directeur du pôle Recherche et Etudes, Orseu Julien GARNIER Banque des territoires Cécile GERARD Chargée de mission évaluation, CARENE/Ville de Saint-Nazaire Clément LACOUETTE-FOUGERE Consultant - Chercheur Elena LASIDA Economiste, enseignante à l'Institut Catholique de Paris Alexandre LEKINA Responsable d'Etudes Evaluation - BPI Benedict LEXTON Inspecteur général des services Adjoint - Responsable de l'Unité Évaluation des politiques publiques de la Région Nouvelle-Aquitaine. Florine MARTIN Chargée d'études Unedic Letty MAVOUNIA Evaluatrice indépendante Karine BODINIER Chef de service Contrôle de Gestion et Évaluation, Région Normandie Anne SADOULET Responsable évaluation DREETS Occitanie Isabelle SANNIE Socio-économiste, chargée de l’évaluation ex post Direction exécutive Prospective et Recherche (DEPR) ADEME – Agence de la Transition Ecologique Pierre SAVIGNAT Ex-Président de la SFE/Ex directeur ESMS Michael SILISTRINI Chargé de mission évaluation - DGOM Jules SIMHA Maître de conférences en sociologie, Université Paris-Descartes Nicolas SUBILEAU Consultant, Pluricité. Directeur du Master "Évaluation et suivi des politiques publiques", IEP de Lyon. Marc TEVINI Consultant Quadrant-Conseil Jacques TOULEMONDE Retraité, ancien directeur du cabinet Euréval Hélène VARLET Responsable du Service Évaluation des Politiques publiques (Direction Qualité et performance) de la Région Hauts-de-France - 72/73 - - 73/73 -