Démystifier les mythes courants relatifs à l’évaluation
L’évaluation est souvent perçue comme un processus complexe et intimidant, mais au fond, il s’agit de comprendre l’efficacité, de tirer des enseignements de notre travail et de prendre de meilleures décisions. Au fil des ans, j’ai rencontré un certain nombre d’idées fausses empêchant les gens d’adopter pleinement l’évaluation dans leurs programmes et leurs organisations. Aujourd’hui, je souhaite prendre un moment pour briser certains de ces mythes et aider à recadrer la façon dont nous pensons à l’évaluation.
Mythe n° 1 : « Je ne suis pas un évaluateur, je ne peux donc pas faire d’évaluation ».
L’évaluation peut être un sujet décourageant pour de nombreuses personnes et organisations. Elle peut être considérée comme une activité ambitieuse qui n’a lieu que lorsque nous disposons d’un financement suffisant ou lorsque nous sommes tenus de le faire par un organisme de financement. Bien que les évaluations doivent être menées par des personnes disposant d’une expertise technique, les organisations peuvent commencer à développer leur pratique d’évaluation en interne en faisant preuve de curiosité.
Il s’agit de se demander « pourquoi » et « comment » les choses se produisent. Pourquoi pensez-vous que cela s’est produit ? Pourquoi ce programme est-il efficace ? Pourquoi ne l’est-il pas ? Pourquoi les gens s’inscrivent-ils ou ne s’inscrivent-ils pas à notre programme ? Comment les gens perçoivent-ils notre programme ? Comment pouvons-nous l’améliorer ? Ces questions nous aident à découvrir des données clés qui peuvent conduire à des améliorations, tout en tirant parti des compétences internes, notamment la capacité d’adaptation, la résolution de problèmes et probablement un peu de gestion de projet.
Mythe n° 2 : « Les évaluations ne portent que sur les résultats »
De nombreuses personnes associent l’évaluation au suivi des résultats finaux, par exemple le nombre de participants ayant obtenu un emploi à l’issue d’un programme de formation. Si les résultats sont importants, ils ne sont qu’une pièce du puzzle.
Une approche plus globale tient compte de plusieurs dimensions, notamment :
- Pertinence : L’intervention est-elle utile et répond-elle aux besoins des personnes concernées ?
- Satisfaction : Comment les participants perçoivent-ils le programme ?
- Efficacité : Réalisons-nous les objectifs que nous nous sommes fixés ?
- Efficacité : Utilisons-nous nos ressources à bon escient et minimisons-nous les obstacles inutiles ?
- Valeur ajoutée : Quelle différence le programme fait-il pour les individus, les familles et les communautés?
- Durabilité : Le programme peut-il se poursuivre au-delà de son cycle de financement initial ?
Une attention particulière portée aux résultats peut limiter notre capacité à comprendre et à améliorer les programmes. Une réflexion plus large nous permet de saisir l’ensemble de l’histoire et de prendre de meilleures décisions sur ce qui fonctionne et sur ce qui doit être ajusté.
Mythe n° 3 : « L’évaluation se passe à la fin »
L’une de mes plus grandes frustrations dans ce domaine est que l’évaluation est traitée comme une réflexion après coup, quelque chose à faire uniquement lorsqu’un financeur demande un rapport final. Trop souvent, les organisations font appel à des évaluateurs à la dernière minute, attendant d’eux qu’ils mesurent les résultats sans avoir mis en place le cadre nécessaire à une collecte de données pertinente.
Par contre, l’évaluation devrait être intégrée dès le départ. Chez Blueprint, nous utilisons le terme de production de données probantes plutôt que celui d’évaluation, car il s’agit d’un changement de perspective qui permet de passer d’une simple évaluation de l’impact à un développement actif des connaissances tout au long du cycle de vie du programme. En considérant l’évaluation comme un processus continu, nous pouvons affiner nos approches, apporter des améliorations en temps réel et nous assurer que nous apprenons à chaque étape, et pas seulement à la fin.
Mythe n° 4 : « Les évaluations d’impact sont toujours la meilleure solution. »
L’accent est mis de plus en plus sur les évaluations d’impact – en particulier les méthodes telles que les essais de contrôle randomisés (ECR) – pour prouver l’efficacité. Si les évaluations d’impact constituent l’approche la plus crédible pour mesurer l’impact d’un programme, elles ne devraient être mises en œuvre qu’une fois que des efforts ont été déployés pour renforcer la conception et la mise en œuvre du programme et pour s’assurer qu’il fonctionne comme prévu.
Les évaluations d’impact nécessitent beaucoup de temps et de ressources. Il est donc essentiel d’évaluer les besoins de votre projet, vos conditions de travail et la pertinence d’une évaluation d’impact. Au cours de ma décennie d’expérience sur le terrain, j’ai remarqué une dépendance excessive à l’égard des évaluations d’impact, ce qui peut conduire à des résultats gonflés ou trompeurs et à un gaspillage de ressources. Plutôt que d’opter par défaut pour des modèles d’évaluation complexes et coûteux, nous devrions donner la priorité à la sélection de la bonne approche d’évaluation en fonction du stade du projet et des questions spécifiques auxquelles nous devons répondre.
Dernières réflexions
L’évaluation ne doit pas être intimidante ou trop compliquée. En changeant de perspective, en considérant l’évaluation comme un processus d’apprentissage continu plutôt que comme une exigence contraignante, nous pouvons prendre de meilleures décisions, créer des programmes plus efficaces et, en fin de compte, avoir un impact plus important.
Que vous soyez gestionnaire de programme, prestataire de services ou professionnel de la politique, vous possédez déjà un grand nombre des compétences nécessaires pour intégrer l’évaluation dans votre travail. Commencez modestement, faites preuve de curiosité et n’oubliez pas de demander « pourquoi » à chaque étape. Plus nous considérons l’évaluation comme un outil d’apprentissage et de croissance, plus elle devient puissante.
Pour en savoir plus sur le développement et l’évaluation des compétences, consultez l’enregistrement du dernier webinaire du Centre des Compétences futures et le rapport sur l’état des compétences.
Ce blogue est basé sur une séance du groupe d’apprentissage par les pairs organisée par Research Impact Canada et le Centre des Compétences futures. Le texte a été amélioré à l’aide d’outils de transcription et de rédaction assistés par ordinateur. La version finale a fait l’objet d’une révision pour en vérifier l’exactitude. Pour approfondir ces idées, consultez l’enregistrement de la séance complète.
Les points de vue, les réflexions et les opinions exprimés ici sont ceux de l’auteur et ne reflètent pas nécessairement le point de vue, la politique officielle ou la position du Centre des Compétences futures ou de l’un de ses membres du personnel ou des partenaires du consortium.