Approche d’évaluation

Production de données probantes et évaluation : Mise en place d’un pipeline de données probantes

Afin de réaliser l’ambitieux mandat du Centre des Compétences futures, nous devons investir dans des projets qui présentent le plus fort potentiel de satisfaire aux enjeux les plus pressants des écosystèmes de développement des compétences au Canada.

Réalisation du mandat du Centre des Compétences futures

Notre approche en matière de production de données probantes, mené par Blueprint, comprend l’identification des solutions qui semblent les plus prometteuses en vue de relever les défis pressants et de soutenir une mise en œuvre durable, de haute qualité, tandis que les données probantes produites permettront d’éclairer la prise de décisions relative à la mise à l’échelle. C’est ce que nous appelons notre « pipeline de données probantes ». Pour chaque projet financé, nous élaborons et mettons en œuvre un plan d’évaluation sur mesure lié à un programme d’apprentissage plus élargi qui permet des interventions visant à améliorer le rendement et l’impact du projet.

Au lieu de se demander simplement si un projet particulier fonctionne dans le contexte actuel, notre approche en matière de pipeline de données probantes fait en sorte que les résultats de nos évaluations tracent un chemin clair vers la croissance et le développement de nos projets les plus prometteurs. En liant notre évaluation à une plus grande stratégie de production de données probantes, nous nous assurons de retenir les données adéquates au moment adéquat afin d’aller de l’avant avec une intervention. 

Une approche multidimensionnelle

Notre pipeline de données probantes part du principe que la production de données probantes est un processus multidimensionnel. En plus des activités d’évaluation plus traditionnelles, notre processus comprend le soutien à l’amélioration du rendement et l’évaluation du potentiel de mise à l’échelle en tant que partie intégrante du processus d’obtention de données probantes.

Alors que les interventions passent des idées initiales à des interventions à grande échelle, nous évaluons trois dimensions :

  1. Données probantes – La recherche de données probantes commence par une évaluation rigoureuse du modèle logique et de la théorie du changement sur lesquels se fonde une intervention. Tandis que les interventions présentent des éléments probants de succès, elles sont prêtes à subir une évaluation plus rigoureuse avec comme objectif la préparation de l’évaluation de l’impact et de l’analyse coût-avantage pour produire les données probantes de qualité nécessaires pour orienter les décisions relatives à la mise à l’échelle.
  2. Mise en œuvre – À mesure que progressent les interventions, nous établissons des indices de qualité et utilisons des techniques comme l’évaluation à cycle rapide pour soutenir les projets tout au long d’un cycle continu d’apprentissage et d’amélioration de programme.
  3. Pertinence – À mesure que se dégagent les résultats de l’évaluation, nous mettons à jour notre évaluation de la pertinence de chaque intervention pour le mandat du Centre des Compétences futures et son potentiel d’avoir un impact à l’échelle pancanadienne. Ce processus d’évaluation est mené en collaboration avec les provinces et les territoires et d’autres intervenants clés des écosystèmes de développement des compétences du Canada. Les résultats de cette évaluation constituent un apport essentiel à la prise de décisions relativement aux réinvestissements.  

Pour que notre stratégie de production de données soit la meilleure de sa catégorie, nous avons mis sur pied un sous-comité consultatif international sur les évaluations qui réunit d’éminents universitaires, évaluateurs, décideurs politiques et praticiens afin de formuler des conseils stratégiques et de fournir une orientation. Restez à l’affût, au cours des semaines à venir pour une annonce sur les membres du comité et pour obtenir de plus amples détails sur la manière dont nous appuierons ces projets par le pipeline de données probantes.  

Approches en matière d’évaluation

L’évaluation rigoureuse des projets d’innovation constitue une partie essentielle du mandat du Centre des Compétences futures de produire des données probantes au sujet de ce qui fonctionne afin de solidifier l’écosystème du développement des compétences du Canada.

Notre objectif consiste à générer des données probantes de grande qualité sur le rendement des projets d’innovation afin d’aider les praticiens et les décideurs à comprendre comment ils peuvent apprendre, améliorer et avoir un impact.

Notre démarche combine une approche systématique de la mesure des résultats des différents projets d’innovation à la souplesse requise pour les adapter au but, au contexte et aux objectifs de chaque projet. Nous travaillons en étroite collaboration avec les partenaires des projets d’innovation pour nous assurer de mesurer ce qui compte le plus – pour faire en sorte que les conclusions contribuent non seulement à une plus grande base de données probantes sur ce qui fonctionne, mais aussi qu’elles éclairent les pratiques et la prise de décisions quotidiennes de nos partenaires. 

Par le biais de nos évaluations, nous essayons de favoriser une culture de prise de décision basée sur des données probantes, tout en assurant l’intégration de l’apprentissage et des données probantes dans les décisions relatives aux politiques, aux programmes et aux pratiques au sein de l’écosystème de développement des compétences. Nous travaillons en étroite collaboration avec les fournisseurs de services et les décideurs politiques pour poser les bonnes questions à propos du rendement des initiatives de développement des compétences et produire des réponses en utilisant des méthodes et des approches rigoureuses. Cela nous permet de créer des systèmes qui s’appuient continuellement sur les données et les données probantes pour aborder les défis pressants en matière de développement de compétences.

Éléments clés

Notre approche en matière d’évaluation comporte trois éléments clés :

  1. Mesure des progrès réalisés par rapport aux résultats partagés – Nous mesurons un ensemble de résultats du marché du travail de base pour tous les projets que nous finançons. Cela nous permet de mesurer et de comparer le rendement de projets d’innovation distincts ou de groupes de projets d’innovation sur la base du type de projet, du secteur ou de la population cible et d’estimer l’impact collectif de tous les projets d’innovation bénéficiant d’un financement.
    Cliquez ici pour obtenir de plus amples détails sur notre cadre de résultats
  2. Soutien à l’apprentissage continu et à l’amélioration du rendement – En plus de la mesure des résultats, notre approche met l’accent sur des mesures de progrès qui soutiennent l’apprentissage continu. Nous travaillons en étroite collaboration avec les partenaires de projet pour renforcer leur capacité à utiliser leurs propres données afin d’approfondir leurs connaissances et améliorer les programmes.
    Cliquez ici pour obtenir de plus amples détails sur approche de soutien à l’amélioration
  3. Conception d’évaluations adaptées aux objectifs – Les modèles d’évaluation sont sélectionnés en fonction du but, des objectifs et du contexte d’un projet. En général, la conception de l’évaluation d’un projet s’inscrit dans trois catégories : 1) évaluation en vue de comprendre et de renforcer l’efficacité d’un programme; 2) évaluation visant à tester la relation de cause à effet des interventions; et 3) évaluation visant à améliorer le rendement des initiatives de changement des systèmes.
    Cliquez ici pour obtenir de plus amples détails sur notre conception d’évaluations

Le processus d’évaluation

Nous utilisons un processus constant pour évaluer chaque projet d’innovation.

Découverte

Notre processus d’évaluation commence par la phase découverte. Nous travaillons en étroite collaboration avec les organismes partenaires afin de présenter notre approche en matière d’évaluation, de développer une meilleure compréhension de leur modèle et de leurs objectifs d’apprentissage et de concevoir conjointement les éléments du plan d’évaluation. Il en découle une approche adaptée au contexte et aux objectifs du modèle faisant l’objet de l’évaluation et des résultats qui éclaireront les pratiques et la prise de décisions quotidiennes de nos partenaires. 

Nos activités de la phase de découverte sont également guidées par l’analyse comparative entre les sexes plus qui nous permet d’examiner dès le début comment différents groupes de personnes à travers différents facteurs identitaires expérimentent chaque projet d’innovation et sont influencées par eux.

Cliquez ici pour en apprendre davantage au sujet de la façon dont nous intégrons l’analyse comparative entre les sexes plus à chacune des étapes du processus.

Élaboration du plan d’évaluation

Éclairée par la phase de la découverte, la prochaine étape consiste à élaborer un plan d’évaluation qui comporte un modèle logique et une théorie du changement solides, des questions d’évaluation précises et un cadre détaillé de conception de recherche et d’analyse. Quand le plan est élaboré, nous mettons en place des outils de collecte de données et d’établissement de rapports, y compris des sondages, des entrevues et des protocoles pour les groupes de discussion, des formulaires de consentement, des tableaux de bord et d’autres instruments pour l’établissement de rapports avant de les soumettre à l’examen sur le plan de l’éthique.

Évaluation éthique

Ensuite, nous faisons une demande d’autorisation déontologique nous permettant de nous conformer à l’Énoncé de politique des trois Conseils : Éthique de la recherche avec des êtres humains.

Collecte de données, établissement de rapport et apprentissage

Tout au long de chaque projet d’innovation, nous recueillons des données, surveillons activement la qualité des données et communiquons fréquemment avec des partenaires pour échanger des apprentissages et régler les problèmes. Nous continuons à adapter notre approche au besoin pour nous assurer de la qualité des données et minimiser le poids du processus de collecte de données. Nous produisons également des rapports d’étape afin de communiquer les résultats préliminaires et nous apportons des corrections et des ajustements en cours de route au besoin.

Rapport final

À la fin du projet d’innovation, nous préparons un rapport final afin de présenter nos conclusions ainsi que le résumé des renseignements et des apprentissages les plus importants tirés du projet d’innovation dans le bus d’orienter les décisions futures relativement aux pratiques et aux politiques.

En apprendre davantage sur l’évaluation des projets d’innovation qui se déroule actuellement.