Renforcer les données probantes relatives aux compétences : utiliser les données liées pour mesurer les résultats à long terme
La plupart des évaluations de programmes ne tiennent compte que des résultats à court terme, laissant dans l’ombre les avantages à long terme et le retour sur investissement public. Un nouveau partenariat entre Blueprint, Statistique Canada, le Centre des Compétences futures et Emploi et Développement social Canada relie les données administratives afin de suivre les résultats à long terme, l’optimisation des ressources et les retombées pour la population canadienne.
Renforcer les programmes grâce à de meilleures données probantes
Depuis 2021, Blueprint et le portefeuille Mise à l’échelle du développement des compétences du Centre des Compétences futures, financé par Emploi et Développement social Canada, élargissent et évaluent rigoureusement les programmes de formation et d’emploi à fort potentiel à travers le pays. Ceci constitue une occasion unique de comprendre comment les différentes mesures de soutien à la formation et à l’emploi aident les participants à acquérir des compétences, à entrer sur le marché du travail et à progresser dans leur carrière.
Dans le cadre de cette initiative, Blueprint mène des essais contrôlés randomisés (ECR) sur trois programmes de son portefeuille : In Motion & Momentum+ (IM&M+) de la Fondation canadienne pour le développement de carrière, Advanced Digital and Professional Training (ADaPT) de l’Institut de la diversité et les programmes de formation en informatique de NPower Canada. Les ECR constituent la pierre angulaire de la stratégie fondée sur les données probantes du portefeuille, car ils nous permettent de déterminer si l’impact peut être attribué à l’intervention du programme ou non.
Toutefois, pour comprendre comment ces impacts évoluent au fil du temps, nous avons besoin de données fiables à long terme sur les résultats.
Les lacunes dans les données probantes : Pourquoi nous avons besoin de meilleures mesures à long terme
Pour évaluer l’impact sur les individus, les évaluations de programmes s’appuient souvent sur des enquêtes menées à différents moments, pendant et après le déroulement du programme. Ces sources d’information sont importantes, mais leur administration peut prendre beaucoup de temps, car ils nécessitent une distribution, une sensibilisation des participants et des suivis répétés. Les sondages réalisés après la fin du programme peuvent également pâtir d’un faible taux de réponse et ne refléter que les premières étapes du parcours professionnel des personnes interrogées (périodes pendant lesquelles l’emploi et les revenus peuvent être particulièrement instables). Certaines personnes peuvent être plus enclines à répondre aux enquêtes que d’autres, ce qui peut entraîner un biais dans l’échantillon.
Les données internationales reflètent cette tendance : dans les essais contrôlés randomisés portant sur des programmes de développement des compétences, il est courant de constater des effets faibles parmi les participants, voire inexistants, au cours des deux premières années suivant la participation. Beaucoup de gens ont besoin de temps pour terminer leur formation, trouver un emploi stable et progresser dans leurs carrières afin d’obtenir des gains plus élevés. Par exemple, la nouvelle étude menée sur dix ans par le MDRC a révélé qu’aux États-Unis, les formations de courte durée peuvent se traduire par une augmentation réelle des revenus, mais que ces effets ont mis des années à se manifester. Si nous ne considérons que les effets à court terme (lorsque les personnes terminent immédiatement un programme), nous risquons de passer à côté de l’impact à plus long terme d’une intervention donnée.
Sans preuves solides à long terme, les gouvernements et les prestataires de services pourraient ne pas disposer des informations nécessaires pour déterminer quelles approches donnent des résultats durables et offrent le meilleur rendement pour la population et les investissements publics. Ces données sont essentielles pour garantir que les ressources soient affectées à des programmes qui génèrent des gains durables sur le marché du travail.
Une nouvelle approche : Lier les données du programme aux données administratives nationales
Pour combler cette lacune, Blueprint, le CCF et l’ESDC ont établi un partenariat novateur avec Statistique Canada (StatCan) afin de relier les données des participants de plusieurs projets relativement aux Informations sur l’environnement de couplage de données sociales (ECDS) de StatCan. L’ECDS est la plateforme sécurisée de couplage de données de Statistique Canada qui relie des informations provenant de multiples sources administratives, telles que les dossiers fiscaux, professionnels et scolaires, à des fins de recherche et de statistiques.
En vertu de la Loi sur la statistique, Statistique Canada est le seul organisme autorisé à acquérir et à relier ces ensembles de données à l’échelle nationale. Lorsque les participants se sont inscrits à des programmes de formation, ces derniers ont donné leur accord pour que le CCF et Blueprint utilisent leurs données de manière anonyme dans le cadre de recherches longitudinales. Blueprint transmet à Statistique Canada, en toute sécurité, uniquement les informations de base nécessaires au couplage, telles que le nom et la date de naissance, conformément aux procédures de réception établies par Statistique Canada. Statistique Canada sépare ensuite les identifiants personnels des données analytiques à l’aide de son système de fichiers de données reliables, crypte et supprime les identifiants pendant le couplage, et fournit aux chercheurs un accès uniquement à des ensembles de données anonymisées et reliées dans des environnements de recherche sécurisés. Ce processus respecte les normes les plus strictes du Canada en matière de confidentialité, de sécurité et de protection des renseignements personnels.
En reliant les dossiers de participation aux programmes aux données administratives nationales, les chercheurs peuvent suivre les participants pendant de nombreuses années après la fin de leur formation et observer à quel moment les gains salariaux commencent à se manifester, dans quelle mesure ces gains sont stables, comment les différents groupes de participants en profitent et comment les programmes se comparent en termes de valeur à long terme pour la population canadienne. Les données administratives couvrent la quasi-totalité de la population, sont collectées de manière cohérente chaque année et ne sont pas affectées par des erreurs de mémoire ou des non-réponses aux enquêtes. Lorsqu’elles sont combinées à des évaluations rigoureuses telles que les essais contrôlés randomisés, les données liées permettent de mesurer avec précision et fiabilité les effets à long terme des programmes.
Mettre en place une infrastructure de données factuelles plus solide : L’initiative « Résultats pour le Canada »
Ce processus dirigé par Statistique Canada et respectueux de la vie privée constitue une base essentielle pour la mise en place d’un système de données probantes sur les compétences plus solide au Canada. L’initiative « Results for Canada » (Résultats pour le Canada) de Blueprint teste actuellement comment rendre cette fonctionnalité accessible aux organisations communautaires à l’échelle nationale. Le projet élabore des modèles pratiques pour structurer les données, obtenir le consentement et rationaliser les liens avec Statistique Canada, jetant ainsi les bases d’un système de données normalisé, efficace et respectueux de la vie privée qui sert tous les partenaires.
En associant la mise en relation sécurisée des données à des évaluations rigoureuses, les gouvernements et les prestataires de formation peuvent déterminer si les programmes fonctionnent, comment ils fonctionnent et pour qui ils produisent des résultats durables. Cette infrastructure peut également s’étendre à la mesure de résultats plus larges tels que l’éducation, la santé, la stabilité du logement et d’autres indicateurs du bien-être économique et social.
Alors que l’initiative se poursuivra jusqu’en 2026, Blueprint publiera des études de cas illustrant comment le modèle « Results for Canada » a été mis à profit pour aider les organisations communautaires à mieux cerner leur impact et à améliorer leurs services. Outre ces études de cas, nous mettrons à disposition une boîte à outils pour le couplage de données à l’échelle du secteur, qui fournira aux organismes prestataires de services des conseils sur la manière de préparer et de structurer leurs données en vue du couplage, sur les questions analytiques auxquelles ils peuvent répondre grâce à ce couplage, et sur la manière de faire appel à Statistique Canada pour rendre ce couplage possible. Ces études de cas et ces boîtes à outils serviront de base pour étendre davantage le modèle afin d’exploiter les données administratives à l’échelle nationale et de favoriser la mise en place d’un écosystème de prestation de services efficace et fondé sur des données factuelles.
À mesure que cette approche se développe, elle peut remodeler la façon dont l’écosystème des compétences du Canada mesure le succès. Elle réduit la charge liée aux sondages, génère des données cohérentes entre les programmes et fournit une base commune pour évaluer les résultats pour les personnes et le rapport qualité-prix pour les financeurs.
Les points de vue, les réflexions et les opinions exprimés ici sont ceux de l’auteur et ne reflètent pas nécessairement le point de vue, la politique officielle ou la position du Centre des Compétences futures ou de l’un de ses membres du personnel ou des partenaires du consortium.