Assessing the Quality of Aboriginal Program Evaluations

• Main Authors: Jacob, Steve, Desautels, Geoffroy
• Format: Article in Journal/Newspaper
• Language: English
• Published: University of Toronto Press 2014
• Subjects: Aboriginal evaluation; evaluation standards; evaluative norms; meta-evaluation; quality of evaluation; évaluation autochtone; normes d'évaluation; normes évaluatives; méta-évaluation; qualité de l'évaluation; Canada; Conseil; First Nations
• Online Access: https://journalhosting.ucalgary.ca/index.php/cjpe/article/view/30831

Evaluations have gained in popularity in Canada since the 1990s, but statistical data indicate that the resources allocated to this management tool have not increased accordingly, despite the increased demand. During the same period, regardless of significant efforts to optimize governance, the Canadian federal government’s management of issues related to Aboriginal peoples presents some weaknesses. Because evaluation may directly affect the administration of public programs, this study proposes a meta-evaluation of First Nations program evaluations. To do so, we replicate a methodology previously used by the Treasury Board Secretariat in 2004 to complete a vast study assessing the quality of evaluation in Canada. This article, based on the systematic analysis of a nonprobability sampling of more than 20 program evaluation reports, has applied the TBS’s meta-evaluation techniques to the Aboriginal context. The results show that the evaluation of Aboriginal programs is of good, and even excellent, quality and suggest that the TBS’s evaluation policy has had a definitive impact on evaluation quality. Depuis les années 1990, au Canada on observe un recours de plus en plus fréquent à l’évaluation. Toutefois, les statistiques démontrent que les ressources allouées à la pratique n’ont pas nécessairement suivi l’augmentation de la demande. Au cours de la même période, bien que d’importants efforts ont été déployés afin d’optimiser la gouvernance, des faiblesses demeurent au sein des processus de gestion du gouvernement fédéral canadien quant aux enjeux reliés aux peuples autochtones. Sachant que l’évaluation peut influencer l’administration des programmes publics, cette étude propose une méta-évaluation de l’évaluation de programme autochtone. Pour ce faire, on a utilisé une méthodologie précédemment utilisée par le Secrétariat du Conseil du Trésor en 2004, lors d’une vaste étude visant à évaluer la qualité de l’évaluation au Canada. Cet article, basé sur l’analyse systématique d’un échantillonnage non probabiliste de plus de 20 rapports d’évaluation des programmes, examine l’application des techniques de la méta-évaluation du SCT en contexte autochtone.