Towards Evidence-Based Policy for Canadian Education/Vers des politiques canadiennes d'éducation fondées sur la recherche
Patrice de Broucker and Arthur Sweetman (eds.), 2002 (Paper ISBN: 0-88911-946-5 $29.95) (Cloth ISBN: 0-88911-944-9 $65.00)

Jump to

CONTENTS

INTRODUCTION

(The English version follows.)

Notre société est de plus en plus désireuse de voir s'améliorer l'expérience et les résultats de ses étudiants, et une prise de décision fondée sur les résultats de recherche est caractéristique de ce processus d'innovation. Des personnes impliquées dans le développement et l'utilisation de la recherche empirique en éducation se sont réunies pour produire ce volume en espérant qu'il apportera une contribution aux débats en cours. Un effort particulier a été fourni pour élargir le discours plus qu'il n'est habituel dans ce genre d'ouvrage, en invitant des contributions venant de personnes de différents horizons, qui n'ont pas tellement l'habitude de travailler ensemble. En résultat, les sujets abordés sont variés et vastes. Les divergences d'opinions sont parfois substantielles, ce qui donne force à l'ouvrage. À titre d'exemple, les économistes tendent à s'intéresser aux résultats à long terme, sans toujours les relier étroitement aux détails des système éducatifs, tandis que les universitaires des facultés d'éducation concentrent plus leurs analyses sur des résultats à plus court terme au sein du système ou immédiatement après la fin de la scolarité. Bien que les chapitres de ce volume traitent presque exclusivement du contexte canadien, cette introduction mettra d'abord un des aspects du système en contexte international, avant de donner un aperçu des diverses contributions, en mettant l'accent sur les interactions et les divergences que reflètent les diverses perspectives.

Dans une perspective internationale, on peut raisonnablement conclure que les résultats actuels des étudiants canadiens sont plutôt bons. Il est très commun de ne se pencher que sur les problèmes - et ils existent bien -, et ceux-ci font souvent la une des médias, alors que l'on n'accorde pas aussi souvent la même place aux nouvelles qui situent le Canada en bonne position internationale. Si l'on se penche sur les derniers résultats d'une évaluation internationale des acquis des élèves (Figure 1), les notes moyennes des Canadiens sont plus que respectables. Et, bien que cela n'apparaisse pas dans cette figure, ces résultats sont acquis sans que ce soit au détriment d'une certaine égalité. Ce classement des pays compare les notes moyennes obtenues par les jeunes de 15 ans, en lecture, mathématiques et sciences, publiées dans le récent rapport de l'Organisation de coopération et de développement économiques (OCDE). Ces notes moyennes sont présentées pour les différents pays et pour les provinces canadiennes. Clairement, le Canada aligne des performances de haut niveau dans les trois matières, et certaines provinces présentent des résultats tout simplement remarquables. On constate également que même les provinces dont les notes moyennes se situent en dessous de la moyenne canadienne présentent des notes qui sont tout de même comparables à celles des États-Unis.

Parmi ces comparaisons, qui sont en petit nombre, celle-ci est la plus récente et place le Canada dans une excellente position. Mais les résultats de la Troisième enquête internationale sur les mathématiques et les sciences (TEIMS-95 et TEIMS-99) n'étaient pas très différents. Dans la mesure où la société du savoir devient une réalité et où les exigences scolaires s'élèvent d'une cohorte d'âge à la suivante, on ne peut cependant se reposer sur ses lauriers. Les autres pays perçoivent des besoins futurs similaires et travaillent à l'amélioration de leur système scolaire.

Bien sûr, nombreux sont ceux qui mettent en avant (y compris, dans ce volume, par exemple, Harvey Weiner de la Fédération canadienne des enseignantes et enseignants, et les économistes David Green et Craig Riddell) que de telles évaluations ne cernent qu'une fraction de ce qui se passe dans les écoles, de ce que les étudiants retiennent de l'enseignement, et des aspects des études qui sont valorisés sur le marché du travail. Il n'y a, cependant, aucune raison de croire que le système canadien ne fait pas aussi bien dans d'autres dimensions. Malgré ces bonnes nouvelles, il n'y a pas non plus de raison de penser que nous avons pleinement réalisé notre potentiel.

Vouloir que des résultats de recherche soient utilisés pour améliorer ce que les étudiants retirent de leurs études implique le développement de données utiles, leur analyse, leur diffusion, qu'ensuite elles suscitent des débats dans les milieux de l'éducation, politiques et autres, pour qu'enfin elles engendrent des changements positifs. Les trois premiers chapitres de ce volume abordent ces vastes questions. Dans « Knowledge and Action in Educational Policy and Politics », Benjamin Levin met l'accent sur l'importance potentielle des résultats de recherche en sciences sociales dans le processus décisionnel en politique. Pour ceux qui connaissent peu le processus politique qui ferait (ou non) passer des résultats de recherche dans les politiques de l'éducation et dans les pratiques, c'est une lecture des plus inspirante. Lorna Earl, de son côté, regarde ces développements d'un oil très différent dans « Data, Data Everywhere (and we don't know what to do) ». Elle jette son regard sur les enseignants et les directeurs d'école, et les défis qu'ils rencontrent en exerçant dans un environnement où l'imputabilité prend une place croissante. Tout en en soulignant les bénéfices potentiels, elle présente aussi les raisons pour lesquelles la communication devient si importante et préconise une utilisation prudente des données, puisque leur interprétation n'est pas une science exacte. Dans « Do Education Systems Count ? The Role of Administrative and Assessment Data », Victor Glickman présente avec force la valeur de recherches menées avec soin en utilisant les données régulièrement collectées par le système scolaire. Il donne l'exemple du développement d'archives de données éducatives en Colombie-Britannique, qui permet à l'universitaire, au district scolaire et à l'analyste de politique de lier des changements de résultats observés aux initiatives systémiques et ainsi de mieux identifier celles qui rencontrent le succès.

Des exemples d'évaluation de programmes d'éducation et de formation employant des données du même genre que celles suggérées par Glickman sont présentés dans le chapitre suivant, par, William Warburton et Rebecca Warburton. Dans « Should the Government Sponsor Training for the Disadvantaged ? », ils fournissent non seulement des résultats prudents quant à l'efficacité de programmes particuliers, mais ils exposent une stratégie pour le développement et l'interprétation de tels résultats. Le chapitre introduit aussi le concept d'une « relation de causalité » inhérente au programme, c'est-à-dire la différence entre ce qu'aurait été l'expérience des participants s'ils n'étaient pas passés par le programme et celle qui a résulté de leur participation au programme. Ce concept vaut la peine que l'on s'y attarde puisqu'il est repris dans plusieurs chapitres et commentaires, y compris ceux qui suivent de Thomas Lemieux, et Green et Riddell. La plupart des chercheurs reconnaissent que le concept est crucial, même si sa mesure est parfois controversée : en l'absence d'une telle relation de cause à effet, pourquoi enseignerait-on ? Pourquoi innoverait-on ?

En partie, la controverse a pris corps parce qu'il y a eu un mouvement ces dernières années vers une analyse empirique plus rigoureuse qui a mis l'accent sur la mesure de la « causalité », ce qui est démontré dans plusieurs chapitres de ce volume. Une des approches se fonde sur le travail fécond de Donald Campbell (1969) en psychologie, qui utilise des réformes institutionnelles ou politiques comme des situations quasi-expérimentales (ou d'expérimentation « naturelle »). Cette littérature s'inspire aussi beaucoup des recherches sur les services de santé et l'« expérimentation sociale ».

Deux distinctions importantes concernant les études de causalité ont été discutées dans la production de ce volume. La première est la nature con-textuelle de l'interprétation. Pour fixer les idées, considérez une expérimenta-tion sociale bien connue dans le domaine de l'éducation : le Projet STAR (« Student/Teacher Achievement Ratio ») du Tennessee (voir Folger et Breda, 1989; Finn et Achilles, 1990). Dans le cadre de ce projet, 11 600 enfants ont été assignés de façon aléatoire dans des classes de jardin d'enfants et de 1ère à 3ème année de tailles différentes. Étant donné le caractère aléatoire de la répartition des élèves, on peut donner à l'effet taille de classe une interpréta-tion en terme de causalité. Toutefois, la généralisation des résultats pose problème. Ils reflètent non seulement la taille de la classe mais aussi les caractéristiques de la classe, des étudiants et éventuellement d'autres caractéristiques reliées qui étaient présentes au moment de l'expérience. En situation différente, peut-être suite à des ajustements de style d'enseignement pour tirer parti des classes de taille réduite, ces évaluations d'impact ne sont plus valables. Sans conclure que l'information tirée de telles expérimenta-tions n'a pas de valeur, cela oblige à une interprétation plus nuancée.

La seconde distinction implique l'identification du groupe auquel s'applique la relation de cause à effet. La causalité est parfois conceptualisée au niveau de l'individu. Cependant, les estimations effectuées en recherche sur l'éducation sont des moyennes - qui ne peuvent être le reflet de la situation d'un individu particulier. Les débats tournent alors fréquemment autour de l'identification du groupe pour lequel l'estimation prévaut. Dans le cas d'une quasi-expérimentation, par exemple, il est fréquent que la relation de cause à effet prévale pour le groupe précis ou le groupe en marge qui est affecté par le changement politique ou institutionnel (par exemple, ceux qui entrent, ou sortent, du programme), mais qu'elle n'affecte pas forcément chacun des participants du programme.

Nelly McEwen, dans le chapitre « Improving Educational Performance in Alberta », rappelle qu'une vaste littérature de recherche en éducation soutient l'idée que l'école a un impact puissant sur les performances scolaires et qu'il est important d'identifier les interventions particulières qui ont un effet positif. Elle décrit alors une structure de gouvernance à la grandeur de la province, qui facilite des interventions initiées et opérées localement, mais au sein d'un cadre d'imputabilité défini au niveau de la province. Sans pousser l'argument dans le détail comme le fait McEwen, la relation de causalité est aussi invoquée dans « Les indices socio-économiques, outil de politique de l'éducation au Québec » présenté par Vàn Hap Guy Hô et Guy Legault. Ils décrivent des outils statistiques développés par la recherche et un cadre de politique pour aider les étudiants du primaire et du secondaire de milieux socio-économiques défavorisés. L'idée est ici de faire un effort très sérieux pour réduire l'inégalité dans les résultats scolaires par la mise en place d'un niveau de ressources adapté aux besoins identifiés. Ces deux initiatives sont passionnantes et reflètent une des particularités de l'éducation dans le contexte canadien : c'est un amalgame de systèmes qui permet l'expérimentation au niveau provincial. On peut apprendre beaucoup des innovations régionales et des comparaisons inter-juridictionnelles, et ce livre en a tiré profit.

Chacun des sept ou huit chapitres qui suivent celui de Hô et Legault implique des données d'évaluations à grande échelle. Robert Crocker ouvre cette série en présentant une revue critique du Programme d'indicateurs du rendement scolaire (PIRS) dans « A Decade of SAIP ». Dans un examen de haute qualité, il trouve des différences substantielles entre les juridictions sur beaucoup d'aspects importants du fonctionnement de l'école, de l'enseignement et de l'apprentissage, des attitudes et habitudes des étudiants, mais soutient que le PIRS n'a pas encore livré son potentiel de recherche. Il constate que nous avons encore une forte dépendance à l'égard de la recherche américaine, alors que le Canada a besoin d'établir son propre agenda de recherche sur les politiques de l'éducation puisque les systèmes sont tout à fait différents. Dans le chapitre suivant, « SAIP : Bridging the Gap to Jurisdictional Assessments », Gilles Fournier présente la raison d'être et le développement du PIRS et discute de son avenir.

David Robitaille nous introduit à la Troisième enquête internationale sur les mathématiques et les sciences (TEIMS) dans le chapitre suivant, « The Relevance of TIMSS for Policy-Making in Education ». En permettant des comparaisons internationales et inter-provinciales et en mettant l'accent sur la salle de classe, les enseignants et le programme scolaire, la TEIMS est un outil très important pour comprendre ce qui marche en éducation. Comme Crocker, Robitaille soutient qu'il y a encore beaucoup de recherches utiles à entreprendre. Yanhong Zhang répond à cet appel avec « The Distribution of Access to Educational Resources for 8th Grade Math in Canada : How Equitable Is It ? », un exemple du type de recherche que Robitaille préconise. Zhang découvre une relation entre les notes obtenues aux tests et les variables de ressources et de processus qu'il mesure, et observe que ces ressources et autres caractéristiques du processus éducatif ne se retrouvent pas à des niveaux égaux dans les différentes provinces. L'adéquation des ressources affectées à l'enseignement des mathématiques et la familiarité auto-déclarée des enseignants avec le programme apparaissent comme des facteurs particulièrement importants contribuant à l'explication de la réussite scolaire. En relation avec ces remarques, Richard Jones examine quelques travaux remarquables dans « TIMSS in Ontario: Providing Information for Educational Improvement ». L'Office de la qualité et de la responsabilité en éducation (OQRE) de l'Ontario a cherché à comprendre les résultats des étudiants de la province et a préparé des guides pour les enseignants, qui rendent l'enquête directement pertinente au travail en salle de classe. Les guides décrivent les erreurs typiques et les idées fausses trouvées par une analyse minutieuse des résultats de la TEIMS en parallèle avec les programmes scolaires. Les chapitres de Zhang et Jones donnent des exemples de l'utilité de la TEIMS pour l'éducation au Canada. Clairement, les évaluations internationales, pan-canadiennes ou provinciales à grande échelle demeureront des outils essentiels dans la mesure où elles servent de baromètre pour une mesure absolue et relative de la performance des systèmes. Dans un tel contexte, Don Klinger offre un avertissement quant aux problèmes qui peuvent résulter de pratiques d'évaluation changeantes et donne des raisons de porter davantage d'attention à la planification et au suivi avant la mise en ouvre de telles évaluations.

Darren Lauzon traite ensuite des « Gender Differences in Large-Scale, Quantitative Assessments of Mathematics and Science Achievement » et soutient que de telles différences semblent diminuer en ampleur et qu'elles peuvent provenir, en partie au moins, de questions techniques liées à la nature des évaluations et aux procédures de notations adoptées (qu'il illustre avec la TEIMS). Dans son commentaire de ce texte, qui démontre la haute qualité du travail effectué au sein de conseils scolaires canadiens, Marjorie Clegg présente des résultats sur les différences selon le sexe dans le Ottawa-Carleton District School Board. C'est une lecture extrêmement informative non seulement pour ceux intéressés par des différences de performance scolaire selon le sexe, mais aussi pour ceux qu'intéressent la nature et l'utilisation de la recherche empirique à l'intérieur d'un conseil scolaire.

Dans une recherche appropriée au contexte canadien actuel, John Bishop étudie les politiques d'examen dans « School Choice, Exams and Achievement ». Son argument principal est que des examens de fin d'études externes basés sur les programmes scolaires sont associés à de meilleurs résultats scolaires moyens et sont une des raisons des succès enregistrés au Canada. Il démontre l'impact de tels examens même trois ou quatre ans avant l'année dans laquelle l'examen est passé et suggère que l'examen ne compte pas pour plus de 50% de la note finale.

En mettant l'accent sur la valorisation de l'éducation sur le marché du travail, Ana Ferrer et Craig Riddell étudient les effets du nombre d'années de scolarité et des diplômes reçus (« effet de diplôme »). Ils constatent que tous les deux sont associés à de plus hauts revenus, mais notent des différences importantes selon les diplômes et les combinaisons de diplômes. Dans le chapitre d'Huguette Bernard, « L'évaluation de l'enseignement universitaire : succès ou échec », l'attention se porte sur l'évaluation de l'enseignement à l'université. C'est une exploration dans un secteur qui requiert beaucoup de travail si l'on veut améliorer la qualité de l'expérience des étudiants dans le milieu universitaire.

Étant donné que le Canada figure parmi les pays qui dépensent le plus au titre de l'éducation, et que les Canadiens sont parmi les plus scolarisés dans le monde, d'aucuns estiment que les Canadiens sont « sur-scolarisés ». Dans le dernier chapitre du volume, Riddell soutient qu'une demande croissante des compétences produites par le système éducatif s'est manifestée sur le marché du travail et que la croissance de l'offre de compétences y a répondu de manière appropriée. De plus, cette augmentation du niveau d'éducation a exercé un effet modérateur sur l'inégalité des revenus.

Plusieurs thèmes sont repris dans les réflexions de la fin du volume. D'abord, en comparaison avec le système de santé canadien, il y a beaucoup moins de recherches et de résultats tangibles sur lesquels s'appuyer pour l'analyse des questions sur l'éducation au Canada. En second lieu, il y a un besoin d'impliquer un éventail plus large de personnes que des chercheurs dans la détermination des questions de recherche pertinentes. Et, troisièmement, il est aussi nécessaire de dépasser le facile à mesurer, pour développer un jeu plus large d'indicateurs de l'éducation.

* * *

Our society is increasingly interested in improving the educational experience and outcomes of students, and evidence-based decision-making is a feature of that innovation process. Individuals involved in the development and use of evidence in education have come together in this volume, and there is a common hope that it will make a contribution to the ongoing conversation. An effort has been made to broaden the discourse more than is usual in a single book by inviting individuals from groups that do not normally interact very much to contribute. As a result, the topics addressed are wide-ranging. Divergences in interests are sometimes substantive, and this is one of the strengths of the volume. For example, contributors with an economics perspective tend to focus on long-term outcomes but not link them firmly to the details of the education system, whereas academics from education faculties are more likely to focus on shorter run "in-school" or immediate post-school outcomes. Although the essays in this volume focus almost exclusively on the Canadian context, this introduction will first put one aspect of the system into international perspective before it turns to a brief overview of the contributions, with a focus on the interactions, and divergences, of the various perspectives.

Looking internationally, a very reasonable conclusion is that current Canadian students' outcomes are quite good. It is all too common to focus on problems, and they certainly exist, but problems are in fact "news" (and often covered by the news media), whereas the "un-newsworthy" is mostly good compared to that experienced by other countries. Looking at the most recent international assessment, in Figure 1, the Canadian average score is more than respectable. And, although not displayed in the figure, this is achieved without sacrificing equality of outcomes. This "league table" compares mean scores in reading, mathematics and science from the recently released Organisation for Economic Co-operation and Development (OECD) report that looks at 15-year-olds. National averages are presented, along with provincial ones for Canada. Clearly, Canada does well in all three subjects, and some provinces are outstanding. However, notice that even those Canadian jurisdictions below the national average have mean scores that are statistically indistinguishable from, or above, those for the United States.

Of the handful of such international comparisons that exist, this is the most recent and puts Canada into the best light. But the Third International Mathematics and Science Study (TIMSS and TIMSS-R) results, conducted in 1995 and 1999, are not that dissimilar. Since many believe that society is increasingly knowledge-oriented, and that educational requirements are increasing for successive birth cohorts, there is, however, little inducement for Canada to rest on its laurels. Other countries appear to see similar future needs, and are striving to improve their educational systems.

Of course, it is argued by many - including, in this volume, for example, Harvey Weiner of the Canadian Teachers' Federation and economists David Green and Craig Riddell - that such assessments capture only a fraction of what occurs in schools, what education imparts to students, and the aspects of schooling that are valued in the labour market. There is, however, no reason to believe that the Canadian system is not doing equally well on other dimensions. Despite this good news, there is no sense that we have achieved the best possible.

Using evidence to improve what students take away from their studies involves developing useful data, analyzing it, and disseminating and debating findings in educational, political and other contexts so as to effect positive change. The first three papers in this volume address these broad issues. "Knowledge and Action in Educational Policy and Politics", by Benjamin Levin, focuses on the salience of social science evidence in policy-making. For those unfamiliar with the political process involved in evidence becoming (or failing to become) educational policy and practice, this is useful reading. Lorna Earl looks through a very different lens in "Data, Data Everywhere (and we don't know what to do)". She focuses on teachers and principals and the challenges they face moving into an increasingly evidence-based environment. While pointing to the potential benefits, she also argues for the importance of communication and the careful use of data since interpretation is not an objective science. In "Do Education Systems Count? The Role of Administrative and Assessment Data" Victor Glickman makes a strong case for the value of research using data that is collected by the school system. He points to the development of an educational data archive in British Columbia that allows academic, school district and policy partners to link changes in outcomes to systemic initiatives and thus better identify success.

Examples of the evaluation of educational and training programs using data akin to that suggested by Glickman are presented in the subsequent paper by William Warburton and Rebecca Warburton. In "Should the Government Sponsor Training for the Disadvantaged?" they not only provide careful evidence about particular programs' efficacy, but they lay out a strategy for developing and interpreting such evidence. The paper also introduces the concept of a program's "causal impact", that is, the difference between what participants would have experienced had they not taken the program and the actual outcomes following it. This concept is worth dwelling on since it comes up in many papers and commentaries, including the papers that follow by Thomas Lemieux, and Green and Riddell. Most would agree that the concept is crucial, even if measuring it can be controversial: In the absence of a causal impact, why educate? why innovate? (It is worth noting, for those with a postmodern decentered bent, that this causality is always interpreted within a particular paradigm.)

In part, some controversy exists because there has been a move in recent years to more rigorous empirical analysis with a focus on measuring "causality", and this emphasis is evident throughout the volume. One approach builds on and generalizes Donald Campbell's (1969) seminal work in psychology that uses institutional or policy "reforms" as quasi- (or natural-) experiments. This literature also draws heavily on medical and health services research, and includes "social experiments".

Two important distinctions concerning causal studies were discussed in the production of this volume. The first is the contextual nature of interpretation. To fix ideas, consider a well-known social experiment in education: the Tennessee student-teacher achievement ratio (STAR) experiment (see Folger and Breda, 1989; Finn and Achilles, 1990). This program randomly assigned 11,600 children to varying class sizes in kindergarten and grades 1 through 3. Given randomization, the class-size effects are impacts - that is, they have a causal interpretation - however, generalizability is an issue. They reflect class size and the classroom, student and related characteristics that existed at the time of the experiment. If the situation changes, perhaps teaching styles adjust to take better advantage of smaller classes, then the estimated impacts are no longer appropriate. This does not imply the experiment's information is not of value, but it nuances the interpretation.

The second distinction involves identifying the group for whom the causal impact applies. Causality is sometimes conceptualized as occurring at the level of the individual. However, estimates in educational research are averages - which may not be correct for any particular individual. Debate frequently revolves around identifying the group for whom the estimate "matters". In the case of a quasi-experiments, for example, it is commonly the case that the impact is for the "local" or "marginal" group that is affected by the policy or institutional change (e.g., those that start, or stop, participating), not for everyone in the program.

Nelly McEwen, in her essay "Improving Educational Performance in Alberta", argues that an extensive research literature in education supports the idea that schools have powerful impacts on achievement, and that it is important to decide if particular interventions have a positive effect. She then outlines a provincewide governance structure that facilitates locally initiated and operated interventions, but within a provincial accountability framework. Without making the detailed argument that McEwen does, causality is also invoked in "Les indices socio-économiques, outil de politique de l'éducation au Québec" presented by Vàn Hap Guy Hô and Guy Legault. They describe statistical tools developed through research, and a policy framework to aid primary and secondary students from low socio-economic status (SES) backgrounds. The idea here is to make a very serious effort to reduce inequality in educational outcomes through the provision of a level of resources adapted to identified needs. These two initiatives are extremely exciting, and reflect one of the features of Canadian education: it is an amalgam of systems that allows provincial experimentation. Much can be learned from regional innovations and interjurisdictional comparisons, and this book takes advantage of this.

Each of the seven or eight essays following Hô and Legault's involve large-scale assessment data. Robert Crocker opens this sequence by reviewing the School Achievement Indicators Program (SAIP) in "A Decade of SAIP". In a high quality review, he finds "substantial differences across jurisdictions on many important aspects of school functioning, teaching and learning, and student attitudes and habits", but argues that SAIP has not realized its potential. He sees a reliance on American research, whereas Canada requires its own educational policy research agenda since the systems are quite different. In the following article, "SAIP: Bridging the Gap to Jurisdictional Assessments", Gilles Fournier lays out the motivation and development of SAIP, and looks to its future.

David Robitaille introduces the Third International Mathematics and Science Study (TIMSS) in the next article, "The Relevance of TIMSS for Policy-Making in Education". Allowing for both international and interprovincial comparisons, and with a focus on classrooms, teachers and curriculum, the TIMSS is a very important tool for "understanding 'what works' in education". Like Crocker, Robitaille argues that there is much useful analysis yet to be done. Yanhong Zhang answers this call with "The Distribution of Access to Educational Resources for 8th Grade Math in Canada: How Equitable Is It?", an exemplary of the type of research Robitaille advocates. Zhang finds a relationship between test scores, and the resources and processes he measures, and observes that the latter are unequally distributed across provinces. The adequacy of math instructional resources, and the teachers' self-reported familiarity with the curriculum, are found to be particularly important. Relatedly, Richard Jones discusses some remarkable work in "TIMSS in Ontario: Providing Information for Educational Improvement." That province's Education Quality and Accountability Office (EQAO) has expended considerable effort in understanding Ontario students' results and has developed guides for teachers that make the survey relevant in the classroom. The guides describe the "types of errors and misconceptions found through the analysis of the TIMSS results" with links to the Ontario curriculum. The Zhang and Jones papers exemplify the usefulness of the TIMSS to Canadian education. Clearly, large-scale international, pan-Canadian or provincial assessments are here to stay as they serve as a useful absolute and relative measure of system performance. In such a context, Don Klinger offers a warning about problems that can arise from changing assessment practices, and argues for more planning and evaluation prior to implementation.

Darren Lauzon looks next at "Gender Differences in Large-Scale, Quantitative Assessments of Mathematics and Science Achievement" and argues that such gaps appear to be reducing in magnitude, and in part result from technical issues involving the nature of the test and the scoring procedure employed (which he illustrates using the TIMSS). In her commentary, which demonstrates the high quality of work being done by some Canadian school boards, Marjorie Clegg presents results from the Ottawa-Carleton District School Board. This is worthwhile reading not only for those interested in gender differences, but also for those interested in the nature and use of empirical research inside a school board.

In a relevant piece for the current Canadian environment, John Bishop provides evidence regarding exam policy in "School Choice, Exams and Achievement". His main argument is that curriculum-based external exit examinations are associated with very desirable educational outcomes, and are one of the reasons for Canada's educational success. He demonstrates their impacts three or four years before the grades in which the exam is taken, and suggests that they should be "medium stakes".

Focusing on the value of education in the labour market, Ana Ferrer and Craig Riddell study the effects of years in school and credential receipt ("sheepskin" effects). They find that both are associated with increased earnings, but identify large differences across credentials, and combinations of credentials. In Huguette Bernard's paper "L'évaluation de l'enseignement universitaire: succès ou échec" attention turns to evaluating university teaching. This is an exploration in an area where much work is required if the quality of students' experience is to be improved.

Given that Canada spends more than most countries on education, and that Canadians are among the most highly educated in the world, there are suggestions from some quarters that Canadians are over-educated. In the final paper in the volume, Riddell argues that the labour market has experienced increasing demands for the skills produced by education, and the increased supply has been an appropriate response. Further, this increased education has moderated income inequality.

Several themes are taken up in the reflections at the end of the volume. First, compared to the Canadian health system, there is much less research and evidence brought to bear on Canadian educational issues. Second, there is a need to involve a broader set of people than researchers in considering research issues. And, third, there is a need to move beyond the easy to measure, to a broader set of educational indicators.

Références / References

Ashenfelter, O. and D. Card, eds. (1999), Handbook of Labor Economics, Vol. 3 (New York: North Holland).

Campbell, D.T. (1969), "Reforms as Experiments", American Psychologist 24, 409-429.

Finn, J.D. and C.M. Achilles (1990), "Answers and Questions about Class Size: A Statewide Experiment", American Education Research Journal 27, 557-577.

Folger, J. and C. Breda (1989), "Evidence from Project STAR about Class Size and Student Achievement", Peabody Journal of Education 67(1), 17-33.

Return to Top

©2002 John Deutsch Institute, Queen's University