21.11.08

Porque é errado avaliar os professores pelos resultados dos seus alunos

Fez precisamente ontem um ano, escrevi o seguinte no Bl-g--x-st-:

Há dias, o Abel Baptista fez-me notar em conversa que é possível treinar-se as criancinhas para obterem melhores resultados em testes sem que isso implique uma melhoria da sua educação.

Imaginem o meu sobressalto quando li este parágrafo nas páginas 146 e 147 do Modern Firm: Organizational Design for Performance and Growth de John Roberts, Professor de Economia, Gestão Estratégica e Negócios Internacionais na Graduate School of Business da Universidade de Stanford:
"A popular proposal would pay US public teachers more if their students do better on standardized tests. In contrast, teachers' pay is now usually based on credentials and experience, so the explicit, financial incentives for performance are quite weak (although intrinsic motivation is obviously real and important). Proponents of the proposed reform argue that providing stronger incentives would lead to better performance by teachers and their pupils. In all likelihood it would, in fact, lead teachers to do more of whatever it takes to help their students do well on tests, particularly if the performance element of pay were substantial. However, it would also likely lead them to spend much less time and effort on things that are not measured on the tests. Indeed, in California, where schools' fundings is tied to student performance on standardized tests of mathematics and reading, there are claims that teachers have de-emphasized teaching other sibjects, even though their pay is not directly affected by the test results. Some of these other things may be very important. They include not only other academoc subjects (which could possibly be included in the testing), but also things hard to measure, like helping develop students' characters, teaching ethical behavior, and encouraging good citizenship. Measuring what teachers do on these dimensions in a relatively precise and timely fashion seems very problematic. So merit pay based on test performance is likely to drive these out, although they are provided in the absence of explicit incentives. Even worse, it might lead the least scrupulous teachers to fund inappropriate ways to ensure their students succeed, such as getting hold of the test questions in advance. There actually have been some instances of such behavior in New York state, where performance on the state examinations at the end of high school is hugely important."
Para que não haja dúvidas, o que ele aqui nos diz é que não só a remuneração dos professores em função dos resultados dos testes dos seus alunos, como a mera valorização das escolas com base nesse indicador conduzirá, muito provavelmente, a resultados perversos. Para ser mais específico, provocará a degradação da escola pública.

Convém também perceber o contexto em que surge esta informação. John Roberts não é um economista qualquer: trata-se de um dos maiores especialistas mundiais em economia das organizações e, muito em particular, na teoria dos incentivos. A citação que aqui deixo foi extraída precisamente do capítulo "Motivation in the Modern Firm", no qual ele discute o modo como os incentivos podem ou não funcionar e e em que condições. Portanto, Roberts não é, bem pelo contrário, alguém que se oponha por razões de princípio à gestão por objectivos ou à utilização de incentivos monetários para premiar o esforço nas organizações.

A obra citada supera muito provavelmente neste momento tudo o que se encontra publicado sobre o tema, razão pelo qual foi considerada em 2004 pelo Economist como o melhor livro de gestão do ano.

Pois é, isto da gestão por objectivos é mais complicado do que parece. Nas mãos de gente dada ao honesto estudo e à ponderação, pode contribuir para melhorar a situação de partida. Nas mãos de selvagens ignaros, pode conduzir à barbárie.

3 comentários:

Eduardo Lapa disse...

Sobre avaliação sugiro dois posts:
Falemos de avaliação, falemos de educação., e
http://dotecome.blogspot.com/2008/11/avaliar-o-estado-da-nossa-democracia.html
No 1º post há um link para o segundo.

MFerrer disse...

Mas o sistema de avaliação que está na Lei não dá essa importância aos resultados dos alunos e nunca daria.
Quem confunde esses dois planos e os torna 100 interligados é exactamente quem não quer qq avaliação.
MFerrer

Anónimo disse...

Passeando pelo seu blogue, descubro algo de muito parecido com o que escrevi há algum tempo a propósito deste mesmo livro (fpublica.blogspot.com). Um dos pontos-chave da avaliação, qualquer que ela seja, segundo John Roberts é a reputação de quem avalia. Mais do que o modelo, a questão acaba por ser sempre a de quem avalia.