Consideramos que há quatro aspectos fundamentais para a realização de boas pesquisas em Educação: atenção ao contexto educacional, aplicabilidade, rigor metodológico e boa comunicação com o público alvo. Nesta página, reunimos todos os nossos estudos, organizando-os por temáticas.

CLIQUE E SAIBA MAIS +

Esta página traz livretos, análises e artigos sobre o desempenho dos estudantes brasileiros no Saeb, no Ideb, no Pisa e no Pirls, além de dados do Indicador de Permanência Escolar, criado pelo Iede para mensurar o total de crianças e jovens que abandonam a escola sem ter concluído a Educação Básica.

CLIQUE E SAIBA MAIS +
PT
Contribuições ao Debate - Nova Escola 15/07/2019

Bônus salarial para professor em função do desempenho do aluno em testes é uma política eficaz?

Estudos realizados em diferentes países mostram resultados diversos

Por Ariana Britto e Fabio Waltenberg, para a coluna Pesquisa Aplicada, parceria de Iede e Nova Escola

Na década de 1990, seguindo tendências internacionais, o Brasil assistiu à disseminação dos testes padronizados de avaliação de aprendizagem. Na década seguinte, foram introduzidas políticas que atrelavam a remuneração de professores ao desempenho de alunos nesses testes – por exemplo, na forma de bônus salariais. Atualmente, muitas políticas dessa natureza continuam vigentes, às vezes denominadas “de responsabilização” ou “de incentivo”. Mas será que essas políticas são de fato eficazes e contribuem para a melhoria nos índices de aprendizagem dos estudantes?

Não há fundamentos teóricos no campo da Educação para essas políticas de bonificação. Em geral, elas são propostas por acadêmicos ou gestores inspirados por um ramo da Economia desenvolvido a partir da segunda metade do século XX. O princípio seria de que um agente é contratado por um principal para realizar um conjunto de tarefas visando a produzir um bem ou proporcionar um serviço que interessa ao principal. Na transposição à esfera da Educação, o agente é o professor, o principal é o secretário de Educação, as tarefas consistem em preparar aulas, motivar alunos, organizar o tempo em sala de aula etc., e o fim é que os alunos aprendam determinados conteúdos. O problema é que o empenho do agente no exercício das tarefas não é perfeitamente observável pelo principal – o secretário de Educação não consegue verificar o que ocorre dentro de cada sala de aula. Porém, se algum efeito importante do processo é observável e não pode ser manipulado pelos interessados, então, em princípio é possível implementar uma política de responsabilização. Por exemplo, notas dos alunos em testes padronizados, como Prova Brasil ou seus equivalentes estaduais que são aplicados por avaliadores externos.

Nessas condições, propõe-se atrelar parte da remuneração de professores às notas dos alunos, pressupondo que isto os incentivaria a agir conforme desejado pelo principal (Secretaria de Educação), empenhando-se para ensinar melhor, elevar o aprendizado dos alunos e, em consequência, suas notas. Mesmo supondo que a Secretaria de Educação não saiba exatamente como o professor (agente) deveria agir para alcançar os resultados desejados, acredita-se que, sob esse regime de incentivos, o professor seria capaz de encontrar soluções a dificuldades pedagógicas, disciplinares ou administrativas com que se depara no cotidiano, proporcionando mais aprendizado aos alunos (Trannoy, 1999).

Políticas assim não costumam ser bem recebidas por profissionais da Educação, em particular por sindicatos de professores. Muitos pesquisadores também se opõem à prática. Apesar disso, elas continuam a se difundir no Brasil por governos de diferentes partidos, contando com o respaldo de influentes economistas, gestores e acadêmicos.  O mesmo se observa em outros países. Nos EUA, de Bill Clinton a George W. Bush, de Barack Obama a Donald Trump, todos as mantiveram como peça importante de sua política educacional.

Para apimentar o debate, as evidências sobre tais práticas são inconclusivas: há registro de efeitos positivos, nulos ou até negativos. Às vezes, para um mesmo programa, uma série tem resultado positivo e outra, nulo ou negativo. A fim de ilustrar isso, comentamos abaixo cinco casos emblemáticos de sucesso, de fracasso ou de resultados ambivalentes:

Israel na década de 1990

Um dos casos mais conhecidos e mais precocemente registrados de sucesso de programas de responsabilização ocorreu em Israel na década de 1990, e foi relatado por Lavy (2002). Dentre 62 escolas de Ensino Médio, aquelas cujos alunos se encontravam no terço superior de um ranking de desempenho multidimensional, com controle para o perfil socioeconômico, receberam bônus. Os objetivos eram melhorar o aprendizado e reduzir a evasão. Da bonificação total, três quartos destinavam-se ao pagamento de professores e o restante a melhorias de infraestrutura escolar. O valor do bônus oscilava entre 1% e 3% da remuneração anual média de um professor.

O autor concluiu que pagamentos de bônus salariais estariam associados a um melhor desempenho dos alunos, nos dois anos avaliados para as escolas religiosas, e somente no segundo ano para as demais escolas. Resultados mais claros foram encontrados para alunos de baixo desempenho escolar.

Índia na década de 2000

Exemplo muito conhecido de sucesso provém de contexto bem diferente do israelense: do estado de Andra Pradexe, na Índia, na década de 2000, relatado por Muralidharan e Sundararaman (2011). Foram aleatoriamente selecionadas 500 escolas. O bônus seria relacionado ao aumento das notas dos alunos em testes aplicados em mais de uma data e sob um sofisticado esquema antifraudes. Buscava-se assim evitar críticas comuns: de que as notas de um único dia de testes poderiam não refletir o conhecimento dos alunos e de que testes usados para programas de responsabilização poderiam ser fraudados. Para uma escola receber o bônus, as notas dos alunos deveriam aumentar ao menos 5% em relação à nota do período anterior. O bônus médio girou em torno de 3% do salário anual médio.

Tanto no primeiro como no segundo ano, observaram-se melhorias significativas nas disciplinas básicas (relevantes para o bônus), mas também em outras disciplinas. Nas escolas premiadas, que os professores passaram a dar aulas extras, aplicar testes suplementares e atribuir mais tarefas para casa, foi testada e rejeitada a hipótese de treinamento de alunos especificamente para fazer as provas.

Nova York em 2007

Outro programa-avaliação bastante conhecido refere-se a escolas públicas de Nova York em 2007 e 2008, relatado por Fryer (2013). Ao contrário dos dois anteriores, este programa não registrou êxito, apesar de uma implementação criteriosa, a exemplo da intervenção na Índia. A partir dos requisitos estabelecidos, 198 escolas públicas de Ensino Médio foram selecionadas. O programa foi coordenado pelo sindicato dos professores e pela Secretaria de Educação da cidade. Cada escola tinha uma meta própria, segundo fórmula que levava em conta fatores como notas, variação anual de notas, taxas de conclusão do Ensino Médio, frequência às aulas etc. Se a meta fosse atingida plenamente, a escola teria direito a um bônus de até 4% do salário anual médio, o qual poderia ser distribuído internamente da forma como a escola preferisse – respeitando regras como não usar idade dos professores como critério para uma remuneração desigual. O programa contou com orçamento de cerca de US$ 75 milhões e premiou aproximadamente 20 mil professores.

Fryer (2013) não encontrou evidência de que os incentivos aos professores tenham aumentado o rendimento dos alunos – pelo contrário, encontrou resultados negativos, um dos quais estatisticamente significativo –, e nem que esses incentivos tenham alterado substancialmente o comportamento de professores. Desconcertado, o autor elenca razões para explicar o ocorrido: baixos valores dos bônus; complexidade da fórmula de incentivos; desconhecimento de professores sobre como melhorar o desempenho do aluno; uso de remuneração desigual segundo a idade, contrariamente ao que fora estabelecido, mas acobertado por diferenciação em função do cargo; ineficácia intrínseca de incentivos coletivos.

Programas de bônus no Brasil

Pernambuco
Um programa nacional de bônus por desempenho foi implementado em Pernambuco e relatado por Duarte et al. (2015). Previa um patamar mínimo para pagamento de bônus – atingir ao menos 50% das metas pré-estabelecidas – e o valor pago dependia também de quantas escolas alcançavam esse patamar mínimo. Professores recebiam também um bônus por permanência em uma mesma escola, que poderia chegar a 8% da renda total anual. Foram analisados resultados apenas para alunos do 9º do Ensino Fundamental pertencentes à rede estadual de ensino, tendo como grupo de controle as escolas da rede estadual da Paraíba. Os autores concluíram que o pagamento de bônus teria melhorado as notas dos alunos.

São Paulo
Um programa iniciado em São Paulo foi objeto de duas avaliações (Oshiro e Scorzafave, 2015; Alexandre, 2013) com resultados similares: efeitos positivos para o 5º ano e nulos ou negativos para o 9º ano. Estabeleceu-se um sistema de remuneração variável, atrelada à evolução anual, com base em meta definida para cada escola, do Índice de Desenvolvimento da Educação de São Paulo (IDESP), composto pela nota dos alunos em Português e Matemática no Sistema de Avaliação de Rendimento Escolar de São Paulo (SARESP) e pela taxa média de aprovação da escola. Pago anualmente, o bônus era proporcional ao percentual alcançado da meta e podia atingir em torno de 20% da remuneração anual. No ano analisado pelos estudos, 2009, o montante total de bônus representou R$ 650 milhões, distribuídos a cerca de 210 mil funcionários da rede estadual de ensino. Apesar de o índice considerar apenas Matemática e Português, professores de todas as disciplinas, diretores e funcionários tinham direito ao bônus. Havia restrições ao pagamento de bônus para professores muito faltosos.

Oshiro e Scorzafave (2015) comparam a evolução das notas de alunos de escolas estaduais paulistas impactadas pelo programa com as de alunos de diferentes conjuntos de escolas não afetadas pelo programa (municipais paulistas, estaduais de outros estados etc.), sempre pareando escolas com características semelhantes. Eles concluíram que o programa teve impactos positivos e significativos sobre a proficiência dos alunos do 5º ano em ambas as disciplinas, mas negativos, algumas vezes significativos em termos estatísticos para o 9º ano. A fim de investigar se os resultados de Scorzafave e Oshiro (2015) se deviam a um espaço de tempo muito curto entre o início do programa e a avaliação realizada, Alexandre (2013) replicou parte da análise, mas tendo 2011 como foco. Obteve, contudo, resultados similares: efeitos positivos para o 5º ano e negativos para o 9º ano (todos significativos).

As evidências acerca da eficácia de programas de responsabilização, portanto, não são conclusivas. Nada se sabe sobre o impacto dessas políticas sobre a efetiva motivação dos professores no exercício de seu ofício, nem sobre o nível de aprendizado dos alunos no longo prazo, uma vez que as avaliações disponíveis ativeram-se ao curto prazo. Mas como explicar resultados tão contraditórios? Essa discussão deixamos para a próxima coluna.

Ariana Britto é doutora em Economia pela Universidade Federal Fluminenese (UFF) e professora do IBMEC. Fabio Waltenberg é doutor em economia pela Université Catholique de Louvain, na Bélgica, e professor da UFF.

Referências

Boa parte deste texto e dos resultados relatados provêm do seguinte artigo:

ALEXANDRE, Maraysa Ribeiro; LIMA, Ricardo Sequeira Pedroso de; WALTENBERG, Fábio Domingues. Teoria econômica e problemas com remuneração de professores por resultadosCadernos de Pesquisa, São Paulo, v. 44, n. 151, p. 36-61,  Mar.  2014.

Os demais trabalhos mencionados são os seguintes:

ALEXANDRE, M. R. Programas de responsabilização de professores: quais são seus reais efeitos? Programa de Pós-Graduação em Economia da Universidade Federal Fluminense, Dissertação de mestrado, setembro/2013.

Duarte, Neto e Mota (2015) – a completar

FRYER, G., R. Teacher incentives and student achievement: evidence from New York city public schools. Journal of Labor Economics. 2013; 31(2):373-427.

LAVY, V. “Evaluating the effect of teachers’ group performance incentives on pupil achievement”, Journal of Political Economy, 2002, vol. 110, no.6

MURALIDHARAN, K.; SUNDARARAMAN, V. “Teacher performance pay: Experimental evidence from India”, Journal of Political Economy, vol. 119, no. 1, p. 39-77, 2011

RAVITCH, D. Death and life of the great American school system: how testing and choice are undermining education. Nova Iorque: Basic Books, 2010.

OSHIRO, C. H., SCORZAFAVE, L. G., & DORIGAN, T. A. (Abr-Jun de 2015). Impacto sobre o desempenho escolar do pagamento de bônus aos docentes do ensino fundamental do estado de São Paulo. Revista Brasileira de Economia, 69(2), 213-249.

TRANNOY, A. “L’égalisation de savoirs de base: l’éclairage des théories économiques de la responsabilité et des contrats”. In: MEURET, D. (Éd.). La justice du système éducatif. Bruxelles: De Boeck Université, 1999. (Coleção Pédagogie en développement)

Duarte, G. B., Neto, S., & Mota, R. d. (Abr-Jun de 2015). Estrutura de incentivo e desempenho escolar: Uma avaliação do programa bônus de desempenho educacional do estado de Pernambuco. Revista de Economia do Nordeste, 46(2), 85-99.

Acesse todos os textos da coluna Pesquisa Aplicada