O incoerente ranking do Enem

Pesquisador calcula que fatores como o nível socioeconômico dos alunos explicam 75% da nota das instituições no exame e conclui que a divulgação de resultados por escola não é capaz de revelar a influência das unidades de ensino no aprendizado dos aluno

O Exame Nacional do Ensino Médio (Enem) é hoje um dos principais meios para os estudantes ingressarem no ensino superior. Não é de se estranhar, portanto, que a avaliação atraia tanta atenção da sociedade e dos meios de comunicação e gere grande interesse público pela divulgação de dados do exame por escola. Contudo, o uso do Enem para avaliar a qualidade do ensino médio é criticado por diferentes pesquisadores da área. Apesar de o Ministério da Educação já ter declarado que o exame é insuficiente como instrumento de avaliação das instituições escolares, a forma como os resultados têm sido divulgados estimula a criação de rankings das melhores e piores escolas - o que resulta em uma política de responsabilização escolar.

Professor de biologia em uma escola da rede privada de São Paulo, Rodrigo Travitzki constatou em sua tese de doutorado que os resultados apresentados nos rankings estão pouco vinculados ao mérito das escolas. Na tese Enem: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar, defendida na Universidade de São Paulo (USP) em maio de 2013, ele conclui que o nível socioeconômico de seus alunos influencia 75% da nota da escola no Enem. Além disso, outros fatores sobre os quais a escola não tem controle, como religião e cor da pele, têm influência sobre 4% da média. O efeito da escola corresponde a 21% do resultado

Em entrevista concedida ao site de Educação, Travitzki explica a metodologia utilizada para chegar a esses números, fala sobre os conceitos de qualidade educacional e sua importância para definirmos indicadores, além de apontar problemas como as diversas finalidades do exame e a inconsistência de grande parte dos itens.

Como professor de ensino médio há mais de 10 anos, o que você notou de diferente em relação ao Enem no dia a dia em sala de aula?
Eu trabalho em uma escola particular razoavelmente bem cotada no Enem, mas nós procuramos não dar tanta ênfase ao exame e aos vestibulares. Acreditamos que se fizermos bem o trabalho, ele aparecerá nos testes. Mas os alunos se importam muito com o Enem e têm se importado cada vez mais. Uma coisa forte e interessante do Enem é que ele é uma avaliação que pula a escola; é uma relação direta do governo federal com o aluno.

E o que te motivou a pesquisar o exame?
No mestrado, eu estudei um tema muito abstrato. Por isso no doutorado quis estudar algo mais concreto. Meus alunos me perguntavam sobre coisas relacionadas ao exame, como a Teoria da Resposta ao Item ou as competências. Eu comecei a estudar para responder as questões deles e fui me interessando pelo tema. O Enem é hoje uma política pública superimportante, mas se estuda e se sabe pouco sobre ela. Achei que era um assunto sobre o qual a academia deveria se debruçar.

Você dedica um capítulo inteiro da sua tese para discutir o que é qualidade educacional e o que seria uma boa escola. Existe um consenso sobre o que entendemos como uma educação de qualidade? Você acredita que nós temos no Brasil um projeto da educação que queremos?
Essa é a pergunta. E é isso que eu quero estudar no pós-doutorado. Não tenho a resposta, mas posso te falar sensações. O que eu fiz no doutorado foi mapear diferentes conceitos de qualidade e mostrar que hoje em dia se trabalha com uma visão bem limitada, não só no Brasil como no resto do mundo. Na tese eu separei a questão da qualidade em duas: o que é um bom aluno e o que é uma boa escola. Quando perguntamos o que é um bom aluno, é como se estivéssemos perguntando o que é um bom cidadão, porque eu entendo que objetivo da escola é tornar o estudante um bom cidadão. O que eu sinto é que, sim, faz parte da qualidade educacional o estudante saber responder questões, mas é mais do que isso. O que significa formar para a cidadania, por exemplo? A ideia do teste é ensinar as pessoas a competir. Uma coisa é quando o estudante precisa cumprir uma nota mínima para mostrar seu nível; outra é quando o teste diz que os alunos bons são apenas aqueles poucos que vão entrar na universidade. Não interessa se o estudante está acima da média. Se tiver alguém acima dele, ele não é suficientemente bom.  O teste fala pro aluno que ele tem que ser responsável pelas coisas dele, mas também diz que o trabalho é individual, que ele não pode colaborar com o colega. Existem algumas coisas pouco trabalhadas pela escola, que nós chamamos de currículo oculto e que eu acho que faz parte da qualidade da educação: trabalho em grupo, incentivo à educação inclusiva, o ensino de valores sociais e o preparo para a democracia. Esse tipo de atividade não aparece nos números e eu acredito que se não tivermos indicadores dessas coisas, acabamos não as valorizando. Por que os pequenos não têm mais história, por exemplo? Porque o PISA [Programa Internacional de Avaliação de Alunos] só avalia linguagem e matemática [e ciências]. Eu acho que o conceito de qualidade educacional precisa ter várias dimensões e antes de pensarmos em um instrumento de avaliação, devemos pensar o que entendemos como qualidade.

Você cita em sua tese que o Enem tem dois modelos diferentes: um antes de 2009 e um depois. Quais são essas diferenças?
A questão dos dois Enems é uma opinião minha. Alguns pesquisadores acham que eu exagerei um pouco ao quebrar, mas mantenho minha opinião. A primeira diferença do exame de 2009 é o formato de 180 questões em dois dias de prova. Outra mudança fundamental foi na matriz de referência. Até 2008 nós tínhamos cinco competências e 21 habilidades e não era hierárquico. Ou seja, uma habilidade poderia pertencer a mais de uma competência. Em 2009 as competências viraram eixos cognitivos e cada área ganhou competências mais específicas que se ramificam em habilidades. É uma estrutura completamente diferente. O que eu não acho interessante é o número de habilidades [são 120] que acabam não ajudando o professor a planejar o currículo. Eu acho que essas mudanças têm a ver com o fato de o Enem estar se consolidando como vestibular.

Com esse segundo formato, o Enem passou a ter múltiplas funções. O exame atende a tantas finalidades diferentes com eficácia?
Em termos de gerência é fácil ter um instrumento que serve para várias coisas, mas a maioria dos especialistas enxerga problemas nisso. Um exemplo bem simples: se você quer um exame para avaliar a qualidade de ensino de um sistema, o ideal é que ele tenha metade das questões com dificuldade média, um quarto difícil e um quarto fácil, porque, por natureza, a maioria das pessoas se encontra na média. Então uma prova boa para comparar sistemas educacionais deve ter muitas questões médias. Já uma boa prova para selecionar alunos para entrar na universidade deve ter mais questões difíceis, porque não importa o estudante que está no meio, mas o que está na ponta.

E como é o Enem hoje?
Quando eu olho para a prova do Enem, ela me parece uma prova mais fácil. Por incrível que pareça, quando eu vejo os dados constato que a maioria dos alunos vai mal. É uma prova que tem mais questões difíceis do que fáceis.

Então podemos dizer que o Enem está funcionando melhor como uma prova de seleção?
É uma hipótese. Mas no que o Enem se aproxima de funcionar melhor como um vestibular, ele se distancia de funcionar bem para comparação de escolas. Tudo aponta para a necessidade de termos mais indicadores.

Apesar de não ser o foco da sua pesquisa, você também avaliou a qualidade técnica do exame por meio de testes de confiabilidade dos itens. O professor José Francisco Soares, da Universidade Federal de Minas Gerais (UFMG), chegou até a elogiar suas constatações que apontavam um comportamento empírico ruim de alguns itens. O que explica a queda da confiabilidade no novo modelo do Enem?
Uma possível explicação é o menor número de questões: quanto menor a prova, menor deve ser sua confiabilidade. Antes o Enem era uma prova de 63 questões. Hoje são quatro provas de 45.  Uma explicação técnica é essa. Cerca de um terço dos itens do exame de 2009 apresentaram problemas, principalmente nas provas de matemática e ciências da natureza. Itens problemáticos, ou não confiáveis, são aqueles que nos parâmetros técnicos não funcionaram bem quando analisamos a resposta dos alunos. Por exemplo, eu usei um indicador chamado coeficiente bisserial que diz o quanto os alunos que escolheram a alternativa "A" tendiam a ser mais ou menos habilidosos. A ideia é que uma boa questão vai ter um coeficiente bisserial positivo na alternativa certa. Ou seja, se a alternativa certa é a "C", os mais habilidosos tendem a escolhê-la. Uma questão tecnicamente ruim tem um distrator que distraiu demais - então um aluno muito inteligente acaba escolhendo a alternativa errada.

O desempenho de uma escola no Enem é explicado principalmente pelo fator socioeconômico - ele influencia 75% da nota. Como você chegou a esse número?
É uma técnica chamada regressão de nível. Eu usei os dados dos questionários do Enem para criar um indicador de Nível Socioeconômico (NSE) para cada aluno. Para isso usei critérios como escolaridade dos pais, renda familiar e bens domiciliares. A partir do número de cada aluno eu tirei a média da escola. Usei também outras variáveis como cor da pele, religião, estado. Um monte de coisas que influenciam a nota da escola estatisticamente, mas não estão sob o controle dela. O NSE representa 75% da média da uma escola. Se juntar tudo que a escola não pode controlar, chega a 79%. O importante disso é pensar o que o ranking do Enem está nos mostrando e se devemos usá-lo como um indicador de qualidade sério que vai influenciar a valorização de uma escola ou outra. É importante destacar que da forma como é feito hoje, estamos avaliando somente 21% do trabalho da escola.

Por que a influência do nível socioeconômico é maior nas médias das escolas do que na nota individual do aluno?
Isso pode ser interpretado de duas formas. A primeira é que é um fenômeno estatístico. Em geral, médias são mais estáveis do que números individuais. Ou seja, se comportam de maneira mais previsível do que o número bruto. Educacionalmente, isso quer dizer que se uma escola é mais pobre ela está quase fadada a ter uma colocação ruim no ranking do Enem. Já o aluno que é individualmente mais pobre, não irá, necessariamente, pior no ranking. O que eu estou analisando e achando mais problemático é que uma escola que tem alunos de baixa renda dificilmente vai estar no topo do ranking, por mais que ela seja boa. E a grande questão é essa em termos de política pública: o problema educacional é quem está embaixo.  Eu acredito que a escola não pode ser uma caixa preta; ela tem que divulgar os seus resultados. A questão é saber que tipo de resultados deve ser divulgado, como e para quem. Na Espanha, é proibido divulgar rankings para evitar o efeito de retroalimentação. Se 80% da nota do Enem é determinada por coisas quenão estão sob o controle da escola, ao publicar o ranking você tende a favorecer escolas que já têm resultado favorável. Por isso eu publiquei na tese um ranking alternativo, para mostrar escolas que têm um alto efeito-escola.

Como ficou esse ranking alternativo comparado ao oficial?
Um terço das escolas acima da média no ranking oficial está abaixo da média segundo o efeito-escola. São escolas que foram valorizadas, mas talvez não estejam ajudando o aluno pensando do seu ponto de partida. Mas o mais problemático é que 20% das escolas que estavam abaixo da média no ranking oficial estão acima de acordo com o efeito-escola. Provavelmente são escolas públicas que trabalham em condições desfavoráveis e mesmo assim têm resultado acima do esperado. Isso é grave, pois estimulamos o sucateamento de escolas boas. Não podemos supervalorizar o ranking.