Um compromisso une sete milhões de estudantes brasileiros no fim de semana: o Enem. Para ajudar na preparação para a prova, um simulado proposto pelo site adaptativa.com.br ofereceu, pela primeira vez e gratuitamente, a oportunidade de os alunos testarem seus conhecimentos e receberem notas não só pela parte objetiva da prova, mas também pela redação. Foi a primeira vez que a análise de dissertações foi utilizada, ao menos em larga escala, no Brasil.
Isso porque, quando se fala de provas respondidas por um grande volume de estudantes, questões de múltipla escolha podem trazer o resultado imediatamente, mas a avaliação de questões dissertativas ou redações requer uma inteligência que os programadores do mundo ainda estão tendo dificuldades para desenvolver. Inspirado nas discussões que universidades de todo o mundo têm feito no sentido de qualificar os exercícios oferecidos nos Moocs – para que os de resposta aberta também possam ser corrigidos nos cursos on-line –, o sistema desenvolvido no simulado da Adaptativa colocou os próprios alunos para avaliar as respostas dos colegas. A prova foi dada em parceria com a Folha de S.Paulo.
Funcionava assim: os alunos tinham até uma semana para terminar o simulado, considerando-se as provas de cada um dos quatro eixos do Enem (linguagens, ciências da natureza e humanas e matemática), além da redação. Terminado esse primeiro processo, cada usuário era convidado a avaliar cinco redações escolhidas aleatoriamente e, ao final, também a sua. Para que essa correção fosse a mais próxima possível de uma avaliação profissional, os alunos primeiro assistiam a um vídeo (veja abaixo) que explica os cinco critérios analisados pelos corretores do Enem: domínio de norma culta, adequação ao tema e desenvolvimento de dissertação, defesa embasada de um ponto de vista, coerência e coesão, e proposta de intervenção.
“Primeiro começa com uma espécie de ‘calibragem’. O aluno lê trechos de textos com erros propositais. Enquanto a discrepância entre a nota que ele dá para os cinco critérios e a nota de um professor for grande, ele continua testando com exercícios. Quando as notas se alinham, ele passa para as redações de verdade, explica Hugo Harada, COO e cofundador da Adaptativa. Embora a sugestão que a plataforma dá seja que cada um corrija cinco textos mais o seu, diz Harada, a média de correções por aluno foi de 12.
As notas finais são apresentadas por uma média aritmética dos valores atribuídos pelos colegas. Essa nota, então, é confrontada com a que o aluno se autoatribuiu, para que ele compare como ele e outras pessoas avaliam seu próprio texto. Se quiser, o estudante pode refazer seu texto, de forma a melhorar nos aspectos em que teve mais dificuldade,“com isso, nós estimulamos o aprendizado em rede”, afirma o cofundador.
De acordo com Harada, uma avaliação posterior feita pela equipe mostrou que os as competências que os alunos mais têm dificuldade de avaliar são as que têm mais dificuldade em desenvolver. Assim, os critérios em que os alunos mais tiveram problemas para dar notas foi na avaliação da capacidade argumentativa e da proposta de intervenção. “Eles sabem identificar facilmente uma redação boa. Quando a redação é ruim, mas é longa, ela tendia a receber uma nota melhor”, detalha Hugo.