Folha de São Paulo – New York Times – 15/04/13 – Por JOHN MARKOFF
Críticos dizem que correção artificial não tem qualidade
Avaliação de textos feita por software provoca debate
Imagine que, ao fazer um exame da faculdade, em vez de você receber sua nota do professor algumas semanas depois, você possa clicar no botão “Enviar” ao terminar o teste e receber de volta instantaneamente o resultado, tendo sua redação avaliada por um programa de computador. Agora imagine que esse sistema permita que você imediatamente refaça o exame para tentar melhorar a nota.
EdX, uma empresa sem fins lucrativos fundada pela Universidade Harvard e pelo MIT (Instituto de Tecnologia de Massachusetts) para oferecer cursos on-line, lançou esse sistema e vai disponibilizar seu software automatizado de graça na internet para qualquer instituição que queira usá-lo.
O software utiliza inteligência artificial para avaliar as redações e respostas curtas por escrito, liberando os professores para outras tarefas.
Embora os sistemas de notas automáticas para testes de múltipla escolha estejam disseminados, o uso da tecnologia para dar notas a redações ainda não recebeu apoio generalizado de educadores e tem muitos críticos.
Anant Agarwal, presidente da EdX, previu que o software de notas instantâneas seria uma ferramenta pedagógica útil, permitindo que os estudantes façam testes e escrevam redações várias vezes para melhorar a qualidade de suas respostas. “Os alunos nos dizem que estão aprendendo muito mais com o ‘feedback’ instantâneo”, disse o doutor Agarwal.
Mas os céticos dizem que o sistema automático não se compara a professores reais.
Um antigo crítico, Les Perelman, chamou a atenção várias vezes ao criar redações absurdas que enganaram o software, fazendo-o dar notas altas.
“Minha primeira e maior objeção à pesquisa é que eles não fizeram um teste estatístico válido comparando o software com avaliadores humanos”, disse Perelman, diretor de redação aposentado e atual pesquisador no MIT.
Ele faz parte de um grupo de educadores que circula uma petição contra o software de avaliação automática. O grupo já coletou quase 2.000 assinaturas.
“Vamos encarar a realidade das notas de testes automáticos”, diz uma parte da declaração do grupo. “Os computadores não sabem ler. Eles não podem medir os fatores essenciais da comunicação escrita eficaz: precisão, raciocínio, adequação de evidências, bom senso, posicionamento ético, argumentação convincente, organização significativa, clareza e veracidade, entre outros.”
A ferramenta de avaliação EdX exige que professores ou avaliadores humanos primeiro deem nota a cem redações. Então o sistema usa as técnicas de aprendizado mecânico para se treinar e ser capaz de dar notas a qualquer número de redações ou respostas quase instantaneamente.
O software vai atribuir uma nota dependendo do sistema de avaliação criado pelo professor e fornecerá um “feedback” geral, como dizer a um estudante se uma resposta tratava do assunto certo.
O doutor Agarwal acredita que o software se aproxima da capacidade de avaliação humana. “Há um longo caminho a percorrer no aprendizado mecânico, mas ele já é bom o suficiente e a vantagem é muito grande”, disse. “Descobrimos que a qualidade das notas é semelhante à variação encontrada de instrutor para instrutor.”
A EdX não é a primeira a usar tecnologia automatizada de avaliação, que data dos primeiros computadores “mainframe” dos anos 1960. Várias companhias oferecem programas comerciais para dar notas a respostas em testes escritos. Em alguns casos, o software é usado como um “segundo leitor” para verificar a confiabilidade dos avaliadores humanos.
A Universidade Stanford, na Califórnia, anunciou recentemente que vai trabalhar com a EdX para desenvolver um sistema educacional conjunto que incorporará a tecnologia de avaliação automática.
Duas start-ups fundadas recentemente por professores de Stanford para criar “cursos abertos de massa on-line” (Mooc, na sigla em inglês) também se dedicam a sistemas de avaliação automática.
No ano passado, a Fundação Hewlett patrocinou dois prêmios de US$ 100 mil destinados a aperfeiçoar um software que avalia testes de respostas curtas.
Mark D. Shermis, professor da Universidade de Akron, em Ohio, supervisionou o concurso da Fundação Hewlett.
Na opinião dele, a tecnologia -embora imperfeita- tem seu lugar no ambiente educacional.
Com classes cada vez maiores, é impossível para grande parte dos professores dar aos estudantes um “feedback” significativo sobre tarefas de redação, segundo Shermis.
Além disso, ele notou que os críticos da tecnologia tendem a vir das melhores universidades americanas.
“Muitas vezes, eles vêm de instituições muito prestigiosas, onde o ‘feedback’ recebido pelos alunos é muito melhor do que uma máquina seria capaz de dar”, disse o doutor Shermis. “Falta a percepção do que acontece de fato no mundo real.”