Quando seu filho chega da escola com uma marca vermelha inescrutável nos resultados do teste (o que 153 significa mesmo? Está fora de 200? 154?) Sua primeira pergunta é provavelmente "qual foi a pontuação média?" Seu filho não precisa ser um gênio, mas é bom saber que ele ou ela é pelo menos mediano. É por isso que as descobertas egoístas, mas aparentemente legítimas, de um estudo conduzido pela ferramenta de avaliação online Gradescope com base em rubricas são tão enervantes. Há muito tempo que notas ruins em matemática são entendidas pelas lentes da matemática ruim.
“Não existe um aluno mediano,” Liz Carlson, da Gradescope, declara no blog da empresa. Na verdade, o estudo relata que, de 1.500 alunos de ciência da computação que enviaram respostas a sete questões do exame final, apenas 1 pontuou dentro da média de 20 por cento em todas as sete questões. A equipe de Gradescope analisou dados de classificação de um curso de ciência da computação para 1.500 alunos, que consistia em sete questões e 26 subquestões. Uma pontuação perfeita foi (de alguma forma?) 80, e a pontuação média entre os alunos foi 46. Ainda assim, os pesquisadores descobriram que apenas um dos alunos obteve uma pontuação média de 20% em todas as sete questões.
Menos de 1 em 25 alunos pontuaram dentro da faixa média em cinco ou mais questões. Quase 25 por cento dos alunos não obtiveram notas médias em uma única pergunta.
Agora, o estudo de Gradescope não foi publicado em uma revista revisada por pares e os pesquisadores têm conflitos de interesse substanciais. Os resultados indicam, por exemplo, que uma abordagem mais individualizada e detalhada para a classificação é necessária - e acontece que é exatamente o que Gradescope está vendendo. No entanto, as descobertas fazem echo pesquisa anterior isso sugere que os padrões uniformes, como os testes, estão desatualizados e que os alunos realmente médios (e as pessoas em geral) provavelmente não existem.
Ainda mais confuso, entre o punhado de alunos que obtiveram pontuações gerais dentro de 20 por cento da média (ou seja, entre 41,4 e 50,6) não menos do que 14 não tiveram pontuações que caíram dentro da média de 20 por cento em qualquer um dos sete perguntas. Em outras palavras, suas notas gerais eram médias, mas seus desempenhos nas questões individuais dos testes não. As descobertas requerem acompanhamento e revisão por pares, mas sugerem amplamente que a classificação em uma curva - e de fato, a classificação convencional como a conhecemos - falha em capturar os pontos fortes e fracos dos alunos.
“Descobrimos que a discrepância entre os alunos com pontuação média pode ser superior a 40% - uma diferença verdadeiramente significativa no que exatamente cada aluno aprendeu ”, escreve Carlson. “Vimos dois alunos que obtiveram 51,5 dos 80 pontos no exame. Apesar de ganhar uma pontuação idêntica, eles tiveram 67 discrepâncias de itens de rubrica entre eles, ou quase 44 por cento de todos os itens de rubrica. ”
“Eles basicamente entenderam apenas metade do mesmo material.”
