Quando tuo figlio torna a casa da scuola con un imperscrutabile segno rosso sui risultati del test (cosa significa anche 153? È su 200? 154?) la tua prima domanda è probabilmente "qual è stato il punteggio medio?" Tuo figlio non deve essere un genio, ma è bello sapere che è almeno nella media. Ecco perché i risultati egoistici, ma apparentemente legittimi, di uno studio condotto dallo strumento di valutazione online Gradescope basato su rubriche, sono così snervanti. I cattivi punteggi in matematica sono stati a lungo compresi attraverso la lente della cattiva matematica.
"Non esiste uno studente medio" Liz Carlson di Gradescope dichiara sul blog dell'azienda. Lo studio riporta infatti che, su 1.500 studenti di informatica che hanno risposto a sette quesiti dell'esame finale, solo uno ha ottenuto un punteggio medio del 20 percento su tutte e sette le domande. Il team di Gradescope ha analizzato i dati di valutazione di un corso di informatica di 1.500 studenti, che consisteva in sette domande e 26 sottodomande. Un punteggio perfetto era (in qualche modo?) 80 e il punteggio medio tra gli studenti era 46. Tuttavia, i ricercatori hanno scoperto che solo uno degli studenti ha ottenuto un punteggio medio del 20% in tutte e sette le domande.
Meno di 1 studente su 25 ha ottenuto un punteggio all'interno dell'intervallo medio su cinque o più domande. Quasi il 25% degli studenti non ha ottenuto voti medi su una sola domanda.
Ora, lo studio di Gradescope non è pubblicato in una rivista peer-reviewed e i ricercatori hanno sostanziali conflitti di interesse. I risultati indicano, ad esempio, che è necessario un approccio più individualizzato e dettagliato alla valutazione, e si dà il caso che sia esattamente ciò che Gradescope sta vendendo. Tuttavia, i risultati non eco della ricerca precedente ciò suggerisce che standard uniformi come i test sono obsoleti e che probabilmente non esistono studenti veramente medi (e persone in generale).
Ancora più confuso, tra i pochi studenti che hanno ottenuto punteggi complessivi entro il 20 percento della media (cioè, tra 41,4 e 50,6) non meno di 14 non hanno avuto punteggi che rientrassero nella media del 20 percento su nessuno dei sette domande. In altre parole, i loro voti complessivi erano nella media, ma le loro prestazioni sulle singole domande del test non lo erano. I risultati richiedono un follow-up e una revisione tra pari, ma suggeriscono in generale che la valutazione su una curva - e in effetti, la valutazione convenzionale come la conosciamo - non riesce a catturare i punti di forza e di debolezza degli studenti.
“Abbiamo scoperto che la discrepanza tra gli studenti con punteggio medio potrebbe essere superiore al 40%, una differenza davvero significativa in esattamente ciò che ogni studente ha imparato", scrive Carlson. “Abbiamo esaminato due studenti che hanno entrambi guadagnato 51,5 punti su 80 all'esame. Nonostante abbiano ottenuto un punteggio identico, avevano 67 discrepanze tra gli elementi della rubrica, o quasi il 44% di tutti gli elementi della rubrica.
"Essenzialmente capivano solo la metà dello stesso materiale".
