Kiedy twoje dziecko wraca do domu ze szkoły z niezbadanym czerwonym znakiem na wynikach testu (co w ogóle oznacza 153? Czy to z 200? 154?) Twoje pierwsze pytanie brzmi prawdopodobnie „jaki był średni wynik?” Twoje dziecko nie musi być geniuszem – ale miło wiedzieć, że jest przynajmniej przeciętny. Właśnie dlatego wyrachowane, ale pozornie uzasadnione wyniki badania przeprowadzonego przez oparte na rubrykach narzędzie oceny online Gradescope, są tak niepokojące. Złe wyniki matematyczne od dawna są rozumiane przez pryzmat złej matematyki.
„Nie ma przeciętnego ucznia” Liz Carlson z Gradescope deklaruje na blogu firmy. Rzeczywiście, z badania wynika, że na 1500 studentów informatyki, którzy udzielili odpowiedzi na siedem pytań egzaminacyjnych, tylko jeden zdobył średnio 20 procent we wszystkich siedmiu pytaniach. Zespół Gradescope przeanalizował dane ocen z kursu informatyki dla 1500 studentów, który składał się z siedmiu pytań i 26 pytań podrzędnych. Doskonały wynik to (jakoś?) 80, a średni wynik wśród uczniów to 46. Jednak naukowcy odkryli, że tylko jeden ze studentów uzyskał średnio 20 procent we wszystkich siedmiu pytaniach.
Mniej niż 1 na 25 uczniów uzyskał w średnim zakresie pięć lub więcej pytań. Prawie 25 proc. uczniów nie uzyskało średnich ocen na jedno pytanie.
Obecnie badanie Gradescope nie zostało opublikowane w recenzowanym czasopiśmie, a naukowcy mają poważny konflikt interesów. Wyniki wskazują na przykład, że konieczne jest bardziej zindywidualizowane i szczegółowe podejście do oceniania – i tak się składa, że właśnie to sprzedaje Gradescope. Niemniej jednak ustalenia nie echo wcześniejszych badań sugeruje to, że jednolite standardy, takie jak testy, są przestarzałe i że prawdziwie przeciętni studenci (i ludzie w ogóle) prawdopodobnie nie istnieją.
Jeszcze bardziej zagmatwane wśród garstki uczniów, którzy uzyskali ogólne wyniki w granicach 20 procent średniej (tj. między 41,4 a 50,6) nie mniej niż 14 nie miało wyników, które mieściły się w średniej 20 procent na żadnym z siedmiu pytania. Innymi słowy, ich ogólne oceny były średnie, ale ich wyniki w poszczególnych pytaniach testowych nie. Wyniki wymagają dalszych działań i wzajemnej oceny, ale ogólnie sugerują, że ocenianie na podstawie krzywej – a nawet konwencjonalne ocenianie, jakie znamy – nie pozwala uchwycić mocnych i słabych stron uczniów.
“Odkryliśmy, że rozbieżność między średnimi wynikami uczniów może wynosić ponad 40 procent – naprawdę znacząca różnica w tym, czego dokładnie nauczył się każdy uczeń” – pisze Carlson. „Przyjrzeliśmy się dwóm studentom, którzy zdobyli 51,5 z 80 punktów na egzaminie. Pomimo tego, że uzyskali identyczny wynik, mieli między sobą 67 rozbieżności w rubrykach, czyli prawie 44 procent wszystkich rubryk”.
„W zasadzie rozumieli tylko połowę tego samego materiału”.
