Keď sa vaše dieťa vráti zo školy s nevyspytateľnou červenou známkou na výsledkoch testu (čo vôbec znamená 153? Je to z 200? 154?) vaša prvá otázka je pravdepodobne „aké bolo priemerné skóre?“ Vaše dieťa nemusí byť génius – ale je pekné vedieť, že je aspoň priemerné. To je dôvod, prečo sú samoúčelné, ale zdanlivo legitímne zistenia zo štúdie uskutočnenej online hodnotiacim nástrojom Gradescope založeným na rubrikách, také znepokojujúce. Zlé výsledky z matematiky sa už dlho chápu optikou zlej matematiky.
"Neexistuje priemerný študent," Liz Carlson z Gradescope vyhlasuje na blogu spoločnosti. Štúdia uvádza, že z 1 500 študentov informatiky, ktorí predložili odpovede na sedem otázok záverečnej skúšky, jeden dosiahol priemer 20 percent vo všetkých siedmich otázkach. Tím Gradescope analyzoval hodnotiace údaje z kurzu informatiky pre 1 500 študentov, ktorý pozostával zo siedmich otázok a 26 podotázok. Perfektné skóre bolo (nejako?) 80 a priemerné skóre medzi študentmi bolo 46. Vedci však zistili, že iba jeden zo študentov dosiahol priemer 20 percent vo všetkých siedmich otázkach.
Menej ako 1 z 25 študentov skórovalo v rámci priemerného rozsahu v piatich alebo viacerých otázkach. Takmer 25 percent študentov nedosiahlo priemerné známky na jedinú otázku.
Štúdia Gradescope teraz nie je publikovaná v recenzovanom časopise a výskumníci majú značné konflikty záujmov. Výsledky napríklad naznačujú, že je potrebný individualizovanejší a podrobnejší prístup k hodnoteniu – a to je práve to, čo Gradescope predáva. Zistenia však áno echo predchádzajúci výskum čo naznačuje, že jednotné štandardy, ako sú testy, sú zastarané a že skutočne priemerní študenti (a ľudia vo všeobecnosti) pravdepodobne neexistujú.
Ešte mätúce je, že medzi hŕstkou študentov, ktorí získali celkové skóre v rámci 20 percent priemeru (tj. medzi 41,4 a 50,6) najmenej 14 nemalo skóre, ktoré by spadalo do priemeru 20 percent u žiadneho zo siedmich otázky. Inými slovami, ich celkové známky boli priemerné, ale ich výkony v jednotlivých testových otázkach nie. Zistenia si vyžadujú následnú kontrolu a vzájomné hodnotenie, ale vo všeobecnosti naznačujú, že známkovanie na krivke – a vlastne konvenčné známkovanie, ako ho poznáme – nedokáže zachytiť silné a slabé stránky študentov.
“Zistili sme, že rozdiel medzi študentmi s priemerným skóre môže byť viac ako 40 percent – skutočne významný rozdiel v tom, čo sa presne každý študent naučil,“ píše Carlson. „Pozreli sme sa na dvoch študentov, ktorí obaja získali na skúške 51,5 z 80 bodov. Napriek tomu, že získali rovnaké skóre, mali medzi sebou 67 nezrovnalostí v položkách rubriky, čiže takmer 44 percent všetkých položiek rubriky.“
"V podstate rozumeli len polovici toho istého materiálu."
