เมื่อลูกของคุณกลับมาจากโรงเรียนพร้อมกับเครื่องหมายสีแดงที่ไม่อาจเข้าใจได้บนผลการทดสอบของเขา (153 หมายความว่าอย่างไร? จาก 200 หรือเปล่าคะ? 154?) คำถามแรกของคุณน่าจะเป็น "คะแนนเฉลี่ยคืออะไร" ลูกของคุณไม่จำเป็นต้องเป็นอัจฉริยะ แต่ก็ดีที่รู้ว่าอย่างน้อยเขาก็มีค่าเฉลี่ย นั่นคือเหตุผลที่การค้นพบแบบบริการตนเอง แต่ดูเหมือนว่าถูกต้องตามกฎหมายจากการศึกษาที่ดำเนินการโดย Gradescope เครื่องมือประเมินออนไลน์ตามเกณฑ์การให้คะแนน เป็นเรื่องที่น่าตกใจ คะแนนคณิตศาสตร์ที่ไม่ดีเป็นที่เข้าใจกันมานานแล้วผ่านเลนส์ของคณิตศาสตร์ที่ไม่ดี
“ไม่มีนักเรียนธรรมดาๆ” Liz Carlson แห่ง Gradescope ประกาศในบล็อกของบริษัท. อันที่จริง ผลการศึกษารายงานว่า จากนักศึกษาวิทยาการคอมพิวเตอร์ 1,500 คนที่ส่งคำตอบของคำถามสอบปลายภาค 7 ข้อเท่านั้น หนึ่ง ได้คะแนนเฉลี่ย 20 เปอร์เซ็นต์สำหรับคำถามทั้งเจ็ดข้อ ทีมของ Gradescope วิเคราะห์ข้อมูลการจัดเกรดจากหลักสูตรวิทยาการคอมพิวเตอร์สำหรับนักเรียน 1,500 คน ซึ่งประกอบด้วยคำถามเจ็ดข้อและคำถามย่อย 26 ข้อ คะแนนที่สมบูรณ์แบบคือ (อย่างใด?) 80 และคะแนนเฉลี่ยในหมู่นักเรียนคือ 46 อย่างไรก็ตาม นักวิจัยพบว่ามีนักเรียนเพียงคนเดียวที่ทำคะแนนได้ภายใน 20 เปอร์เซ็นต์โดยเฉลี่ยของคำถามทั้งเจ็ดข้อ
มีนักเรียนน้อยกว่า 1 ใน 25 คนทำคะแนนในช่วงเฉลี่ยจากคำถามห้าข้อขึ้นไป นักเรียนเกือบ 25 เปอร์เซ็นต์ไม่ได้คะแนนเฉลี่ย ในคำถามเดียว
ตอนนี้การศึกษาของ Gradescope ไม่ได้ตีพิมพ์ในวารสารที่ผ่านการตรวจสอบโดยเพื่อน และนักวิจัยก็มีผลประโยชน์ทับซ้อนอย่างมาก ตัวอย่างเช่น ผลลัพธ์บ่งชี้ว่าจำเป็นต้องมีวิธีการให้คะแนนที่เป็นรายบุคคลและมีรายละเอียดมากขึ้น และสิ่งนี้ก็เกิดขึ้นได้อย่างแม่นยำว่า Gradescope ขายอะไร อย่างไรก็ตาม ผลการวิจัยพบว่า สะท้อนการวิจัยก่อนหน้านี้ ที่ชี้ให้เห็นถึงมาตรฐานที่เป็นแบบเดียวกัน เช่น แบบทดสอบที่ล้าสมัย และนักเรียนทั่วไป (และคนทั่วไป) อาจไม่มีอยู่จริง
ยิ่งทำให้สับสนมากขึ้นไปอีก ในบรรดานักเรียนจำนวนหนึ่งที่ได้คะแนนรวมภายใน 20 เปอร์เซ็นต์ของค่าเฉลี่ย (นั่นคือ ระหว่าง 41.4 ถึง 50.6) ไม่ต่ำกว่า 14 คะแนน ไม่มีคะแนนที่ตกลงมาในค่าเฉลี่ยร้อยละ 20 ในเจ็ดข้อใด คำถาม. กล่าวอีกนัยหนึ่ง เกรดโดยรวมของพวกเขาเป็นค่าเฉลี่ย แต่ผลการปฏิบัติงานของคำถามทดสอบรายบุคคลไม่ใช่ การค้นพบนี้จำเป็นต้องมีการติดตามผลและการทบทวนโดยเพื่อน แต่แนะนำอย่างกว้าง ๆ ว่าการให้คะแนนตามเส้นโค้ง—และที่จริงแล้ว การให้คะแนนแบบธรรมดาอย่างที่เราทราบ—ไม่สามารถจับจุดแข็งและจุดอ่อนของนักเรียนได้
“เราพบว่านักเรียนคะแนนเฉลี่ยมีความคลาดเคลื่อนมากกว่า 40 เปอร์เซ็นต์ ซึ่งเป็นความแตกต่างที่สำคัญอย่างแท้จริงในสิ่งที่นักเรียนแต่ละคนเรียนรู้” คาร์ลสันเขียน “เราดูนักเรียนสองคนที่ได้รับ 51.5 จาก 80 คะแนนในการสอบ แม้จะได้คะแนนเท่ากัน แต่ก็มีข้อแตกต่างของรูบริก 67 รายการระหว่างกัน หรือเกือบ 44 เปอร์เซ็นต์ของรายการรูบริกทั้งหมด”
“โดยพื้นฐานแล้วพวกเขาเข้าใจเนื้อหาเดียวกันเพียงครึ่งเดียว”
