是時(shí)候改變教師評(píng)分的方式了

導(dǎo)讀多年來，學(xué)生成績(jī)的形成完全取決于學(xué)習(xí)者在某些作業(yè)和標(biāo)準(zhǔn)上的表現(xiàn)。在某些科目中，例如數(shù)學(xué)，學(xué)生的能力可能非常明顯。他們要么能夠正確回...

多年來，學(xué)生成績(jī)的形成完全取決于學(xué)習(xí)者在某些作業(yè)和標(biāo)準(zhǔn)上的表現(xiàn)。在某些科目中，例如數(shù)學(xué)，學(xué)生的能力可能非常明顯。他們要么能夠正確回答給定的問題，要么不能。但在其他領(lǐng)域，它更模糊，更主觀。年級(jí)和班級(jí)之間的不一致是不可避免的。在最好的情況下，這些不一致是由人為錯(cuò)誤或個(gè)人連接引起的。在最壞的情況下，社會(huì)偏見會(huì)在年輕一代中蔓延并強(qiáng)化現(xiàn)有的刻板印象。荷蘭烏得勒支大學(xué)的兩名研究人員認(rèn)為他們有一個(gè)解決方案：專家啟發(fā)。

專家征集

正如作者 Kimberley Lek 和 Rens Van De Schoot 所寫，“有時(shí)，專家擁有獨(dú)特的知識(shí)，這是使用傳統(tǒng)數(shù)據(jù)收集方法不可能或不切實(shí)際的。在這些情況下，可以使用專家啟發(fā)來“獲得”這些知識(shí)。具體來說，專家啟發(fā)的目的是“構(gòu)建一個(gè)能夠正確表示專家知識(shí)/不確定性的概率分布”(O'Hagan 等人，2006 年，第 9 頁)，這樣該專家知識(shí)可以用于——例如——研究、工程項(xiàng)目和決策?！?/p>

專家啟發(fā)涉及收集大量專家意見，對(duì)其進(jìn)行量化，然后根據(jù)這些分布式數(shù)據(jù)得出結(jié)論。該方法目前廣泛應(yīng)用于健康、環(huán)境研究和風(fēng)險(xiǎn)評(píng)估等領(lǐng)域。

在教學(xué)中，隱性偏見是一種公認(rèn)??的現(xiàn)象。一個(gè)2015年的研究提出16000名高中教師來預(yù)測(cè)他們的每一個(gè)10年級(jí)學(xué)生未來的教育成就。當(dāng)所討論的學(xué)生是黑人時(shí)，與黑人教師相比，教師預(yù)測(cè)他們獲得大學(xué)學(xué)位的可能性要低 30%。

正如作者之一賽斯·格申森 (Seth Gershenson) 在隨后為布魯金斯學(xué)會(huì) (Brookings Institution)撰寫的一篇文章中寫道：“這些結(jié)果并不意味著也不應(yīng)該妖魔化或牽連教師。期望中的偏差通常是無意的，是人類如何對(duì)復(fù)雜信息進(jìn)行分類的產(chǎn)物?！?/p>

對(duì)偏見的數(shù)字保護(hù)

Lek 和 Schoot 認(rèn)為專家引出是解決這個(gè)問題的一種方式，但他們也看到了許多其他潛在的好處。

“明確做出這些判斷的一個(gè)好處是，啟發(fā)工具可以作為教師的反饋工具，”他們寫道?！袄纾?dāng)多次使用時(shí)，教師可以看到他對(duì)孩子發(fā)展的看法發(fā)生了怎樣的變化，并且他可以評(píng)估是什么(理性和/或非理性)事件導(dǎo)致了這種變化。另一個(gè)好處是：當(dāng)多位教師在同一堂課上授課時(shí)，可以將這些教師的判斷進(jìn)行定量比較，使判斷的差異直接顯現(xiàn)并開放討論。此外，完成啟發(fā)工具的過程也可以提供有用的反饋。例如，當(dāng)老師發(fā)現(xiàn)某個(gè)學(xué)生的啟發(fā)困難時(shí)，他知道他對(duì)這個(gè)學(xué)生的發(fā)展的看法還有些模糊。”

為了研究專家啟發(fā)的使用，他們開發(fā)了一種軟件，可以記錄學(xué)生在數(shù)學(xué)課程中的能力。為了判斷學(xué)生在特定領(lǐng)域的能力，24 名教師被要求將他們 504 名學(xué)生的集體能力放在 1-5、1-10、1-25 或 1-50 的范圍內(nèi)，使用木偶為單位。如果一個(gè)孩子被評(píng)估為 5 個(gè)木偶中的 4 個(gè)，他們將在班級(jí)中大致排在第 80 個(gè)百分位。

正如作者所寫，“為了獲得 每個(gè)學(xué)生的 分布，我們還需要了解教師在所選職位方面的不確定性(即教師的判斷信心)。獲得這樣的不確定性估計(jì)是一件微妙的事情，因?yàn)楸娝苤藗兺ǔ?huì)低估他們的不確定性(Lichtenstein 等人，1982 年;另見 Bier，2004 年; Speirs-Bridge 等人，2010 年)。此外，大多數(shù)啟發(fā)式程序要求專家使用精確的概率(例如，“90% 確定”)來陳述他們的不確定性，這對(duì)于統(tǒng)計(jì)外行的人來說很難。使用圖1 中的刻度 然而，獲得不確定性的指示是相當(dāng)直觀和簡(jiǎn)單的。教師只需選擇他們覺得足以確定學(xué)生位置的尺度(圖 1A-D)。例如，5 個(gè)“傀儡”的量表比 25 個(gè)“傀儡”的量表粗糙，因此選擇后一個(gè)量表的老師天生就比選擇 1-5 量表的老師更確定。通過使用這種方法來引發(fā)教師的不確定性，我們避免了要求精確概率的必要性。”

然后作者使用他們創(chuàng)建的軟件來繪制教師的評(píng)估圖表。“一眼，”他們寫道，“老師可以看到他或她的判斷(分布的峰值)，他/她對(duì)這些判斷的信心(分布的寬度)以及他/她的判斷和判斷如何學(xué)生的信心不同?，F(xiàn)在它被可視化了，這些判斷可以很容易地與其他人分享，比如同事老師、校長、父母等。”