謝小慶教育測量學論文集（簡體書）

六、從“偏見（bias）”到DIF
在2001年中央機關的國家公務員考試中有這樣一道題：
下列哪個城市不是經濟特區？
A深圳 B廈門 C廣州 D汕頭（正確答案是廣州）
在事后的試卷分析中發現，廣州考區的多數考生都作出正確回答，成都考區的許多考生卻答錯了。這道題目存在明顯的組間差異，有利于廣州考生，不利于成都考生。
研究發現，一些涉及武器、足球的題目存在男女之間的組間差異，有利于男性考生，不利于女性考生。在中國，一些涉及空調、微波爐、地下鐵道等現代設施的題目存在城鄉考生之間的組間差異，有利于城市考生而不利于農村考生。
人們曾經將這一類組間差異視為考試偏見，認為這些題目會造成對一部分考生的偏見。在關于克服偏見的研究中，人們提出許多有助于提高題目和測驗公平性的統計方法，如TID方法、MH方法、標準化方法、Sibtest方法、IRT方法，等等。在這些統計法中，通常將測驗總分作為“匹配變量”，即反映考生實際水平的指標，比較具有相同總分的不同群組的考生正確回答某一題目的比例。這些統計方法得到廣泛應用，對DIF（Differential Item Functiing，題目功能差異）的檢驗已經成為許多考試研制中的常規步驟。上面那道關于經濟特區的題目中存在的問題，就是在公務員考試之后的常規DIF分析中發現的。
但是，根據這些統計方法并不能確定一道題目是否公平。如果我們認為具備有關經濟特區的知識是勝任一個國家公務員必備的條件，就不能認為這道題目對成都考生存在偏見。又如，那些涉及計算機和互聯網的題目，在一般的能力考試中，可能對來自落后農村的考生存在“偏見”。但是，在某些職位的選拔考試中，這些知識是勝任工作所必需的，根據“有效即公平”的原則，這些題目并不能被認為造成“偏見”，也不應被排除在這類選拔考試之外。再如，那些涉及武器的題目，在一般的學習能力考試中，可能會對女生造成“偏見”。但是，在有關安全的職位的選拔考試中，關于武器的知識是必需的，這些題目并不能被認為造成“偏見”，也不應被排除在這類選拔考試之外。
上世紀80年代中期以后，人們開始回避具有價值判斷性質的“偏見”概念，代之以價值中性的DIF概念。DIF僅僅是題目的一種統計特征。具有DIF的題目是否造成偏見？還需要專家根據測驗目的和測驗內容作出經驗的判斷。經過統計分析，我們可以認定上面那道關于“經濟特區”的題目存在DIF。