112 高普考高考三級 教育行政 教育測驗與統計 考古題詳解

核心觀念

本題考查**效標設定（Standard Setting / Cut Score Setting）**的理論與實務程序，屬於教育測驗與統計中「測驗分數解釋」與「效標參照測驗（Criterion-Referenced Test, CRT）」的核心議題。

題目背景：COVID-19 改變教學情境，原有以實體教學為前提的通過標準（passing standard）可能已不再適用，故需重新制訂「及格切截分數（cut score）」。

關鍵概念區分：

• 常模參照（Norm-Referenced）：以群體相對排名決定及格（如前60%通過），不適合此情境——因線上教學品質參差不齊，整體分數可能系統性偏低或偏高，常模會失真。
• 效標參照（Criterion-Referenced）：以明確界定的學習標準為基準，判斷個別學生是否「達到」該標準，為本題建議採行之框架。

常用切截分數設定方法（後段解題方法中詳述）：

解題方法

本題為申論題，要求提出至少五項步驟。正確切入點是將「效標設定流程」系統化呈現，每一步驟都需扣合「線上教學」此特殊情境說明其必要性。以下依標準的效標設定程序逐步展開：

步驟一：確立測驗目的與學習目標（Define Purpose and Learning Objectives）

首先須明確界定「及格」所代表的意義。在線上教學情境下，需回答：

• 本次測驗的目的為何？（形成性評量 vs. 總結性評量；班級內部評量 vs. 跨校比較）
• 「及格」代表學生已習得哪些最低必要能力（minimum competency）？
• 線上教學所涵蓋的學習目標是否與實體教學等值？若目標已縮減或調整，通過標準亦應相應修訂。

此步驟確立效標設定的「概念準據」，若跳過此步，後續所有技術操作皆欠缺意義基礎。

步驟二：組建效標設定委員會（Assemble a Standard-Setting Panel）

效標設定不能由單一人員獨斷，必須組建跨背景的專家評審小組，成員應包括：

• 學科專家：了解線上教學下各年段的課程內容與難易度
• 現場教師：熟悉學生在線上學習情境中的實際表現與常見困難
• 測驗專家／統計人員：確保設定程序的技術合理性
• 行政代表（視需要）：確保切截分數具政策可行性

線上教學期間，城鄉數位落差（digital divide）顯著，委員會成員亦應兼顧不同地區、不同學校資源背景的代表性，避免標準對弱勢族群系統性不公平。

步驟三：選擇並實施適切的效標設定方法（Select and Apply an Appropriate Standard-Setting Method）

依測驗形式與可用資訊，選擇以下一種或複數方法：

（A）Angoff 法（適用於選擇題或二元計分題型）

請每位委員對試卷上每一道題目，估計一位「剛好及格的最低能力學生（minimally competent student, MCS）」答對該題的機率 $p_i$，加總後得每位委員的建議切截分數：

$C_j = \sum_{i=1}^{n} p_{ij}$

再取所有委員的平均值作為最終切截分數：

$C = \frac{1}{J}\sum_{j=1}^{J} C_j$

在線上教學情境下，委員在評估 $p_i$ 時，應明確以「接受線上教學的最低能力學生」為心智模型，而非以往實體教學的學生形象。

（B）Bookmark 法（適用於已建立 IRT 模型的測驗）

將所有題目依其 IRT 難度參數 $b_i$（或 $\delta_i$）由易至難排列成「有序題目本（Ordered Item Booklet, OIB）」，委員逐頁翻閱，在「一位最低能力學生有 67%（或 50%）機率答對」的題目處插入書籤（bookmark），書籤所對應的分數即為建議切截分數。

（C）Contrasting Groups 法（適用於已有外在效標時）

若能從教師的整體判斷，事先將學生分為「已達標」與「未達標」兩組，則在分數分布上分別繪製兩組的次數分配曲線，兩條曲線交叉點對應的分數即為最佳切截分數，此點使分類誤差（假陽性＋假陰性）最小化。

核心觀念

本題考查兩位評分者對同一批學生的「名次評定」是否具有關聯性，適合使用斯皮爾曼等級相關係數（Spearman’s rank correlation coefficient）分析。

因兩位專家均以第 1 名至第 10 名表示評定結果，且沒有同名次，因此可利用名次差公式：

其中：

• $d$：兩位專家對同一學生評定名次之差
• $n$：受評學生人數，本題 $n=10$

檢定假設為：

• $H_0：\rho_s=0$，兩位專家的評分無顯著關聯
• $H_1：\rho_s\neq 0$，兩位專家的評分具有顯著關聯

題目提供 $t_{.975,8}=2.306$，表示採雙尾檢定，顯著水準為 $\alpha=.05$。

解題方法與計算

先計算各學生兩位專家名次之差及平方：

因此：

代入斯皮爾曼等級相關係數公式：

兩位專家評分的等級相關係數約為：

核心觀念

本題考查單一母體平均數的區間估計，屬於推論統計（Inferential Statistics）的核心內容。涉及以下定義與公式：

為何使用 $t$ 分配而非 $z$ 分配？

當同時滿足以下兩個條件時，必須改用 $t$ 分配：

1. 母體標準差（$\sigma$）未知，僅能以樣本標準差（$SD$ 或 $s$）估計。
2. 樣本數偏小（$n < 30$），中央極限定理尚未充分發揮，無法以常態分配近似。

本題 $n = 9 < 30$，且僅給出樣本 $SD$，母體 $\sigma$ 未知，故採用 單樣本 $t$ 信賴區間。

自由度（Degrees of Freedom, $df$）：

$df = n - 1 = 9 - 1 = 8$

95% 信賴區間公式：

$\bar{X} \pm t_{\alpha/2,\, df} \times \frac{SD}{\sqrt{n}}$

其中：

• $\bar{X}$：樣本平均數（point estimate，點估計值）
• $t_{\alpha/2,\, df}$：$t$ 分配在顯著水準 $\alpha$、自由度 $df$ 下的雙尾臨界值
• $\dfrac{SD}{\sqrt{n}}$：平均數的標準誤（Standard Error of the Mean, $SE_{\bar{X}}$）

解題方法

Step 1｜確認已知數值

Step 2｜計算標準誤（$SE_{\bar{X}}$）

$SE_{\bar{X}} = \frac{SD}{\sqrt{n}} = \frac{1.26}{\sqrt{9}} = \frac{1.26}{3} = 0.42 \text{（公分）}$

Step 3｜計算誤差界限（Margin of Error, $E$）

$E = t_{\alpha/2,\,df} \times SE_{\bar{X}} = 2.306 \times 0.42 = 0.9685 \approx 0.97 \text{（公分）}$

Step 4｜建立 95% 信賴區間

$CI_{95\%} = \bar{X} \pm E = 140.89 \pm 0.97$

$\text{下界} = 140.89 - 0.97 = 139.92 \text{（公分）}$

(一) 參數估計不變性（Invariance of Parameter Estimation）

核心觀念

參數估計不變性是**試題反應理論（Item Response Theory, IRT）**的核心假設與特性之一，指的是：試題參數（item parameters）不隨受試樣本的能力分佈而改變；能力參數（person parameters）不隨所使用的試題組合而改變。換言之，無論用高能力組還是低能力組來估計試題難度，所得的難度參數（在標準誤許可範圍內）應當一致；同樣地，無論用難題組還是易題組來估計受試者能力，估計結果也應等值。

此特性在古典測驗理論（CTT）中不存在：CTT 的試題難度（通過率 $p$）與鑑別度（點二系列相關 $r_{pb}$）都隨樣本能力高低而改變，受試者的觀察分數也隨試卷難易而浮動。IRT 的參數不變性正是其相對於 CTT 的最大優勢。

核心公式背景

以最常用的三參數羅吉斯模式（3PL）為例，受試者 $j$ 在試題 $i$ 上的正確反應機率為：

$P_{ij}(\theta_j) = c_i + \frac{1 - c_i}{1 + e^{-Da_i(\theta_j - b_i)}}$

其中：

• $\theta_j$：受試者能力參數
• $a_i$：試題鑑別力（discrimination）
• $b_i$：試題難度（difficulty），又稱位置參數
• $c_i$：猜測參數（pseudo-guessing）
• $D = 1.702$（換算常數）

參數估計不變性保證：對不同 $\theta$ 分佈的樣本估計出的 $(a_i, b_i, c_i)$ 在經過線性等化轉換（因原點與單位不唯一，IRT 參數存在量尺不確定性）後，估計結果應收斂至相同真值。

重要補充：不變性的前提

1. 模式契合（model fit）：資料須符合所採用的 IRT 模式（單向度、局部獨立性）。
2. 量尺等化（scale linking）：不同校準樣本的參數需透過等化將量尺統一，方能比較。
3. 不完全不變性的偵測：違反不變性時，即出現下述的「差異試題功能（DIF）」問題。

解題技巧

申論重點排序：①定義（試題參數不隨樣本、能力參數不隨試卷）→ ②與 CTT 對比（CTT 無此特性）→ ③意義（跨樣本、跨試卷比較成為可能，是電腦化適性測驗 CAT 及試題等化的基礎）→ ④前提條件。五分題寫到三層次即可拿滿。

【答案】參數估計不變性係指在 IRT 架構下，試題參數不受估計樣本能力分佈影響，能力參數不受所施測試題集合影響；此特性使跨組比較、試題等化與電腦化適性測驗成為可能，是 IRT 優於 CTT 的核心優勢。

(二) 差異試題功能（Differential Item Functioning, DIF）

核心觀念

差異試題功能（DIF）指的是：在能力（或潛在特質）相同的條件下，來自不同群體（如性別、族群、語言背景）的受試者，在某題上的答對機率仍存在系統性差異。

DIF 是測驗偏差（test bias）的必要但非充分條件：有 DIF 未必代表偏差（該差異可能反映真實的群體差異），但偏差題必然表現出 DIF。因此 DIF 分析是試題審查（item review）的客觀量化工具。

兩類 DIF

主要偵測方法

① Mantel-Haenszel 法（MH 法）（最常用於大規模測驗，如學測）

以總分分層後，計算 $2 \times 2$ 列聯表的加權勝算比：

$\hat{\alpha}_{MH} = \frac{\sum_s \frac{A_s D_s}{N_s}}{\sum_s \frac{B_s C_s}{N_s}}$

ETS 依 MH $\Delta$（$= -2.35 \ln \hat{\alpha}_{MH}$）將 DIF 分為 A（可忽略）、B（中等）、C（嚴重）三級。

② IRT 為基礎的方法：比較兩組估計的試題參數（尤其 $b$ 值）差異，或計算試題特徵曲線間的面積差。

③ 邏輯斯迴歸法（Logistic Regression）：以群體、能力及其交互作用項預測答對機率，可同時偵測均勻與非均勻 DIF。

解題技巧

「DIF」與「試題偏差（item bias）」是考試常見混淆點：DIF 是統計現象（量化指標），試題偏差是價值判斷（內容專家審查後確認），兩者不可畫等號。答題時點明此區別可顯示深度。

【答案】DIF 指在相同能力水準下不同群體答對率仍有系統性差異的試題現象，分均勻與非均勻兩類，常以 Mantel-Haenszel 法、IRT 法或邏輯斯迴歸法偵測；DIF 是偵測測驗偏差的統計工具，但有 DIF 不等同於有偏差，需輔以內容審查判斷。

(三) 可能值（Plausible Values, PVs）

核心觀念

可能值是大規模評量（如 PISA、TIMSS、NAEP）中，為解決「矩陣樣本設計（matrix sampling design）導致每位受試者只作答部分試題、個別能力估計誤差偏大」此問題而發展出的多重插補（multiple imputation）技術。

在矩陣取樣設計下，每位受試者僅作答一個試題本中的少數試題，若直接以 IRT 估計個人能力 $\hat{\theta}$，後驗分佈（posterior distribution）過寬、不確定性極高。可能值的做法是：不估計單一能力值，而是從每位受試者的後驗能力分佈中隨機抽取 $m$ 個值（通常 $m = 5$ 或 10），每個值都是一個「可能的」能力估計，稱為一組可能值。

統計原理

設受試者的後驗分佈為：

$p(\theta \mid \mathbf{u}, \mathbf{X}) \propto p(\mathbf{u} \mid \theta) \cdot p(\theta \mid \mathbf{X})$

其中 $\mathbf{u}$ 為作答向量，$\mathbf{X}$ 為背景變數（性別、SES 等）所構成的條件常態先驗（conditioning model）。

從此後驗分佈中抽取 $m$ 組 PV，對每組 PV 進行統計分析後，依 Rubin's Rules 合併估計值與標準誤：

$\bar{Q} = \frac{1}{m}\sum_{l=1}^{m} \hat{Q}_l$