核心觀念

本題考查「測驗信度」與「測驗效度」的提升方式。

• 測驗信度：測驗結果的一致性與穩定性，亦即測量結果中真實分數所占的程度。信度越高，測量誤差越小。

$X=T+E$

其中，$X$ 為實得分數、$T$ 為真實分數、$E$ 為測量誤差。信度係數可表示為：

$r_{XX'}=\frac{\sigma_T^2}{\sigma_X^2}$

• 測驗效度：測驗是否真正測量其所欲測量的特質或構念，以及測驗分數能否支持其解釋與用途。

信度是效度的必要條件，但信度高不代表效度一定高。例如，測驗每次都穩定測量到錯誤特質，仍屬於高信度、低效度。

本題的判斷原則是：

1. 改善題數與施測、評分的一致性，主要影響信度。
2. 增加代表測驗目標的內容，主要影響內容效度。
3. 使效標更接近測驗欲測量的特質，主要影響效標關聯效度。

---

解題方法

逐項判斷措施所降低的誤差來源：

• 題目太少：增加抽樣誤差，影響內部一致性與信度。
• 測驗內容代表性不足：影響內容效度。
• 評分標準不一致：產生評分者誤差，影響評分者信度。
• 施測條件不一致：產生施測情境誤差，影響信度。
• 效標與測驗目標不相似：效標無法有效反映測驗構念，影響效標關聯效度。

---

各措施分析

（一）增加相同品質的測驗題數

主要提升測驗信度。

在題目品質、測驗內容與作答條件大致相同的前提下，增加題數可以降低單一題目偶然因素對總分的影響，使測驗結果更加穩定，也能提高內部一致性信度。

其理論基礎為 Spearman-Brown 預測公式：

$r_{\text{new}}=\frac{nr_{\text{old}}}{1+(n-1)r_{\text{old}}}$

其中，$n$ 為測驗長度增加的倍數，$r_{\text{old}}$ 為原測驗信度，$r_{\text{new}}$ 為增加題數後的預測信度。

例如，若測驗長度增加為原來的兩倍，則：

$r_{\text{new}}=\frac{2r_{\text{old}}}{1+r_{\text{old}}}$

增加題數能使試題抽樣更充分，並降低因單題表現造成的誤差；但若新增題目品質低劣、內容重複或偏離測驗目標，便不能保證信度與效度提升。

判定：主要提升信度；對效度的直接提升不明顯。

---

（二）加入更多符合測驗目標特質的內容

主要提升內容效度與構念效度。

測驗內容必須充分涵蓋測驗所欲測量的知識、能力或心理特質。若原測驗只抽取目標內容的一小部分，容易產生內容取樣不足，使測驗無法完整代表測驗領域。

加入更多符合測驗目標的內容，可以：

1. 增加測驗內容對目標領域的代表性。
2. 減少內容取樣不足造成的效度損失。
3. 使測驗分數更能反映受試者在整體目標特質上的表現。

例如，教育測驗與統計測驗若只測量平均數與標準差，卻未涵蓋信度、效度、測驗編製與推論統計，測驗內容便不足以代表完整的學科範圍。

須注意，內容增加必須以測驗藍圖為依據，不能只是增加題目數量。題目數量增加屬於信度問題；內容是否能代表測驗目標，才是內容效度問題。

判定：主要提升內容效度，也有助於構念效度；對信度可能有間接幫助，但不是本措施的主要效果。

---

（三）加強評分員培訓，確保其都能依評分規準評分

主要提升評分者信度與評分一致性。

在申論題、口試、實作評量等主觀評量中，不同評分員可能因理解不同、寬嚴不同或評分標準不一致，而給予不同分數，形成評分者誤差。

加強評分員培訓，使其：

• 熟悉評分規準。
• 理解各評分層級的具體標準。
• 透過示例答案進行校準。
• 對相同作答反應作出相近評分。

一、核心觀念

本題考查申論題的兩種主要評分模式，以及如何建立公平、客觀、可靠且有效的評分制度。

申論題屬於建構反應題，答案通常不是單一固定形式，評分者必須依據作答內容與預先訂定的評分標準給分。因此，評分品質高度取決於：

1. 評分方式是否適切。
2. 評分規準是否明確。
3. 評分者是否具有一致的判準。
4. 評分是否真正反映受試者的能力，而非受到字體、文筆、身分等無關因素影響。

---

二、整體式評分與分析式評分

（一）整體式評分（holistic scoring）

1. 定義

整體式評分是將受試者的整份答案視為一個完整作品，依據答案的整體品質，給予一個總分或等級。

評分者不一定逐項計算各個細部要點，而是綜合判斷答案在內容、組織、論述、表達與完整性上的整體表現。

例如，將申論答案分為：

• 優良：論點完整、結構清楚、分析深入。
• 尚可：掌握主要觀念，但論述或細節不足。
• 不佳：內容零散、偏離題意或缺乏關鍵概念。

2. 主要特徵

（1）以答案整體品質為評分單位 評分重點在於整體表現，而不是逐一核對每個細項。

（2）評分速度較快 由於只需形成整體判斷，適合在短時間內評閱大量答案。

（3）重視答案的統整性與表現水準 特別能反映論述是否流暢、結構是否完整、觀點是否具有連貫性。

（4）評分者主觀判斷的影響較大 若評分規準不夠明確，不同評分者可能對同一答案形成不同評價。

（5）不利於診斷個別缺失 通常只能知道答案整體表現好壞，較難清楚指出受試者究竟缺少哪些知識或能力。

3. 適用時機

整體式評分適合下列情形：

• 題目重視整體論述、創意、統整與表達能力。
• 需要快速評閱大量答案。
• 主要目的在於排序、甄選或判定整體表現等級。
• 題目答案形式多元，難以事先列出所有細部給分項目。
• 評分成本與時間受到限制。

例如，作文、政策評論、整合性申論題，若重點在於整體論證品質，整體式評分具有實用性。

---

（二）分析式評分（analytic scoring）

1. 定義

分析式評分是將答案拆解成數個評分向度或評分要素，分別給分，再將各項分數加總形成總分。

申論題可依題目要求設計下列評分向度：

• 核心概念是否正確。
• 關鍵要點是否完整。
• 理論說明是否適當。
• 舉例與應用是否恰當。
• 論述組織是否清楚。
• 結論是否能回應題旨。

總分可表示為：

$$T = X_1 + X_2 + X_3 + \cdots + X_k$$

其中，$X_i$ 代表各評分向度的得分，$T$ 為答案總分。

若各向度具有不同重要性，也可採加權方式：

$$T = w_1X_1 + w_2X_2 + \cdots + w_kX_k$$

其中，$w_i$ 為各評分向度的權重。

2. 主要特徵

（1）將答案分成多個可觀察的評分要素 每一要素都有明確的給分依據。

（2）評分標準較具體 可使用評分規準表（rubric）說明各分數或等級所代表的表現。

（3）評分一致性通常較高 評分者依照相同項目與標準評分，可降低純粹整體印象所造成的差異。

（4）具有診斷功能 受試者可以知道自己在哪些面向表現良好，在哪些面向需要改進。

（5）評分時間與成本較高 評分者必須逐項閱讀、判斷與記錄，評分前也需要進行規準設計與評分者訓練。

（6）可能忽略答案的整體協調性 若過度強調逐項核對，可能使評分流於機械化，無法充分反映答案整體的論證品質。

3. 適用時機

分析式評分適合下列情形：

• 題目包含多個明確且重要的作答要點。
• 評量目的在於診斷學習結果或提供具體回饋。
• 題目分數較高，各細部要素均具有鑑別重要性。
• 評分結果具有較高利害關係，必須提高評分公平性與一致性。
• 需要比較受試者在不同能力向度上的表現。
• 題目具有明確的內容架構，例如定義、比較、分析、應用及結論等要求。

本題若要求說明兩種評分方式的特徵與適用時機，採「定義—特徵—優缺點—適用時機」的架構最能完整作答。

---

三、兩種評分方式之比較

比較面向	整體式評分	分析式評分
評分單位	整份答案	多個評分向度
評分結果	通常為一個總分或等級	各項分數加總為總分
評分速度	快	較慢
評分一致性	較易受評分者主觀判斷影響	通常較高
診斷功能	較弱	較強
評分成本	較低	較高
適合目的	排序、甄選、整體判斷	教學回饋、診斷、精確評量
主要風險	光環效應、寬嚴差異	過度切割、忽略整體表現

---

四、申論題的評分原則

（一）評分標準明確化原則

評分前應先根據題目要求建立評分規準，明確列出：

• 必答的核心概念。
• 重要論點與次要論點。
• 各論點的配分比例。
• 定義、說明、比較、舉例及結論的給分方式。
• 部分正確答案的部分給分原則。

例如，本題可先規劃：

1. 整體式評分的定義與特徵。
2. 整體式評分的適用時機。
3. 分析式評分的定義與特徵。
4. 分析式評分的適用時機。
5. 申論題評分的一般原則。

評分規準越清楚，越能減少評分者依個人印象評分的情形。

---

（二）依題意評分原則

評分應以題目實際要求為依據，不能只看答案是否提到相關名詞。

題目要求「說明」時，應檢視是否具有定義、特徵與解釋；要求「比較」時，應呈現共同點與差異；要求「分析」時，則應具備理由、因果關係或理論推論。

答案即使內容豐富，若未回應題目要求，仍不能給予過高分數。相反地，答案文字不多，但若精確掌握題旨並涵蓋核心要點，也應依內容給予相應分數。

---

（三）內容正確性原則

評分首先應判斷概念是否正確，包括：

• 名詞定義是否正確。
• 理論內涵是否符合教育測驗與統計的基本觀念。
• 比較關係是否清楚。
• 適用時機是否與評分方式相符。
• 所舉例子是否能支持論點。

若答案將整體式評分誤解為「完全不需要評分標準」，或將分析式評分誤解為「只能評量客觀題」，即使文字流暢，也不能視為正確答案。

---

（四）重點給分與部分給分原則

申論題應依答案所呈現的正確內容給分，不應採取只有全對或全錯的方式。

受試者若掌握主要概念，但部分細節不足，應依完成程度給予部分分數。例如：

• 只寫出整體式評分的定義，未說明優缺點，只能取得該部分分數。
• 寫出分析式評分的特徵，但未說明適用時機，不能取得完整分數。
• 只列出「客觀、公平、可靠」等名詞，卻沒有說明其意義，給分應低於具有完整論述的答案。

此原則能反映受試者實際的能力程度，也能避免評分過度二分化。

---

（五）答案多元性的包容原則

核心觀念

本題考查：

1. 分層隨機抽樣與簡單隨機抽樣的定義及差異。
2. 交叉分類表中細格樣本數的判讀與比例計算。
3. 樣本分層比例與母群分層比例的比較方法，主要使用卡方適合度檢定。

本表的分層變項包括：

• 科系類型：6 類
• 年級：低年級、高年級，共 2 類
• 性別：男、女，共 2 類

因此完整分層後共有：

$$6 \times 2 \times 2=24$$

個細格群體。

---

（一）分層隨機抽樣與簡單隨機抽樣

1. 分層隨機抽樣的意義

分層隨機抽樣是先依研究目的所關心的重要特徵，將母群體劃分為若干個「互不重疊且合計涵蓋全部母群」的次群體，稱為「層」（strata），再從每一層中分別以隨機方式抽取樣本。

本題依據科系類型、年級與性別進行分層，例如：

• 藝術型、低年級、男性
• 社會型、低年級、女性
• 事務型、高年級、男性

每一個組合即為一個分層細格，再於各細格中抽取樣本。

分層抽樣的基本程序為：

1. 界定母群體。
2. 選定分層變項。
3. 將母群體劃分為各個互斥的層。
4. 決定各層抽取的樣本數。
5. 在每一層內進行隨機抽樣。
6. 合併各層樣本形成總樣本。

各層樣本數的配置可採：

• 比例配置：各層樣本比例等於各層母群比例。
• 不同比例配置：基於成本、變異程度或研究需要，對某些層抽取較多或較少樣本。
• 最適配置：同時考量各層人數、變異程度與抽樣成本。

2. 簡單隨機抽樣的意義

簡單隨機抽樣是從完整母群體中直接抽取樣本，使母群體中每一個個體被抽中的機率相等，且每一組相同大小的樣本具有相同的被抽中機會。

例如，從全體學生名冊中直接隨機抽取 10,000 人，不先區分科系、年級與性別，即屬於簡單隨機抽樣。

3. 兩者的差異

比較面向	分層隨機抽樣	簡單隨機抽樣
抽樣程序	先分層，再於各層內隨機抽樣	從整個母群直接隨機抽樣
次群體代表性	可確保各層均獲得樣本	小型群體可能抽不到或代表性不足
分析目的	適合比較不同層，或確保重要群體代表性	適合母群體較均質、分層資訊不重要的情況
抽樣精確度	層內同質、層間異質時，通常可降低抽樣誤差	若母群體異質，抽樣誤差可能較大
執行條件	必須有完整且正確的分層資料	只需有完整的母群抽樣名冊

分層隨機抽樣的關鍵在於「先分層，再隨機」；它並非按固定順序抽人，也不是只選取容易取得的群體。

---

（二）人數最多與最少的群體及其比例

1. 找出人數最多的細格

逐一比較 24 個細格的人數，最大值為：

$$1,400$$

其類別特徵為：

• 科系類型：社會型
• 年級：低年級（一、二年級）
• 性別：女性

因此，人數最多的群體是「社會型低年級女性」。

其占總抽樣人數的比例為：

$$\frac{1,400}{10,000}=0.14=14\%$$

2. 找出人數最少的細格

逐一比較 24 個細格的人數，最小值為：

$$50$$

其類別特徵為：

• 科系類型：事務型
• 年級：高年級（三、四年級）
• 性別：男性

因此，人數最少的群體是「事務型高年級男性」。

其占總抽樣人數的比例為：

$$\frac{50}{10,000}=0.005=0.5\%$$

3. 作答結果

• 人數最多：社會型、低年級、女性，共 $1,400$ 人，占總樣本數 $14\%$。
• 人數最少：事務型、高年級、男性，共 $50$ 人，占總樣本數 $0.5\%$。

---

（三）樣本比例與母群比例的分析程序及方法

1. 確定分析單位

本題有 6 種科系類型、2 種年級與 2 種性別，完整交叉後共有 24 個分層群體。

對於第 $i$ 個分層群體，定義：

• $O_i$：樣本中第 $i$ 層的實際人數
• $N$：樣本總人數，本題為 $10,000$
• $p_i$：母群體中第 $i$ 層所占比例
• $E_i$：若樣本比例符合母群比例時，第 $i$ 層的期望人數

本表中的 $O_i$ 即各細格樣本數，例如社會型低年級女性的 $O_i=1,400$。

2. 建立假設

虛無假設：

$$H_0:\text{樣本中各分層群體的比例符合母群體的分層比例}$$

對每一層而言：

核心觀念

本題分為兩部分：

1. 比較四種補習時數學生的英文段考平均成績，屬於「三組以上獨立樣本平均數比較」，應使用單因子變異數分析（one-way ANOVA）。
2. 以托福成績為依變項，分別使用段考成績、段考成績加補習時數作為預測變項，考查線性迴歸與多元迴歸的解釋力及預測效果。

---

（一）四種補習時數的英文段考成績比較

解題方法

補習時數分為四組：

• 10 小時
• 14 小時
• 18 小時
• 22 小時

每組有 4 位學生，欲比較四組英文段考平均數是否有顯著差異，因此使用單因子變異數分析。

1. 建立假設

虛無假設：

$$H_0:\mu_{10}=\mu_{14}=\mu_{18}=\mu_{22}$$

表示四種補習時數學生的英文段考母群平均數相同。

對立假設：

$$H_1:\text{至少有一組平均數不同}$$

注意：ANOVA 的對立假設不是「四組平均數全部不同」，而是「至少一組不同」。

---

2. 計算各組平均數

補習時數	段考成績	平均數
10 小時	75、70、60、70	68.75
14 小時	90、75、90、80	83.75
18 小時	80、90、90、90	87.50
22 小時	70、80、90、75	78.75

全體平均數為：

$$\bar X=\frac{1275}{16}=79.6875$$

---

3. 計算變異數分析表

組間平方和：

$$SS_B=\sum n_j(\bar X_j-\bar X)^2$$

本題中：

$$SS_B=792.1875$$

組內平方和：

$$SS_W=\sum\sum(X_{ij}-\bar X_j)^2$$

本題中：

$$SS_W=581.25$$

總平方和：

$$SS_T=SS_B+SS_W=1373.4375$$

自由度為：

$$df_B=k-1=4-1=3$$ $$df_W=N-k=16-4=12$$

因此：

$$MS_B=\frac{792.1875}{3}=264.0625$$ $$MS_W=\frac{581.25}{12}=48.4375$$

F 統計量為：

$$F=\frac{MS_B}{MS_W} =\frac{264.0625}{48.4375} \approx 5.45$$

變異數分析表如下：

變異來源	平方和	自由度	均方	F
組間	792.1875	3	264.0625	5.45
組內	581.2500	12	48.4375
總和	1373.4375	15

在顯著水準 $\alpha=0.05$ 下，$F(3,12)=5.45$ 已達顯著，因此拒絕虛無假設。

4. 結論

四種補習時數學生的英文段考成績平均數有顯著差異。

由各組平均數可知，平均成績以 18 小時組最高，10 小時組最低。不過，ANOVA 只能判斷「至少一組不同」，不能直接指出是哪幾組不同。若要進一步比較，應進行事後多重比較，例如 Tukey 法。

---

基本假設

使用單因子變異數分析時，主要有以下假設：

1. 獨立性

各學生的成績彼此獨立，且不同組之間的觀察值互不影響。

2. 常態性

各補習時數組別中的英文段考成績，分別來自常態分配的母群。

3. 變異數同質性

四組母群的成績變異數相等：

$\sigma_{10}^2=\sigma_{14}^2=\sigma_{18}^2=\sigma_{22}^2$

4. 依變項為連續變項

英文段考成績屬於可計算平均數的量化資料。

---

解題技巧與常見陷阱

• 兩組平均數比較通常使用獨立樣本 $t$ 檢定；三組以上平均數比較使用單因子 ANOVA。
• ANOVA 顯著只代表「至少一組不同」，不代表四組全部不同。
• 題目若要求知道具體哪兩組有差異，必須再做事後比較。
• F 值的概念是：

$F=\frac{\text{組間變異}}{\text{組內變異}}$

組間差異越大、組內差異越小，F 值越大。

---

（二）兩種迴歸模式的分析結果

核心觀念

迴歸分析主要提供三類資訊：