108 公務人員升官等薦任 教育行政 教育測驗與統計 考古題詳解

核心觀念

本題是五個名詞解釋，涵蓋素養導向評量、測驗分數轉換，以及相關與迴歸分析的基本概念。作答時宜先明確界定名詞，再補充其用途或重要性；涉及統計量者，寫出關鍵公式並說明符號意義。

解題方法

（一）素養導向評量（literacy assessment）

素養導向評量是評量學生能否在具體情境中，整合運用知識、技能與態度，理解問題、分析資訊並解決問題。其重點在於評量「能否運用所學」，而非只檢查是否記得零碎知識。

設計素養導向評量時，通常以真實或有意義的情境呈現問題，要求學生遷移所學、進行推理或提出解決方案；評量形式可包含選擇題、建構反應題、實作評量或作品評量。素養導向並不等於只能採用開放題，也不等於題目只要加入生活情境就符合要求；關鍵在於作答是否需要實際運用所學。

（二）量尺分數（scaled scores）

量尺分數是將原始分數或能力估計值，依一定的轉換規則表示在共同或固定的分數尺度上，便於解釋、比較與報告。常見作法是線性轉換：

其中 $X$ 是原始分數或能力估計值，$a$、$b$ 是轉換常數，$X_s$ 是量尺分數。若將分數轉換為平均數 $M_s$、標準差 $SD_s$ 的尺度，可寫為：

其中 $M$ 與 $SD$ 是原分數的平均數與標準差。量尺分數不一定是百分制，也不必然代表等距尺度；分數的解釋仍須依據測驗設計、常模或測量模型。不同測驗的量尺分數若要直接比較，還須確認其尺度連結或等化方式適當。

（三）相關萎縮（correlation attenuation）

相關萎縮是指測量誤差降低觀察分數相關係數絕對值的現象。依古典測驗理論，觀察分數可表示為真分數與誤差分數的組合；當兩個變項的測量信度不足時，觀察到的相關通常會比真分數間的相關更接近零。

若 $r_{XY}$ 是兩項觀察分數的相關，$\rho_{XX}$、$\rho_{YY}$ 分別是兩項測量的信度，校正衰減後的相關估計為：

例如兩項測量的信度皆為 $0.64$，觀察相關為 $0.40$，則校正後相關為 $0.40/\sqrt{0.64\times0.64}=0.625$。

核心觀念

本題考查以推論統計學判斷教育政策成效，重點是從樣本資料推論政策是否造成具有統計意義的改變，並進一步判斷改變是否符合政策預期。不能只看實施後的結果，也不能把「統計上顯著」直接等同於「政策有實質效益」。

解題方法

1. 界定政策目標與成效指標 先把「預期成效」轉成可觀察、可量化的指標，例如學生學習成就、出席率或教師教學效能，並明確訂定比較對象、評估期間及預期改善方向。

2. 建立研究設計與假設 優先採用實驗或準實驗設計，例如將適用政策的對象與未適用政策、或尚未推動政策的相似對象比較。若可取得政策實施前後資料，可採前後測設計；若有適當比較組，可用差異中的差異等方法降低其他因素的干擾。

以「政策使指標提升」為例，可設定： $H_0:\mu_{\text{政策組}}-\mu_{\text{比較組}}\leq 0$ $H_1:\mu_{\text{政策組}}-\mu_{\text{比較組}}>0$

若採前後測，則可令每位受試者的差值為 $D_i=\text{後測}_i-\text{前測}_i$，檢定： $H_0:\mu_D\leq 0,\qquad H_1:\mu_D>0$

實際檢定方式須依資料型態、研究設計、樣本數與統計假設選擇，例如 t 檢定、變異數分析或迴歸分析。

核心觀念

本題考查作文評量的效度、公平性與評分者信度。作文屬於建構反應題，評分者須依據明確標準判斷作品品質；公平評分不能只靠評分者的專業，而要從命題、評分規準、評分者訓練、閱卷流程及爭議處理等環節共同把關。

• 效度：評分結果應反映作文所欲測量的能力，例如立意取材、組織結構、遣詞造句與文句表達，而非學生身分或字體美觀等無關因素。
• 信度：不同評分者對同一作品的評分應具一致性。作文評分常見的信度問題包括評分者尺度寬嚴不同、疲勞造成前後標準不一，以及光環效應。
• 公平性：所有參賽者應在相同規則下受評；評分標準須公開、適切，並避免身分、學校背景或其他無關因素影響結果。

解題方法

本題沒有唯一的計算答案，適合依「評分前—評分中—評分後」說明完整的評分品質管理。參賽者約 500 人，作品量大，應採制度化流程，而不能只依賴少數評審憑整體印象評分。

一、評分前：建立一致且適切的評分依據

1. 明確訂定評分規準與配分

事先列出作文評量向度、各向度配分及等第描述，例如立意取材、組織結構、遣詞造句、文句表達。等第描述應具體說明各分數層級的表現差異，避免只寫「優、良、可」而沒有判準。

2. 確認評量內容與比賽目標相符

評分規準應聚焦於比賽欲評量的寫作能力。若題目要求表達經驗或觀點，就不宜讓與寫作能力無關的因素左右分數；字數、格式、抄襲及逾時等規定則應事先明定處理方式。

3. 公布規則並統一作答條件

事前清楚說明題目、作答時間、字數或格式限制、評分項目及違規處理規則。各考場應提供相同的作答條件及必要文具，並由監考人員依統一程序執行。

4. 採匿名閱卷並處理利益衝突

作品以流水號取代姓名、學校等身分資料；評審不得查詢或猜測作者身分。評審如與參賽者有利害關係，應事先揭露並迴避該作品評分，以減少偏見與偏袒。

5. 遴聘適任評審並進行評分訓練

評審應具備作文教學或評量專業。正式評分前，安排評審共同研讀規準，並以代表性作品試評、討論分歧案例，建立共同的評分尺度與操作方式。

二、評分中：控制評分者差異與評分偏誤

1. 每篇作品安排多位評審獨立評分

可採兩位評審分別評分；若兩者分數差距超過事先訂定的門檻，再交由第三位評審複評，或由評審小組依規準複核。此作法能降低單一評審的偶然偏誤。

2. 訂定分歧處理規則

核心觀念

效度是指測驗分數能否支持其預定用途的程度。效度係數通常是以效標關聯效度為核心，計算測驗分數與外在效標之間的相關，係數愈高，表示測驗分數與效標的關聯愈強；但相關高低仍須配合測量目的、效標品質與使用情境解釋。

效度證據常分為內容、效標關聯與建構三類。其中，內容效度與建構效度主要說明測驗內容或測驗分數意義是否適切；狹義的「效度係數」則多指測驗分數與效標分數的相關係數。

效標關聯效度的兩種類型

1. 預測效度（predictive validity） 以測驗分數預測受試者未來的表現，再將測驗分數與未來效標分數計算相關。例如，以入學考試成績預測學生入學後的學業成績。其效度係數可寫為： $r_{XY}=\frac{\operatorname{Cov}(X,Y)}{s_Xs_Y}$ 其中，$X$ 為預測測驗分數，$Y$ 為後續效標分數。

2. 同時效度（concurrent validity） 測驗分數與效標分數在相近時間取得，再計算兩者的相關。例如，以新編的寫作測驗分數，與同一時期既有且可信的寫作測驗分數比較。

其他效度證據

• 內容效度（content validity）：檢視測驗內容是否適切、充分涵蓋欲測量的領域，通常由專家審查或依雙向細目表檢核，並非主要以單一相關係數表示。
• 建構效度（construct validity）：檢視測驗分數是否能支持所欲測量的心理或教育構念，例如寫作能力。可綜合因素分析、與相關變項的關係、不同群體差異等證據判斷，也不是單一效度係數即可完整說明。

（二）作文比賽應提出的效度係數證據

解題方法