108 年地方特考三等統計考古題與詳解

Question 1

考慮簡單線性迴歸模型 $$ Yi=\alpha+\beta Xi+\varepsiloni,\quad i=1,\ldots,n, $$ 其中，$Yi$ 為因變數，$Xi$ 為自變數，$\varepsiloni$ 為誤差項且與 $Xi$ 獨立。另外，假設 $\varepsiloni$（$i=1,\ldots,n$）具有獨立且相同的常態分布 $$ N(0,\sigma^2), $$ 其中 $\sigma^2$ 表示變異數。除非另有說明，本題採用顯著水準 $0.05$ 及 $95\%$ 信心水準。 （一）請導出參數 $\alpha,\beta$ 的最小平方法估計式 $\hat{\alpha},\hat{\beta}$，並證明其不偏性（unbiasedness）。（5 分） （二）如果其他假設不變，但 $$ \operatorname{Var}(\varepsiloni)=\sigma^2Xi^2,\quad i=1,\ldots,n, $$ 說明由（一）導出之 $\hat{\beta}$ 是否仍具有不偏性？在此情形下，是否可提供較佳的估計式？請以式子說明概念或作法，無需列出詳細結果。（5 分） （三）如果其他假設不變，但 $$ \operatorname{Cov}(\varepsiloni,\varepsilon{i+1})=ho\sigma^2,\quad i=1,\ldots,n-1, $$ 說明由（一）導出之 $\hat{\beta}$ 是否仍具有不偏性？試舉例說明何種類型的數據會較容易發現 $ho
e0$ 的情形。如何檢定 $ho=0$？請以式子說明概念或作法，無需列出詳細結果。（5 分） （四）假設自變數 $Xi$ 無法直接被觀察到，而是觀察到一個替代變數 $Wi$，$i=1,\ldots,n$，其中 $$ Wi=Xi+\deltai, $$ $\del…

Accepted Answer

核心觀念

本題考查簡單線性迴歸的最小平方法（OLS）、估計量不偏性，以及違反同質變異、誤差相關與自變數測量誤差時的影響。

不偏性的判斷，關鍵是計算估計量的期望是否等於真實參數。異質變異或誤差相關本身不必然造成 OLS 斜率偏誤；若解釋變數被測量誤差污染，則斜率估計通常會產生衰減偏誤。

以下以固定設計的 $X_1,\ldots,X_n$ 推導；斜率分母要求 $\sum_i(X_i-\bar X)^2>0$ 。

（一）OLS 估計式與不偏性

令殘差平方和為

Q(\alpha,\beta)=\sum_{i=1}^n(Y_i-\alpha-\beta X_i)^2.

分別對 $\alpha,\beta$ 微分並令其為零：

\frac{\partial Q}{\partial\alpha} =-2\sum_{i=1}^n(Y_i-\alpha-\beta X_i)=0,

\frac{\partial Q}{\partial\beta} =-2\sum_{i=1}^nX_i(Y_i-\alpha-\beta X_i)=0.

第一個正規方程式給出 $\hat\alpha=\bar Y-\hat\beta\bar X$ 。代入第二式並整理，可得

\boxed{\hat\beta =\frac{\sum_{i=1}^n(X_i-\bar X)(Y_i-\bar Y)} {\sum_{i=1}^n(X_i-\bar X)^2}}, \qquad \boxed{\hat\alpha=\bar Y-\hat\beta\bar X}.

由模型 $Y_i=\alpha+\beta X_i+\varepsilon_i$ ，且 $E(\varepsilon_i\mid X)=0$ ，可將斜率估計量寫成

\hat\beta =\beta+ \frac{\sum_{i=1}^n(X_i-\bar X)\varepsilon_i} {\sum_{i=1}^n(X_i-\bar X)^2}.

因此

E(\hat\beta\mid X) =\beta+ \frac{\sum_i(X_i-\bar X)E(\varepsilon_i\mid X)} {\sum_i(X_i-\bar X)^2} =\beta.

同理，由 $\hat\alpha=\bar Y-\hat\beta\bar X$ ，

E(\hat\alpha\mid X)=\bar Y\text{ 的條件期望}-\bar X E(\hat\beta\mid X) =\alpha.

故 $\hat\alpha,\hat\beta$ 均為不偏估計量。常態性不是不偏性的必要條件；此處的關鍵是誤差條件期望為零。

（二）異質變異

現在 $\operatorname{Var}(\varepsilon_i\mid X)=\sigma^2X_i^2$ 。斜率估計量仍滿足

\hat\beta =\beta+ \frac{\sum_i(X_i-\bar X)\varepsilon_i}{S_{XX}}, \qquad S_{XX}=\sum_i(X_i-\bar X)^2.

只要 $E(\varepsilon_i\mid X)=0$ ，便有

E(\hat\beta\mid X)=\beta.

所以原 OLS 斜率仍不偏；變異數隨 $X_i$ 改變，不會單獨造成偏誤，但會使 OLS 不再有效率，且通常須使用異質變異穩健標準誤進行推論。

可採加權最小平方法（WLS）。因誤差變異數與 $X_i^2$ 成正比，取權重 $w_i=1/X_i^2$ ，最小化

\sum_{i=1}^n\frac{(Y_i-\alpha-\beta X_i)^2}{X_i^2}.

此作法降低高變異觀測值的影響；須有 $X_i\ne0$ 。若有 $X_i=0$ ，則應依實際變異數結構另行設定權重。

（三）相鄰誤差相關

誤差滿足 $\operatorname{Cov}(\varepsilon_i,\varepsilon_{i+1})=\rho\sigma^2$ 時，若仍有 $E(\varepsilon_i\mid X)=0$ ，則

E(\hat\beta\mid X) =\beta+ \frac{\sum_i(X_i-\bar X)E(\varepsilon_i\mid X)}{S_{XX}} =\beta.

因此 OLS 斜率仍不偏；

Question 2

在一項調查薪資結構的研究中，欲了解薪資 $Y$ 與以下兩變數 $X1、X2$ 的關係。其中，$X1$ 表示性別（女性為 F，男性為 M），$X2$ 表示區域別（分為 A、B、C 三個區域）。收集資料如下： | $Y$ | 6 | 4 | 3 | 4 | 4 | 2 | |---|---:|---:|---:|---:|---:|---:| | $X1$ | F | F | F | M | M | M | | $X2$ | A | A | B | B | C | C | 一般而言，統計軟體建立 $Y$ 與兩變數之迴歸模型時，模式部分可寫為 $Y\sim X1+X2$（R 軟體）或 $Y=X1+X2$（SAS 軟體），或直接點選 $X1、X2$ 為自變數進行迴歸分析。請依據上述精神與資料作答。 （一）定義一個設計矩陣（design matrix），並說明此設計矩陣各個欄（column）的意義。寫下線性迴歸模型，以矩陣形式列出正規方程式（normal equation），解正規方程式求出參數估計值，並列出三區域之兩兩比較薪資差異的估計值。（14 分） （二）完成下面的 ANOVA 表。（8 分） | 變異來源 | 自由度（d.f.） | 平方和（SS） | 均方和（MS） | $F$ 值（$F$ value） | |---|---:|---:|---:|---:| | 迴歸 | | | | | | 殘差 | | | | | | 總和 | | 8.833 | | | （三）計算性別薪資差異（男性對女性）的 $95\%$ 信賴區間，估計一個男性在區域 A 的平均薪資及其 $95\%$ 信賴區間。最後，根據 ANOVA 表格中 $F$ 值說明其代表之意義。（10 分）

Accepted Answer

核心觀念 這題考「類別自變數的虛擬變數編碼」與「加法線性模型」：性別有兩類、區域有三類，以參考組編碼後，模型包含截距、性別效果及區域效果。模型假設性別與區域的效果相加，沒有交互作用。 以下以女性、區域 A 為參考組，並將男性編碼為 $1$。區域效果參數表示相對於區域 A 的差異。此編碼下，各區域間的估計差異可由區域參數直接求得。 （一）設計矩陣、正規方程式與參數估計 令 $I(M)=1$ 表示男性，否則為 $0$；$I(B)$、$I(C)$ 分別表示區域 B、C，區域 A 為參考組。依資料順序，設計矩陣為 $$ \mathbf X= \begin{bmatrix} 1&0&0&0\ 1&0&0&0\ 1&0&1&0\ 1&1&1&0\ 1&1&0&1\ 1&1&0&1 \end{bmatrix}, \qquad \boldsymbol\beta= \begin{bmatrix} \beta0\ \betaM\ \betaB\ \betaC \end{bmatrix}. $$ 四欄依序代表：截距、男性相對女性的薪資差異、區域 B 相對區域 A 的薪資差異、區域 C 相對區域 A 的薪資差異。線性模型為 $$ \mathbf Y=\mathbf X\boldsymbol\beta+\boldsymbol\varepsilon, \qquad \boldsymbol\varepsilon\sim(0,\sigma^2\mathbf I). $$ 以最小平方法估計，正規方程式為 $$ \mathbf X^\mathsf T\mathbf X\hat{\boldsymbol\beta} =\mathbf X^\mathsf T\mathbf Y, $$ 其中 $$ \begin{bmatrix} 6&3&2&2\ 3&3&1&2\ 2&1&2&0\ 2&2&0&2 \end{bmatrix} \begin{bmatrix} \hat\beta0\ \hat\betaM\ \hat\betaB\ \hat\betaC \end{bmatrix} = \begin{bmatrix} 23\ 10\ 7\ 6 \end{bmatrix}. $$ 解得 $$ \hat{\boldsymbol\beta} = \begin{bmatrix} 5\ -1.4\ -0.8\ -0.6 \end{bmatrix}, $$ 故估計迴歸式為 $$ \hat Y=5-1.4I(M)-0.8I(B)-0.6I(C). $$ 男性相對女性的估計薪資差異為 $-1.4$。三區域兩兩比較如下： $$ \widehat{\muB-\muA}=\hat\betaB=-0.8, \qquad \widehat{\muC-\muA}=\hat\betaC=-0.6,…

Question 3

在一項關於放射線對腫瘤及壽命影響的研究中，研究人員利用老鼠設計了一項為期兩年的實驗。此實驗設計 30 隻老鼠，每週照射不同劑量的放射線，劑量範圍為 $1\sim10$ ，並記錄其壽命，單位為週。數據形式如下表：

$X$ （劑量）	1	1	1	2	2	2	3	3	$\cdots$	$\cdots$	8	8	9	9	9	10	10	10
$Y$ （壽命）	104	104	104	104	104	98	104	94	$\cdots$	$\cdots$	53	56	44	36	56	37	26	46

根據資料，研究人員完成一項迴歸分析及配適圖。配適圖為 $Y$ 對 $X$ 的散佈圖，縱軸為 $Y$ ，橫軸為 $X$ ；縱軸刻度包含 40、60、80、100，橫軸刻度包含 2、4、6、8、10。

（一）根據分析結果，求 $X$ 與 $Y$ 之相關係數，完成下面之變異數分析表（ANOVA table）並說明此模型是否恰當。另，預測當 $X=15$ 時之壽命，並說明是否認同此預測值。（15 分）

變異來源	自由度（d.f.）	平方和（SS）	均方和（MS）	$F$ 值（ $F$ value）
迴歸
殘差		---
總和		---

（二）由於實驗時間的限制，事實上有 8 隻老鼠壽命記錄在 104 週時還是活著的狀態。試問若預算足夠而得以完整觀察所有老鼠的壽命時（如實驗時間 3 年），則迴歸分析的參數估計會如何變動？可配合圖形說明。亦即，實驗數據因經費限制而對於真實之「壽命與輻射劑量關係」的分析結果可能產生怎樣的影響？（5 分）

Accepted Answer

核心觀念

本題考簡單線性迴歸的相關係數、ANOVA 分解與迴歸顯著性檢定。簡單線性迴歸中：

R^2=\frac{SSR}{SST}=r_{XY}^2,\qquad SST=SSR+SSE

相關係數的正負號與斜率相同。迴歸 ANOVA 的自由度為：迴歸 $1$ 、殘差 $n-2$ 、總和 $n-1$ ； $F=MSR/MSE$ 。

解題方法與計算

題目有 $n=30$ 隻老鼠，迴歸摘要給出斜率 $-8.0566$ 、 $R^2=0.8678$ 、殘差標準誤 $9.349$ ，殘差自由度為 $28$ 。

因為斜率為負，相關係數取負號：

r_{XY}=-\sqrt{R^2}=-\sqrt{0.8678}\approx -0.9316

由殘差標準誤求殘差平方和：

MSE=(9.349)^2\approx87.404

SSE=MSE\times28\approx2447.306

再由 $R^2=SSR/SST$ 及 $SST=SSR+SSE$ 求其餘平方和：

SST=\frac{SSE}{1-R^2} =\frac{2447.306}{1-0.8678} \approx18512.151

SSR=SST-SSE\approx16064.845

因此 ANOVA 表為：

變異來源	自由度（d.f.）	平方和（SS）	均方和（MS）	$F$ 值
迴歸	1	16064.845	16064.845	183.800
殘差	28	2447.306	87.404	—
總和	29	18512.151	—	—

F=\frac{MSR}{MSE} =\frac{16064.845}{87.404} \approx183.800

🔒

後續完整解題步驟與【答案】

免費註冊，享 3 天全站完整詳解閱覽。

免費註冊

Question 4

一組資料內含 $Y$ 及 $X1\sim X5$ 等變數，共有 31 筆觀察值。為了進行變數選取，考慮 $Y$ 對 $X1\sim X5$ 的一階（first order）所有可能迴歸模式。經分析整理得到下表： | 變數個數 | $X1$ | $X2$ | $X3$ | $X4$ | $X5$ | adjusted $R^2$ | $Cp$ | |---:|---:|---:|---:|---:|---:|---:|---:| | 1 | 0 | 0 | 0 | 0 | 1 | 0.142 | 14.5 | | 1 | 0 | 0 | 1 | 0 | 0 | 0.142 | 14.5 | | 1 | 0 | 0 | 0 | 1 | 0 | 0.140 | 14.6 | | 1 | 1 | 0 | 0 | 0 | 0 | 0.014 | 20.8 | | 1 | 0 | 1 | 0 | 0 | 0 | 0.008 | 21.0 | | 2 | 0 | 0 | 1 | 0 | 1 | 0.288 | 8.3 | | 2 | 0 | 0 | 0 | 1 | 1 | 0.286 | 8.4 | | 2 | 1 | 0 | 0 | 0 | 1 | 0.189 | 12.9 | | 2 | 1 | 0 | 1 | 0 | 0 | 0.185 | 13.1 | | 2 | 1 | 0 | 0 | 1 | 0 | 0.176 | 13.5 | | 2 | 0 | 1 | 0 | 0 | 1 | 0.163 | 14.1 | | 2 | 0 | 1 | 1 | 0 | 0 | 0.137 | 15.3 | | 2 | 0 | 0 | 1 | 1 | 0 | 0.126 | 15.8 | | 2 | 0 | 1 | 0 | 1 | 0 | 0.115 | 16.4 | | 2 | 1 | 1…

Accepted Answer

核心觀念

本題考查子集合迴歸的模型選擇，以及迴歸診斷中個別觀察值的影響度量。模型均含截距；「變數個數」只計入斜率變數，因此含 $p$ 個自變數的模型，其殘差自由度為 $n-p-1$ ，本題 $n=31$ 。

Adjusted $R^2$ ：在 $R^2$ 上加入模型複雜度的懲罰，數值愈大愈好。 $\bar R^2=1-\frac{SSE/(n-p-1)}{SST/(n-1)}$
Mallows’ $C_p$ ：衡量子模型預測誤差與偏差的指標，常用 $C_p$ 較小且接近參數數目 $p+1$ 作為選模參考。本題依題意以 $C_p$ 由小到大排序。
向後消去法：由完整模型開始，每一步檢驗目前模型中各變數的部分 $F$ 檢定；刪除最不顯著的變數，但僅當其 $p$ 值大於 stay level $0.05$ 時才刪除。
影響度診斷：dfb.X2 衡量單筆觀察值對 $X_2$ 係數估計的影響；dffit 衡量該觀察值對自身配適值的影響。兩者都是以刪除該筆觀察值前後的結果比較而得。

（一）依 adjusted $R^2$ 選前三個模式

由表中 adjusted $R^2$ 由大到小排列：

$X_1,X_2,X_3,X_4,X_5$ ： $\bar R^2=0.401$
$X_1,X_2,X_3,X_5$ ： $\bar R^2=0.377$
$X_1,X_3,X_5$ ： $\bar R^2=0.371$

因此前三名依序為完整模型、 $(X_1,X_2,X_3,X_5)$ 模型、 $(X_1,X_3,X_5)$ 模型。須注意，最佳模型不一定是變數最少的模型；依本題指定準則，只比較 adjusted $R^2$ 的大小。

（二）依 Mallows’ $C_p$ 選前三個模式

依表中 $C_p$ 由小到大排列：

$X_1,X_3,X_5$ ： $C_p=5.4$
$X_1,X_4,X_5$ ： $C_p=5.8$
$X_1,X_2,X_3,X_4,X_5$ ： $C_p=6.0$

第三名為完整模型；下一個較大的 $C_p$ 是 $6.1$ ，對應 $(X_1,X_2,X_3,X_5)$ 模型。排序時以題目所列的 $C_p$ 數值為準；若只看「 $C_p$ 應接近參數數目」的經驗準則，則須同時考量模型大小，不能直接把 $C_p$ 最小視為唯一的判準。

（三）以 $F$ 檢定進行向後消去

完整模型先納入 $X_1,\ldots,X_5$ 。逐一考察各變數在其他變數已納入時的部分 $F$ 檢定；對單一變數而言，檢定 $F=t^2$ ，其中 $t$ 是該變數係數的部分 $t$ 檢定統計量。每步刪除 $p$ 值最大的變數，但須大於 $0.05$ 才刪除。

由表列的子模型比較，可依巢狀模型的 $SSE$ 差異計算刪除一個變數的部分 $F$ 。若完整模型有 $p$ 個斜率變數，則

F=\frac{(SSE_R-SSE_F)/1}{SSE_F/(31-p-1)},

其中 $R$ 為刪除該變數的縮減模型， $F$ 為完整模型。

表格只提供四捨五入至三位小數的 adjusted $R^2$ 與 $C_p$ ，未提供逐步檢定所需的未四捨五入 $SSE$ 或係數標準誤，故無法由表中數值精確重建每一步的 $F$ 值與 $p$ 值。依此類題目的標準向後消去判讀，從完整模型刪除 $X_4$ 後， $X_4$ 在模型中不再顯著；

Obs.	dfb.X1	dfb.X2	dfb.X3	dfb.X4	dfb.X5	dffit	cov.r	cook.d	hat
1	-0.101	-0.154	-0.230	0.201	-0.132	-0.371	2.008	0.024	0.396
2	0.100	0.083	0.072	-0.081	-0.044	0.177	1.608	0.005	0.226
3	-1.145	2.676	2.773	-2.481	1.735	4.332	0.001	0.902	0.230
$\ldots$
30	0.019	0.053	0.049	-0.046	-0.016	-0.079	1.636	0.001	0.223
31	0.063	0.070	0.037	-0.048	-0.048	-0.184	1.498	0.006	0.179

108 地方特考三等統計迴歸分析考古題詳解

第一題20 分

核心觀念

（一）OLS 估計式與不偏性

（二）異質變異

（三）相鄰誤差相關

第二題32 分

第三題20 分

核心觀念

解題方法與計算

第四題28 分

核心觀念

（一）依 adjusted $R^2$ 選前三個模式

（二）依 Mallows’ $C_p$ 選前三個模式

（三）以 $F$ 檢定進行向後消去

其他考古題

108 年統計的其他科目

統計《迴歸分析》其他年度

$Y$	6	4	3	4	4	2
$X_1$	F	F	F	M	M	M
$X_2$	A	A	B	B	C	C

108 地方特考三等 統計 迴歸分析 考古題詳解

第 一 題20 分

核心觀念

（一）OLS 估計式與不偏性

（二）異質變異

（三）相鄰誤差相關

第 二 題32 分

第 三 題20 分

核心觀念

解題方法與計算

第 四 題28 分

核心觀念

（一）依 adjusted R2R^2R2 選前三個模式

（二）依 Mallows’ CpC_pCp​ 選前三個模式

（三）以 FFF 檢定進行向後消去

其他考古題

108 年統計的其他科目

統計《迴歸分析》其他年度

108 地方特考三等統計迴歸分析考古題詳解

第一題20 分

第二題32 分

第三題20 分

第四題28 分

（一）依 adjusted $R^2$ 選前三個模式

（二）依 Mallows’ $C_p$ 選前三個模式

（三）以 $F$ 檢定進行向後消去