109 地方特考三等 統計 迴歸分析 考古題詳解

核心觀念

本題考查簡單線性迴歸的最小平方法、斜率檢定、誤差變異數估計，以及迴歸平均反應的信賴區間。

令 $n=30$，則殘差自由度為 $n-2=28$。簡單線性迴歸的最小平方法估計量為

殘差平方和為

而不偏估計的誤差變異數為 $MSE=SSE/(n-2)$。

（一）迴歸係數與估計標準誤

先計算斜率估計值：

截距估計值為

因此，未中心化模型的配適迴歸式為

若改用中心化模型

因為 $\sum_i(X_i-\bar X)=0$，最小平方法估計量為

計算殘差平方和及均方誤差：

因此，估計標準誤為

（二）檢定斜率，以及 $\sigma^2$ 的估計

檢定假設為

檢定統計量為

在 $H_0$ 成立時服從自由度 $28$ 的 $t$ 分配。顯著水準 $0.05$ 的雙尾臨界值為 $t_{0.025}(28)=2.0484$。

核心觀念

本題評量迴歸分析中兩大核心主題：多元共線性（Multicollinearity）的診斷與補救，以及有界反應變數（Bounded Response Variable）的建模限制與替代模型。

1. 變異數膨脹因子（Variance Inflation Factor, VIF）： 用於衡量自變數之間因為線性相關，而導致最小平方估計量變異數膨脹的倍數。對於第 $k$ 個解釋變數 $X_k$，其定義為： $\text{VIF}_k = \frac{1}{1 - R_k^2}$ 其中 $R_k^2$ 為以 $X_k$ 作為反應變數，對其他所有解釋變數進行輔助迴歸（Auxiliary Regression）所得的判定係數（Coefficient of Determination）。

• 判定標準：一般經驗法則以 $\text{VIF}_k > 10$（或容忍度 $\text{Tolerance}_k = 1/\text{VIF}_k < 0.1$）作為存在嚴重多元共線性的臨界標準。

2. 有界反應變數與古典線性迴歸之衝突： 普通最小平方法（OLS）配適的線性迴歸模型假設反應變數 $Y \in (-\infty, \infty)$。當反應變數具有明確的上下界限（如評分量表 $Y \in [1, 10]$）時，直接配適線性模型將面臨預測值出界、變異數異質性及非線性邊際效應等違反古典假設之問題。

解題方法

（一）身體脂肪資料之共線性分析與配適評估

1. 計算變異數膨脹因子（VIF）

由題表 1 所提供的輔助迴歸判定係數 $R_k^2$，分別代入 VIF 公式計算：

• 對 $X_1$（皮褶厚度）： $R_1^2 = 99.86\% = 0.9986$ $\text{VIF}_1 = \frac{1}{1 - R_1^2} = \frac{1}{1 - 0.9986} = \frac{1}{0.0014} \approx 714.29$

• 對 $X_2$（大腿圍周）： $R_2^2 = 99.82\% = 0.9982$ $\text{VIF}_2 = \frac{1}{1 - R_2^2} = \frac{1}{1 - 0.9982} = \frac{1}{0.0018} \approx 555.56$

• 對 $X_3$（中臂圍周）： $R_3^2 = 99.04\% = 0.9904$ $\text{VIF}_3 = \frac{1}{1 - R_3^2} = \frac{1}{1 - 0.9904} = \frac{1}{0.0096} \approx 104.17$

2. 評論模型 1 是否合適

結論：該分析師所配適之迴歸模型 1 不合適。

3. 原因說明（多元共線性之不良後果）

本例中三個解釋變數的 VIF 值分別高達 $714.29$、$555.56$ 與 $104.17$，遠超過診斷臨界值 $10$，顯示解釋變數間存在極其嚴重的多元共線性。其導致的問題包括：

1. 估計量變異數急遽放大：迴歸係數之變異數為 $\text{Var}(\hat{\beta}_k) = \frac{\sigma^2}{\sum (X_{ki}-\bar{X}_k)^2} \cdot \text{VIF}_k$，VIF 過大會導致標準誤膨脹數十倍，降低估計精度。
2. 假設檢定失真（矛盾現象）：個別迴歸係數的 $t$ 檢定統計量數值被大幅壓縮，導致個別自變數看似不顯著（$p$-value 偏大）；然而整體的 $F$ 檢定卻呈現高度顯著，且判定係數 $R^2$ 極高。
3. 迴歸係數極不穩定且反常：樣本資料稍有增減或變動，係數估計值便會劇烈變動，甚至可能估出與專業解讀相悖的正負符號。
4. 無法分離邊際貢獻：無法合理解釋在「控制其他變數固定不變」下，單一自變數對身體脂肪 $Y$ 的真實淨效應。

4. 解決方法

為克服嚴重共線性，可採取下列策略：

1. 變數選取法（Variable Selection）：

• 採用逐步迴歸法（Stepwise Regression）、向前選取法（Forward Selection）、向後剔除法（Backward Elimination）或最佳子集合選取（Best Subsets Regression）。
• 以赤池資訊準則（AIC）、貝氏資訊準則（BIC）或 Mallows' $C_p$ 為指標，剔除高度重複共線的變數（例如在皮褶厚度與大腿圍周中擇一保留），維持高解釋力同時消除共線性。

2. 正交轉換／主成分迴歸（Principal Component Regression, PCR）：

• 對 $X_1, X_2, X_3$ 進行主成分分析，將高度相關的原始變數萃取為互為正交（無相關）的主成分分數，再以主成分作為解釋變數配適迴歸。

3. 收縮估計法（Shrinkage Methods）：

• 脊迴歸（Ridge Regression）：引入 $\ell_2$ 懲罰項，允許估計量帶有些微偏差（Bias），以大幅縮減估計量的變異數（Variance），使係數估計趨於穩定。
• 套索迴歸（Lasso Regression）：引入 $\ell_1$ 懲罰項，在縮減變異數的同時自動將部分係數壓縮至零，兼具變數篩選之功能。

4. 擴充資料樣本：增加樣本數 $n$（特別是打破現有幾何比例相關性的樣本），有助於降低共線性帶來的變異數膨脹。

（二）縣市首長滿意度有界反應變數之配適評估

1. 評論該分析師所配適之複迴歸模型是否合適

結論：該分析師所配適的傳統複迴歸模型不合適。

2. 原因說明

滿意度分數 $Y$ 明顯落在閉區間 $[1, 10]$ 內，使用普通最小平方（OLS）配適標準線性迴歸模型存在重大理論與實務缺陷：

1. 預測值超出界限（Domain Violation）： 線性迴歸模型假設 $\hat{Y} = \mathbf{x}'\hat{\boldsymbol{\beta}} \in (-\infty, \infty)$。當解釋變數取特定極端值時，模型預測值會超出 $10$（或小於 $1$），產生在現實評分機制中完全不存在且不合理的預測。
2. 違反變異數同質性假定（Heteroscedasticity）： 當反應變數具有上下界時，靠近邊界值（接近 1 或接近 10）的觀測值，其殘差變異數必然壓縮趨近於 0（邊界天花板／地板效應），使得誤差項之變異數無法保持常數，違反 $\text{Var}(\varepsilon_i) = \sigma^2$ 的同質假定，導致統計推論失真。

核心觀念

線性迴歸的主要誤差假設為：模型形式適當且誤差平均數為 $0$、誤差變異數相同、誤差彼此獨立，以及誤差服從常態分配。模型 2 以 $t$ 表示線性時間趨勢，並以 $M_1,\ldots,M_{11}$ 表示月份效果；未列入模型的第 12 個月為基準月份。

殘差診斷是檢查這些假設是否合理的重要方法，但單一殘差圖無法驗證所有假設。應搭配不同圖形與檢定判讀。

解題方法

可依下列方式檢查誤差假設：

• 模型形式與平均數為零：查看殘差對預測值、各自變數或時間的散布圖。若殘差大致隨機散布在 $0$ 附近，沒有明顯曲線或趨勢，模型形式較合理。
• 變異數相同：查看殘差對預測值的散布圖或尺度位置圖。若散布寬度隨預測值明顯擴大或縮小，表示可能有異質變異；可再使用 Breusch–Pagan 檢定等方法檢查。
• 誤差獨立：對時間序列資料，查看殘差對時間圖及殘差自我相關圖，並可使用 Durbin–Watson 或 Ljung–Box 檢定檢查自我相關。
• 誤差常態：查看殘差直方圖及常態機率圖；必要時使用 Shapiro–Wilk 檢定。殘差對時間圖本身不能判定常態性。
• 異常值與影響點：查看標準化殘差、槓桿值及 Cook 距離等診斷量，並確認個別觀察值是否對估計結果有過大影響。

圖 2 的標準化殘差不是隨機散布在 $0$ 附近，而呈現明顯的 U 形時間型態：前段多為正，中段多為負，後段又多為正。這表示模型在不同時間區段有系統性高估或低估，線性時間趨勢不足以描述資料的變化。殘差連續成段同號，也顯示誤差可能存在正自我相關。因此，模型 2 不適合作為此資料的充分模型。

核心觀念

本題為國家考試《迴歸分析》極具代表性的**一般線性檢定（General Linear Test）與模型評選（Model Selection）**綜合題，主要考查以下核心理論：

1. 部分 $F$ 檢定（Partial $F$-test / Extra Sum of Squares Principle）： 在比較完整模型（Full Model, $F$）與縮減模型（Reduced Model, $R$）時，藉由額外平方和（Extra Sum of Squares）評估刪除的變數是否對應變數具有顯著解釋力。檢定統計量為： $F^* = \frac{[\text{SSE}(R) - \text{SSE}(F)] / (df_R - df_F)}{\text{MSE}(F)} = \frac{[\text{SSR}(F) - \text{SSR}(R)] / (df_R - df_F)}{\text{MSE}(F)}$ 在虛無假設成立下服從 $F(df_R - df_F, df_F)$ 分配。
2. 單一係數與多元係數聯合檢定：

• 檢定單一變數（如 $X_3$）是否可刪除：$H_0: \beta_3 = 0 \text{ vs } H_1: \beta_3 \neq 0$。
• 檢定子集合變數（如 $X_4, X_5$）之聯合效果：$H_0: \beta_4 = \beta_5 = 0 \text{ vs } H_1: \beta_4, \beta_5 \text{ 不全為 } 0$。

3. 調整後複判定係數（Adjusted $R^2$, $R_a^2$）： $R_a^2 = 1 - \frac{\text{SSE} / (n - p)}{\text{SST} / (n - 1)} = 1 - \frac{\text{MSE}}{\text{MST}}$ 透過自由度調整，對模型納入多餘解釋變數施加懲罰，避免傳統 $R^2$ 隨自變數增加而單調遞增的缺陷。
4. 高斯—馬可夫與常態性假設（Gauss-Markov & Normality Assumptions）： 推論統計檢定（$t$ 檢定、$F$ 檢定）的有效性，建立在誤差項滿足獨立同常態分配 $\varepsilon_i \overset{\text{i.i.d.}}{\sim} N(0, \sigma^2)$ 之基礎上。

解題方法

（一）檢定便利商店數量（$X_3$）是否可自模型 1 中刪除

1. 模型設定：

• 完整模型（模型 1）：$Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \beta_3 X_{3i} + \beta_4 X_{4i} + \beta_5 X_{5i} + \varepsilon_i$
• 縮減模型（模型 3，刪除 $X_3$）：$Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \beta_4 X_{4i} + \beta_5 X_{5i} + \varepsilon_i$

2. 假設設定：

• 虛無假設 $H_0: \beta_3 = 0$（在控制其他四個變數下，$X_3$ 無邊際貢獻，可自模型 1 刪除）
• 對立假設 $H_1: \beta_3 \neq 0$（在控制其他四個變數下，$X_3$ 有顯著貢獻，不可自模型 1 刪除）

3. 檢定統計量與計算： 利用額外平方和 $\text{SSR}(X_3 \mid X_1, X_2, X_4, X_5) = \text{SSE}(\text{模型 3}) - \text{SSE}(\text{模型 1})$：

• $\text{SSE}(\text{模型 3}) = 28847$，$df_{E,3} = 403$
• $\text{SSE}(\text{模型 1}) = 26465$，$df_{E,1} = 402$
• 額外平方和 $\text{SS}_{\text{extra}} = 28847 - 26465 = 2382$（若由 $\text{SSR}$ 相減：$44260 - 41879 = 2381$）
• 自由度差額 $r = df_{E,3} - df_{E,1} = 403 - 402 = 1$
• 完整模型之均方誤差 $\text{MSE}(\text{模型 1}) = 65.83443$

檢定統計量值為： $F^* = \frac{[\text{SSE}(\text{模型 3}) - \text{SSE}(\text{模型 1})] / 1}{\text{MSE}(\text{模型 1})} = \frac{2382}{65.83443} \approx 36.18$ （若以 $\text{SSR}$ 差額計算：$F^* = \frac{2381}{65.83443} \approx 36.17$）

4. 決策法則（Decision Rule）： 在顯著水準 $\alpha = 0.05$ 下，拒絕域為： $\text{Reject } H_0 \quad \text{if } F^* > F_{0.05}(1, 402)$ 查表得臨界值 $F_{0.05}(1, 402) \approx F_{0.05}(1, \infty) = (z_{0.025})^2 = (1.96)^2 \approx 3.84$（精確值約為 $3.86$）。

5. 結論： 因為 $F^* \approx 36.18 > 3.86$（$p\text{-value} < 0.0001$），故在 $\alpha=0.05$ 顯著水準下拒絕 $H_0$。 統計結論顯示，在給定其他變數存在的情形下，便利商店數量（$X_3$）之偏迴歸係數顯著不為零，不可從模型 1 中刪除。

（二）檢定緯度（$X_4$）與經度（$X_5$）對房價是否有顯著影響

1. 模型設定：

• 完整模型（模型 1）：含全體 5 個解釋變數。
• 縮減模型（模型 2，排除 $X_4$ 與 $X_5$）：$Y_i = \beta_0 + \beta_1 X_{1i} + \beta_2 X_{2i} + \beta_3 X_{3i} + \varepsilon_i$

2. 假設設定：

• 虛無假設 $H_0: \beta_4 = \beta_5 = 0$（在控制 $X_1, X_2, X_3$ 下，$X_4$ 與 $X_5$ 對房價皆無額外影響）
• 對立假設 $H_1: \beta_4 \text{ 與 } \beta_5 \text{ 不全為 } 0$（即至少有一個 $\beta_j \neq 0, j=4,5$）

3. 檢定統計量與計算： 利用額外平方和 $\text{SSR}(X_4, X_5 \mid X_1, X_2, X_3) = \text{SSE}(\text{模型 2}) - \text{SSE}(\text{模型 1})$：

• $\text{SSE}(\text{模型 2}) = 29023$，$df_{E,2} = 404$
• $\text{SSE}(\text{模型 1}) = 26465$，$df_{E,1} = 402$
• 額外平方和 $\text{SS}_{\text{extra}} = 29023 - 26465 = 2558$（若由 $\text{SSR}$ 相減：$44260 - 41703 = 2557$）
• 檢定參數個數 $r = df_{E,2} - df_{E,1} = 404 - 402 = 2$
• 完整模型之均方誤差 $\text{MSE}(\text{模型 1}) = 65.83443$

檢定統計量值為： $F^* = \frac{[\text{SSE}(\text{模型 2}) - \text{SSE}(\text{模型 1})] / 2}{\text{MSE}(\text{模型 1})} = \frac{2558 / 2}{65.83443} = \frac{1279}{65.83443} \approx 19.43$ （若以 $\text{SSR}$ 差額計算：$F^* = \frac{1278.5}{65.83443} \approx 19.42$）

4. 決策法則（Decision Rule）： 在顯著水準 $\alpha = 0.05$ 下，拒絕域為： $\text{Reject } H_0 \quad \text{if } F^* > F_{0.05}(2, 402)$ 查表得臨界值 $F_{0.05}(2, 402) \approx F_{0.05}(2, \infty) \approx 3.00$（精確值約為 $3.018$）。

5. 結論： 因為 $F^* \approx 19.43 > 3.02$（$p\text{-value} < 0.0001$），故在 $\alpha=0.05$ 顯著水準下拒絕 $H_0$。