107 地方特考三等 統計 迴歸分析 考古題詳解

核心觀念

1. 多重共線性（Multicollinearity）之定義： 在複迴歸模型中，兩個或兩個以上的解釋變數（自變數）之間存在高度或完全的線性相依（linear dependency）關係。

• 完全多重共線性（Perfect Multicollinearity）：存在一組不全為零的常數 $c_1, c_2, \ldots, c_k$，使得 $\sum_{j=1}^k c_j X_{ji} = 0$。此時設計矩陣 $\mathbf{X}$ 非滿行秩（not full column rank），$\mathbf{X}'\mathbf{X}$ 為奇異矩陣（singular matrix）而不可逆，最小自我二乘估計量（OLS）不存在唯一解。
• 不完全多重共線性（Near / Imperfect Multicollinearity）：自變數之間存在高度但非完全的線性相關（即 $\sum_{j=1}^k c_j X_{ji} \approx 0$），導致 $\mathbf{X}'\mathbf{X}$ 接近奇異矩陣，其行列式值接近 0。

2. 多重共線性對 OLS 估計結果之影響：

• 估計量仍具不偏性（Unbiasedness）​與一致性（Consistency），高斯－馬可夫定理依然成立（在線性不偏估計量中仍為 BLUE），但是：
• 估計量變異數與標準誤急劇膨脹：個別係數之變異數為： $\operatorname{Var}(\hat{\beta}_j) = \frac{\sigma^2}{\sum_{i=1}^n (X_{ji}-\bar{X}_j)^2} \cdot \frac{1}{1-R_j^2} = \frac{\sigma^2}{S_{jj}} \operatorname{VIF}_j$ 當輔助迴歸判定係數 $R_j^2 \to 1$ 時，變異數膨脹因子 $\operatorname{VIF}_j \to \infty$，標準誤（Standard Error, SE）異常偏大。
• 個別檢定力大幅下降（$t$ 統計量偏低）：因標準誤膨脹，檢定統計量 $t = \hat{\beta}_j / \operatorname{se}(\hat{\beta}_j)$ 偏小，容易無法拒絕 $H_0: \beta_j = 0$（犯型 II 錯誤），導致實質重要的解釋變數在統計上呈現不顯著。
• 估計值極不穩定且對樣本微小變動敏感：增刪極少數觀測值或微調變數，估計值大小甚至正負符號可能劇烈變動。
• 估計值符號與理論或常理相悖：係數方向可能與真實關係相反。
• 難以分離單一自變數之個別邊際效果（Partial Effects）：自變數間高度共變，無法在控制其他變數不變下單獨衡量某變數對 $Y$ 的影響。

3. 多重共線性的偵測方法與判斷準則：

• 整體與個別檢定矛盾法：全模型判定係數 $R^2$ 很高、整體 $F$ 檢定極為顯著（$p\text{-value}$ 極小），但各個自變數的個別 $t$ 檢定多數不顯著。
• 變異數膨脹因子（VIF）與容忍度（Tolerance, TOL）： $\operatorname{VIF}_j = \frac{1}{1 - R_j^2}, \quad \text{TOL}_j = \frac{1}{\operatorname{VIF}_j} = 1 - R_j^2$ 判斷準則：若 $\operatorname{VIF}_j > 10$（或較嚴格之 $\operatorname{VIF}_j > 5$），或 $\text{TOL}_j < 0.1$，表示該變數存在嚴重多重共線性；若整體平均 $\overline{\operatorname{VIF}}$ 顯著大於 1，亦顯示整體模型有共線性問題。
• 特徵值（Eigenvalues）、條件指數（Condition Index, CI）與條件數（Condition Number, CN）： 對標準化自變數矩陣求特徵值 $\lambda_1 \ge \lambda_2 \ge \cdots \ge \lambda_p$。條件數 $\kappa = \sqrt{\lambda_{\max} / \lambda_{\min}}$，條件指數 $\text{CI}_j = \sqrt{\lambda_{\max} / \lambda_j}$。 判斷準則：若 $\text{CI} > 30$（中度為 $10 \le \text{CI} \le 30$），且對應特徵值的變異數分解比例（Variance Decomposition Proportion）有兩個以上變數超過 0.5，代表存在嚴重多重共線性。
• 自變數相關係數矩陣（Correlation Matrix）： 判斷準則：若任兩自變數間的簡單相關係數絕對值 $|r_{X_j, X_k}| > 0.8$ 或 $0.9$，顯示兩者間具高度共線性（注意：無法偵測三個以上變數間的多元共線性）。
• 克萊因法則（Klein's Rule of Thumb）： 若某自變數對其餘自變數做輔助迴歸所得的判定係數 $R_j^2 > R^2$（整體迴歸之判定係數），則判定存在嚴重多重共線性。

解題方法

(一) 多重共線性的定義、影響與偵測準則

依據「定義」、「估計影響」以及「偵測準則（VIF、CI、相關係數、檢定矛盾現象）」系統化條列作答（詳見上述核心觀念，並於作答時完整表述）。

(二) 軟體輸出結果評估、適切性說明與解決方案

1. 模型配適度指標計算與整體顯著性檢定：

• 樣本數 $n = 100$（由 Corrected Total DF $= n - 1 = 99 \implies n = 100$）。
• 變數個數：7 個自變數，參數個數 $p = 8$（含截距）。
• 判定係數： $R^2 = \frac{SS_{\text{Model}}}{SS_{\text{Corrected Total}}} = \frac{3019.404}{3526.470} \approx 0.8562 \quad (85.62\%)$
• 整體 $F$ 檢定： $F = \frac{MS_{\text{Model}}}{MS_{\text{Error}}} = \frac{431.343}{5.512} = 78.26, \quad p\text{-value} < 0.0001$ 在顯著水準 $\alpha = 0.05$ 下，拒絕 $H_0: \beta_1 = \beta_2 = \cdots = \beta_7 = 0$，表示整體迴歸關係高度顯著。

2. 個別係數之 $t$ 檢定分析（對照考卷所附查表值）：

• 殘差自由度 $df_E = 92$。考卷附表提供臨界值 $F_{0.05}(1, 88) = 3.9493$，因 $F(1, \nu) = [t(\nu)]^2$，可換算對應雙尾顯著水準 $\alpha = 0.05$ 之 $t$ 臨界值為： $t_{0.025}(92) \approx t_{0.025}(88) = \sqrt{3.9493} \approx 1.987$
• 逐一檢驗各變數之顯著性（$H_0: \beta_j = 0 \text{ vs } H_1: \beta_j \ne 0$）：
• $X_1$：$t = 1.26$（$t^2 = 1.59 < 3.95$），$p = 0.209 > 0.05$（不顯著）
• $X_2$：$t = 0.64$（$t^2 = 0.41 < 3.95$），$p = 0.522 > 0.05$（不顯著）
• $X_3$：$t = 0.51$（$t^2 = 0.26 < 3.95$），$p = 0.613 > 0.05$（不顯著）
• $X_4$：$t = 0.87$（$t^2 = 0.76 < 3.95$），$p = 0.388 > 0.05$（不顯著）
• $X_5$：$t = 0.14$（$t^2 = 0.02 < 3.95$），$p = 0.890 > 0.05$（不顯著）
• $X_6$：$t = -2.04$（$t^2 = 4.16 > 3.95$），$p = 0.044 < 0.05$（顯著）
• $X_7$：$t = 2.94$（$t^2 = 8.64 > 3.95$），$p = 0.004 < 0.05$（高度顯著）

核心觀念

本題評量多元線性迴歸模型中額外平方和（Extra Sum of Squares）​的定義與應用，以及利用部分 $F$ 檢定（Partial $F$-test / General Linear Test）​評估模型中單一或多個解釋變數的邊際貢獻：

1. 額外平方和（Extra Sum of Squares）： 衡量在既有解釋變數的基礎上，額外納入新變數所能縮減的殘差平方和（SSE），亦即迴歸平方和（SSR）的增加量。 $SSR(X_B \mid X_A) = SSE(X_A) - SSE(X_A, X_B) = SSR(X_A, X_B) - SSR(X_A)$
2. 一般線性檢定（General Linear Test / Partial $F$-test）： 用於比較完整模型（Full Model）與縮減模型（Reduced Model）： $F^* = \frac{\frac{SSE(R) - SSE(F)}{df_R - df_F}}{\frac{SSE(F)}{df_F}} = \frac{\frac{SSR(\text{額外變數} \mid \text{既有變數})}{q}}{MSE(F)}$ 其中 $q = df_R - df_F$ 為檢定的參數個數（限制條件數），$df_F = n - p$ 為完整模型之殘差自由度（$p$ 為完整模型中包含截距項的參數總數）。
3. 推論所需的標準高斯-馬可夫與常態性假設： 誤差項 $\varepsilon_i \overset{\text{i.i.d.}}{\sim} N(0, \sigma^2)$，保證平方和比值在虛無假設下精確服從 $F$ 分配。

解題方法

(一) 計算額外平方和 $SSR(X_2 \mid X_1, X_3)$

依據額外平方和定義，在已包含 $X_1, X_3$ 的模型中加入 $X_2$，所縮減之殘差平方和為： $SSR(X_2 \mid X_1, X_3) = SSE(X_1, X_3) - SSE(X_1, X_2, X_3)$

查閱圖 2 電腦報表：

• $SSE(X_1, X_3) = 4330.4997$
• $SSE(X_1, X_2, X_3) = 4248.8407$

帶入計算： $SSR(X_2 \mid X_1, X_3) = 4330.4997 - 4248.8407 = 81.6590$

(二) 在模型 (2) 下檢定加入 $X_2$ 是否具顯著貢獻

本小題檢定在已有 $X_1, X_3$ 情況下，加入 $X_2$ 之邊際效果。

1. 統計假設：

• 虛無假設 $H_0: \beta_2 = 0$（在已有 $X_1, X_3$ 下，$X_2$ 對解釋滿意度無顯著貢獻）
• 對立假設 $H_1: \beta_2 \neq 0$（在已有 $X_1, X_3$ 下，$X_2$ 對解釋滿意度有顯著貢獻）

2. 完整模型與縮減模型自由度：

• 樣本數 $n = 46$
• 完整模型為包含 $X_1, X_2, X_3$ 的模型 (3)，參數個數 $p = 4$（含截距項 $\beta_0, \beta_1, \beta_2, \beta_3$）。
• 完整模型殘差自由度 $df_F = n - p = 46 - 4 = 42$。
• 完整模型均方誤： $MSE(X_1, X_2, X_3) = \frac{SSE(X_1, X_2, X_3)}{n - 4} = \frac{4248.8407}{42} \approx 101.1629$

3. 檢定統計量之值： $F^* = \frac{\frac{SSR(X_2 \mid X_1, X_3)}{1}}{MSE(X_1, X_2, X_3)} = \frac{81.6590}{101.1629} \approx 0.8072$

4. 決策法則（顯著水準 $\alpha = 0.05$）： 在 $H_0$ 成立下，$F^* \sim F(1, 42)$。 查常用 $F$ 分配臨界值表：

• $F_{0.05}(1, 40) = 4.08$
• $F_{0.05}(1, 60) = 4.00$
• 經內插得臨界值 $F_{0.05}(1, 42) \approx 4.07$。
• 決策法則為：若 $F^* > F_{0.05}(1, 42) \approx 4.07$，則拒絕 $H_0$；反之，若 $F^* \le 4.07$，則不拒絕 $H_0$。

5. 結論： 因為 $F^* = 0.8072 < 4.07$（$p\text{-value} > 0.05$），故不拒絕 $H_0$。 結論為：在顯著水準 $\alpha = 5\%$ 下，無充分證據顯示增加疾病嚴重程度指數（$X_2$）能提供顯著貢獻，故不需將 $X_2$ 加入模型 (2) 中。

(三) 檢定 $X_2$ 與 $X_3$ 是否可同時由模型 (3) 中刪除，及所需假設

本小題檢定在已有 $X_1$ 的基礎下，能否同時移除 $X_2$ 與 $X_3$。

1. 統計假設：

• 虛無假設 $H_0: \beta_2 = \beta_3 = 0$（$X_2$ 與 $X_3$ 可同時自模型 (3) 中刪除）
• 對立假設 $H_1: \beta_2 \text{ 與 } \beta_3 \text{ 不全為 } 0$（$X_2$ 與 $X_3$ 至少有一個不能刪除）

2. 額外平方和計算：

• 縮減模型（僅含 $X_1$）：$SSE(X_1) = 5093.9155$
• 完整模型（含 $X_1, X_2, X_3$）：$SSE(X_1, X_2, X_3) = 4248.8407$

核心觀念

本題考查殘差診斷（Residual Diagnostics）​的三大議題：

1. 序列相關（Autocorrelation）：誤差項 $\varepsilon_i$ 是否獨立
2. 異質變異（Heteroscedasticity）：誤差項 $\varepsilon_i$ 的變異數是否為常數 $\sigma^2$
3. 線性不足（Lack of Linearity / Nonlinearity）：模型函數形式是否正確

以及第（二）部分的加權最小平方法（WLS）​適用情境。

簡單線性迴歸的標準假設（Gauss-Markov + 常態性）：

$\varepsilon_i \overset{iid}{\sim} N(0,\sigma^2), \quad i=1,2,\ldots,n$

若以標準化殘差（standardized residuals）$e_i^* = e_i / \hat{\sigma}$ 為縱軸作圖，在假設成立時，各點應隨機散佈於 $[-2, 2]$ 帶狀區間內，無任何系統性型態。

⚠️ 圖形說明：本題圖 3(a)、3(b)、3(c) 為試卷掃描圖，未隨題目附上原始影像檔。以下依民國 107 年地方特考統計類科迴歸分析原題之標準命題模式作答——此三圖為該科目考試中最典型的三種殘差圖型態，各圖描述均符合該年度考題慣例。

（一）三組殘差分析圖之判讀與修正

圖 3(a)：標準化殘差對時間序列圖（Standardized residuals vs. time）

圖形描述（標準命題型態）： 殘差隨時間呈現正弦波狀或連續同向的系統性走勢——即若本期殘差為正，下期殘差仍傾向為正；若本期為負，下期亦傾向為負，形成明顯的​「串聚（clustering）」型態。

診斷結論：模型不恰當

此型態顯示誤差項之間存在正序列相關（Positive Autocorrelation），違反 $\varepsilon_i$ 獨立的假設，即：

$\text{Cov}(\varepsilon_i, \varepsilon_j) \neq 0, \quad i \neq j$

序列相關的存在會導致：

• OLS 估計量仍為不偏（Unbiased），但不再是最佳線性不偏估計量（BLUE）
• 殘差均方（MSE）低估 $\sigma^2$，導致 $t$ 檢定與 $F$ 檢定的 p 值偏小，易誤判顯著

檢定方法：

可使用 Durbin-Watson 統計量：

$DW = \frac{\sum_{i=2}^{n}(e_i - e_{i-1})^2}{\sum_{i=1}^{n}e_i^2}$

$DW \approx 2$ 表示無序列相關；$DW \ll 2$ 表示正序列相關；$DW \gg 2$ 表示負序列相關。

修正方法：

圖 3(b)：標準化殘差對預測值圖（Standardized residuals vs. $\hat{Y}_i$）—— 喇叭型

圖形描述（標準命題型態）： 殘差的散佈範圍隨著 $\hat{Y}_i$ 增大而逐漸擴張，呈現喇叭口（Funnel）或扇形（Fan-shaped）型態。

診斷結論：模型不恰當

此型態顯示違反等變異假設（Homoscedasticity），即存在異質變異（Heteroscedasticity）：

$\text{Var}(\varepsilon_i) = \sigma_i^2 \neq \sigma^2$

異質變異不影響 OLS 不偏性，但同樣導致估計量不再為 BLUE，且標準誤估計失真。

檢定方法（可補充）：

• Breusch-Pagan 檢定：對殘差平方 $e_i^2$ 對預測變數作迴歸，檢定係數是否顯著
• White 檢定：更廣義，不假設異質變異的特定形式

修正方法：

圖 3(c)：標準化殘差對預測值圖（Standardized residuals vs. $\hat{Y}_i$）—— 曲線型

圖形描述（標準命題型態）： 殘差呈現系統性的U 型（或倒 U 型）曲線型態——在 $\hat{Y}_i$ 較小與較大時殘差同號，在中間段殘差異號，具有明顯的二次曲線走勢。

診斷結論：模型不恰當

此型態顯示線性假設不成立，即真實的 $E[Y|X]$ 並非線性函數，簡單線性模型產生系統性偏誤（Systematic Bias），違反模型設定的正確性（Correct Specification）：

核心觀念

本題評量多元線性迴歸模型（Multiple Linear Regression）中模型比較、個別參數檢定、虛擬變數（Dummy Variables）幾何意義，以及交互作用項（Interaction Term）檢定等核心概念：

1. 調整的判定係數（Adjusted $R^2$）： $R^2_{adj} = 1 - \frac{MSE}{MST} = 1 - \frac{SSE / (n - p)}{SST / (n - 1)}$ 普通判定係數 $R^2$ 隨自變數增加單調不減，無法反映模型複雜度的代價；$R^2_{adj}$ 透過自由度調整，對新增無實質貢獻的變數進行懲罰，適用於巢狀或非巢狀模型之配適度比較。
2. 個別迴歸係數之 $t$ 檢定： 在常態性假設下，檢定單一預測變數之邊際貢獻： $t^* = \frac{\hat{\beta}_j - 0}{SE(\hat{\beta}_j)} \sim t(n - p)$
3. 類別自變數與平行迴歸線檢定： 在未納入交互作用項的加法模型中，虛擬變數僅改變截距項（平行位移）。檢定兩組別之迴歸線是否重合，即等價於檢定該虛擬變數係數是否為 0。
4. 額外平方和檢定（Extra Sum of Squares / Partial $F$-test）： 檢定模型納入交互作用項（由模型 1 簡約模型 Reduced Model 到模型 2 完整模型 Full Model）是否具有統計顯著貢獻： $F^* = \frac{[SSE(R) - SSE(F)] / (df_{E(R)} - df_{E(F)})}{MSE(F)} = \frac{SSR(X_1 X_2 \mid X_1, X_2, X_3, X_4) / 1}{MSE(F)} \sim F(1, df_{E(F)})$

解題方法與詳細步驟

由圖 4 與圖 5 可取得樣本數與基本平方和資訊：

• 總自由度（Corrected Total DF）$= n - 1 = 92 \implies$ 樣本數 $n = 93$。
• 總平方和 $SST = 2678.4731$，故總均方 $MST = \frac{SST}{n - 1} = \frac{2678.4731}{92} \approx 29.1138$。

(一) 計算模型 1 與模型 2 的調整判定係數、說明意義並評選較佳模型

1. 模型 1 之 $R^2_{adj}$ 計算：

• 參數個數 $p = 5$（含截距項 $\beta_0, \beta_1, \beta_2, \beta_3, \beta_4$）
• 殘差自由度 $df_{E1} = n - p = 93 - 5 = 88$
• 殘差平方和 $SSE_1 = 611.2830$
• 殘差均方 $MSE_1 = \frac{611.2830}{88} \approx 6.9464$ $R^2_{adj, 1} = 1 - \frac{MSE_1}{MST} = 1 - \frac{6.9464}{29.1138} \approx 1 - 0.2386 = 0.7614 \quad (76.14\%)$

2. 模型 2 之 $R^2_{adj}$ 計算：

• 參數個數 $p = 6$（含截距項 $\beta_0, \beta_1, \beta_2, \beta_3, \beta_4, \beta_5$）
• 殘差自由度 $df_{E2} = n - p = 93 - 6 = 87$
• 殘差平方和 $SSE_2 = 517.3508$
• 殘差均方 $MSE_2 = \frac{517.3508}{87} \approx 5.9466$ $R^2_{adj, 2} = 1 - \frac{MSE_2}{MST} = 1 - \frac{5.9466}{29.1138} \approx 1 - 0.2043 = 0.7957 \quad (79.57\%)$

3. 統計意義與模型比較：

• 統計意義：調整的判定係數表示反應變數（老鼠斷奶體重 $Y$）的總變異中，經模型自由度調整後，可由該組自變數解釋的變異比例。因其懲罰了模型中額外加入的變數，能有效避免過度配適（Overfitting）。
• 模型判斷：$R^2_{adj, 2} = 0.7957 > R^2_{adj, 1} = 0.7614$，且模型 2 之殘差均方 $MSE_2 = 5.9466 < MSE_1 = 6.9464$，說明加入交互作用項所提升之解釋力超過自由度減少之懲罰，故模型 2 較佳。

(二) 檢定「GT 基因」在模型 1 中是否影響老鼠的重量（$\alpha = 0.05$）

1. 建立假說：

• $H_0: \beta_3 = 0$（在控制其他變數下，GT 基因對老鼠斷奶體重無影響）
• $H_1: \beta_3 \neq 0$（在控制其他變數下，GT 基因對老鼠斷奶體重有顯著影響）

2. 檢定統計量： 由圖 4 之 Parameter Estimates 表：

• $\hat{\beta}_3 = -2.1286$
• $SE(\hat{\beta}_3) = 0.5958$ $t^* = \frac{\hat{\beta}_3 - 0}{SE(\hat{\beta}_3)} = \frac{-2.1286}{0.5958} = -3.57$ 在 $H_0$ 成立下，$t^* \sim t(88)$。

3. 決策法則： 在顯著水準 $\alpha = 0.05$ 下，自由度 88 之雙尾臨界值 $t_{0.025}(88) \approx 1.987$。 若 $|t^*| > 1.987$（或 $p\text{-value} < 0.05$），則拒絕 $H_0$。
4. 結論： 報表顯示 $p\text{-value} = 0.0006 < 0.05$（且 $|-3.57| > 1.987$），故在 5% 顯著水準下拒絕 $H_0$。 有充分統計證據支持「GT 基因」在模型 1 中對老鼠斷奶體重具有顯著影響（帶有 GT 基因的老鼠斷奶體重平均顯著降低約 2.13 公克）。

(三) 在模型 1 下檢定性別之兩條迴歸線是否相同

1. 幾何與模型結構解釋： 在模型 1 中，老鼠性別變數為 $X_4$（公老鼠 $= 1$，母老鼠 $= 0$）：

• 公老鼠（$X_4 = 1$）： $E[Y \mid X_4 = 1] = (\beta_0 + \beta_4) + \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_3$
• 母老鼠（$X_4 = 0$）： $E[Y \mid X_4 = 0] = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \beta_3 X_3$ 模型 1 未包含性別與其他變數（如年齡 $X_1$）之交互作用項，意即已隱含「公、母老鼠各變數之斜率相同（兩線平行）」的設定。兩組迴歸線之差距僅在於截距項差值 $\beta_4$。因此，在模型 1 的設定下，兩條迴歸線完全重合（相同）充要於截距差為 0（$\beta_4 = 0$）。

2. 虛無假設與對立假設：

• $H_0: \beta_4 = 0$（公、母老鼠之迴歸線相同，無截距差異）
• $H_1: \beta_4 \neq 0$（公、母老鼠之迴歸線不同，存在顯著截距位移）

3. 檢定統計量： 採用 $t$ 檢定（或部分 $F$ 檢定）： $t^* = \frac{\hat{\beta}_4}{SE(\hat{\beta}_4)} \sim t(88) \quad \left(\text{或 } F^* = (t^*)^2 \sim F(1, 88)\right)$ 由圖 4 可得： $t^* = \frac{-3.1229}{0.6234} = -5.01$

4. 決策法則： 給定顯著水準 $\alpha$（如 $\alpha = 0.05$），若 $|t^*| > t_{\alpha/2}(88)$ 或