110 地方特考三等 統計 迴歸分析 考古題詳解

核心觀念

本題考查兩個變數的皮爾森積差相關係數（Pearson product-moment correlation coefficient）。

令：

• $X$：性別比例
• $Y$：人口密度
• $n$：觀察值個數

表中共有 22 個縣市，因此 $n=22$。

相關係數定義為：

$$r_{XY} = \frac{\operatorname{Cov}(X,Y)}{s_Xs_Y}$$

利用題目提供的加總資料，可直接採用計算公式：

$$r_{XY} = \frac{ n\sum XY-(\sum X)(\sum Y) }{ \sqrt{ \left[n\sum X^2-(\sum X)^2\right] \left[n\sum Y^2-(\sum Y)^2\right] } }$$

相關係數的範圍為 $-1\leq r\leq 1$：

• $r>0$：正相關
• $r<0$：負相關
• $r=0$：無線性相關
• $|r|$ 越接近 1，線性相關越強

解題方法與計算

一、計算分子

題目資料為：

$$\sum X=2256.69,\qquad \sum Y=33358.11$$ $$\sum XY=3226744$$

因此：

$$n\sum XY-(\sum X)(\sum Y)$$ $$=22(3226744)-(2256.69)(33358.11)$$

先計算：

$$22(3226744)=70988368$$ $$(2256.69)(33358.11)=75278913.2559$$

所以分子為：

$$70988368-75278913.2559 = -4290545.2559$$

二、計算 $X$ 的離差平方和部分

$$n\sum X^2-(\sum X)^2$$ $$=22(233202.3)-(2256.69)^2$$

核心觀念

本題考查：

1. 多元線性迴歸中的完全共線性。
2. 迴歸係數的「其他變數固定下」之邊際解釋。
3. 個別迴歸係數的 $t$ 檢定。
4. 顯著水準、拒絕域與變數剔除。

迴歸模型可寫為

$$Y=\beta_0+\beta_1X_1+\beta_2X_2+\beta_3X_3+\beta_4X_4+\beta_5X_5+\varepsilon,$$

其中 $Y$ 為人口密度，解釋變數包括土地面積、人口數總計、人口數男、人口數女及性別比例。

---

（一）人口數女之參數估計為 NA 的原因

人口數總計、人口數男及人口數女之間存在完全線性關係：

$$\text{人口數總計} = \text{人口數男} + \text{人口數女}.$$

因此，

$$\text{人口數女} = \text{人口數總計} - \text{人口數男}.$$

這表示人口數女可由其他解釋變數完全表示，設計矩陣的欄向量彼此線性相依，產生完全共線性。故矩陣

$$X'X$$

為奇異矩陣，無法求得唯一的最小平方法估計值：

$$\hat{\boldsymbol{\beta}} = (X'X)^{-1}X'Y.$$

統計軟體通常會將其中一個無法識別的參數設為 NA。本題以「人口數女」顯示為 NA，代表在保留人口數總計與人口數男的情況下，人口數女的係數無法另外估計。

這不是人口數女沒有影響，而是其資訊已完全包含在其他人口變數之中。

---

（二）土地面積迴歸係數的意義

土地面積的迴歸係數估計值為

$$\hat{\beta}_{\text{土地面積}}=-0.550.$$

其意義為：在其他解釋變數，包括人口數總計、人口數男及性別比例均維持不變時，土地面積每增加 $1$ 個面積單位，人口密度的平均值減少約 $0.550$ 個人口密度單位。

若土地面積的單位為平方公里、人口密度的單位為「人／平方公里」，則可解釋為：

在其他條件不變下，土地面積每增加 $1$ 平方公里，人口密度平均減少約 $0.550$ 人／平方公里。

負號表示土地面積與人口密度呈反向關係。此係數是控制其他變數後的部分迴歸效果，不宜直接解釋為單純的因果關係。

---

（三）各解釋變數顯著性檢定

1. 檢定方法

對每一個解釋變數進行雙尾 $t$ 檢定：

$$H_0:\beta_j=0, \qquad H_1:\beta_j\neq 0.$$

檢定統計量為

$$t= \frac{\hat{\beta}_j}{\operatorname{SE}(\hat{\beta}_j)}.$$

依題一資料共有 $n=22$ 筆觀察值，模型估計截距及 $4$ 個有效解釋變數，因此誤差自由度為

$$df=n-(k+1)=22-5=17.$$

顯著水準為 $0.01$，採雙尾檢定，因此每尾為 $0.005$。由附表查得

核心觀念

本題考查多元線性迴歸之：

1. ANOVA 表中迴歸平方和、誤差平方和與總平方和的關係。
2. 自由度、均方與 $F$ 統計量。
3. 判定係數 $R^2$ 與調整判定係數 $R_a^2$。
4. 變異膨脹因子（VIF）與多重共線性。

設樣本數為 $n$，解釋變數個數為 $p=4$。題目未附題二的樣本數與總平方和，因此數值答案須以題二所提供的 $n$ 與 $SST$ 代入。

---

（一）ANOVA 表中各值

1. 自由度

多元迴歸模型含有 $p=4$ 個解釋變數，因此：

• 迴歸自由度：

$$df_R=p=4$$

• 誤差自由度：

$$df_E=n-p-1=n-5$$

• 總自由度：

$$df_T=n-1$$

因此：

$$(1)=4$$ $$(2)=n-5$$ $$(3)=n-1$$

且符合：

$$df_T=df_R+df_E$$

---

2. 平方和

平方和之間的基本關係為：

$$SST=SSR+SSE$$

題目已知誤差平方和：

$$SSE=18,022,930$$

若題二的總平方和為 $SST$，則：

$$SSR=SST-SSE=SST-18,022,930$$

所以：

$$(4)=SST-18,022,930$$ $$(5)=SST$$

---

3. 均方

均方等於平方和除以相對應的自由度。

迴歸均方為：

$$MSR=\frac{SSR}{df_R} =\frac{SST-18,022,930}{4}$$

因此：

$$(6)=\frac{SST-18,022,930}{4}$$

誤差均方為：

$$MSE=\frac{SSE}{df_E} =\frac{18,022,930}{n-5}$$

因此：

$$(7)=\frac{18,022,930}{n-5}$$

---

4. $F$ 統計量

整體迴歸顯著性檢定之統計量為：

$$F=\frac{MSR}{MSE}$$

因此：

$$F= \frac{\dfrac{SST-18,022,930}{4}} {\dfrac{18,022,930}{n-5}}$$

故：

$$(8)= \frac{(SST-18,022,930)(n-5)} {4(18,022,930)}$$

ANOVA 表答案

Source of variation	Degrees of freedom	Sum of squares	Mean square	$F$
Regression	$4$	$SST-18,022,930$	$\dfrac{SST-18,022,930}{4}$	$\dfrac{MSR}{MSE}$
Error	$n-5$	$18,022,930$	$\dfrac{18,022,930}{n-5}$
Total	$n-1$	$SST$

若題二的樣本數為 $n=22$，則：

$$df_R=4,\qquad df_E=17,\qquad df_T=21$$

且：

$$MSE=\frac{18,022,930}{17} \approx 1,060,172.35$$

---

（二）判定係數與調整判定係數

1. 判定係數 $R^2$

判定係數定義為：

$$R^2=\frac{SSR}{SST}$$

由於：

$$SST=SSR+SSE$$

也可寫成：

$$R^2=1-\frac{SSE}{SST}$$

代入題目資料：

$$R^2 =1-\frac{18,022,930}{SST}$$

因此：

$$\boxed{R^2=1-\frac{18,022,930}{SST}}$$

$R^2$ 的意義

$R^2$ 表示應變數總變異中，有多少比例可由迴歸模型中的解釋變數共同解釋。

例如，若 $R^2=0.80$，表示模型可以解釋應變數總變異的 $80\%$，剩餘 $20\%$ 屬於模型未能解釋的部分。

$R^2$ 的範圍通常為：

$$0\leq R^2\leq 1$$

$R^2$ 越接近 $1$，代表樣本內的配適程度越高。

---

2. 調整判定係數 $R_a^2$

多元迴歸中，加入解釋變數後，$R^2$ 不會下降，即使新增變數沒有實質解釋力。因此需使用調整判定係數修正解釋變數個數與樣本數的影響：

$$R_a^2 = 1-\frac{SSE/(n-p-1)}{SST/(n-1)}$$

本題 $p=4$，因此：

$$R_a^2 = 1-\frac{18,022,930/(n-5)}{SST/(n-1)}$$

故：

$$\boxed{ R_a^2 = 1-\frac{18,022,930}{SST} \cdot\frac{n-1}{n-5} }$$

也可由 $R^2$ 表示為：

$$R_a^2 = 1-(1-R^2)\frac{n-1}{n-p-1}$$

本題為：

$$\boxed{ R_a^2 = 1-(1-R^2)\frac{n-1}{n-5} }$$

---

3. $R^2$ 與 $R_a^2$ 的差異

核心觀念

本題考查多元線性迴歸中的：

1. 額外的平方和（Extra Sum of Squares）。
2. 巢狀模型（nested models）之間的平方和分解。
3. 迴歸平方和、誤差平方和與總平方和的關係： $\text{SST}=\text{SSR}+\text{SSE}.$

以下均假設模型含有截距項，且各解釋變數具有足夠秩，使相關迴歸模型可估計。

---

（一）額外的平方和 $\text{SSR}(X_1,X_4\mid X_2,X_3)$

1. 定義

考慮兩個巢狀模型：

• 簡化模型： $Y=\beta_0+\beta_2X_2+\beta_3X_3+\varepsilon$

• 完整模型： $Y=\beta_0+\beta_1X_1+\beta_2X_2+\beta_3X_3+\beta_4X_4+\varepsilon$

額外的平方和定義為：

$$\text{SSR}(X_1,X_4\mid X_2,X_3) = \text{SSE}(X_2,X_3)-\text{SSE}(X_1,X_2,X_3,X_4).$$

由於兩模型皆含截距，且總平方和 $\text{SST}$ 相同，因此也可寫成：

$$\text{SSR}(X_1,X_4\mid X_2,X_3) = \text{SSR}(X_1,X_2,X_3,X_4) - \text{SSR}(X_2,X_3).$$

2. 統計意義

$\text{SSR}(X_1,X_4\mid X_2,X_3)$ 表示：

在已經將 $X_2$ 與 $X_3$ 納入迴歸模型後，再加入 $X_1$ 與 $X_4$ 所增加的迴歸解釋能力。

換言之，它衡量的是 $X_1$、$X_4$ 在控制 $X_2$、$X_3$ 之後，對應變數 $Y$ 所能額外解釋的變異量。

它並非單純的 $\text{SSR}(X_1,X_4)$，因為 $X_1$、$X_4$ 與 $X_2$、$X_3$ 之間可能存在相關性；此處所衡量的是排除 $X_2$、$X_3$ 已解釋部分後，$X_1$、$X_4$ 的新增貢獻。

3. 與 SSE 的關係

加入變數後，模型的殘差平方和不會增加，因此：

$$\text{SSE}(X_1,X_2,X_3,X_4) \leq \text{SSE}(X_2,X_3).$$

兩者差值即為新增變數帶來的迴歸平方和：

$$\boxed{ \text{SSR}(X_1,X_4\mid X_2,X_3) = \text{SSE}(X_2,X_3)-\text{SSE}(X_1,X_2,X_3,X_4) }$$

若檢定

$$H_0:\beta_1=\beta_4=0$$

則此額外平方和可用來檢定在控制 $X_2,X_3$ 後，$X_1,X_4$ 是否具有聯合解釋能力。其自由度通常為 $2$，相應的部分 $F$ 檢定統計量為：

$$F= \frac{ \text{SSR}(X_1,X_4\mid X_2,X_3)/2 }{ \text{MSE}(X_1,X_2,X_3,X_4) }.$$

---

（二）迴歸平方和的逐步分解

欲證明：

$$\text{SSR}(X_1,X_2,X_3,X_4) = \text{SSR}(X_1) +\text{SSR}(X_2\mid X_1) +\text{SSR}(X_3\mid X_1,X_2) +\text{SSR}(X_4\mid X_1,X_2,X_3).$$

1. 建立一系列巢狀模型

依序建立下列模型：

• $M_0$：只有截距項；
• $M_1$：加入 $X_1$；
• $M_2$：加入 $X_1,X_2$；
• $M_3$：加入 $X_1,X_2,X_3$；
• $M_4$：加入 $X_1,X_2,X_3,X_4$。

各模型的誤差平方和分別記為：

$$\text{SSE}_0,\quad \text{SSE}_1,\quad \text{SSE}_2,\quad \text{SSE}_3,\quad \text{SSE}_4.$$

其中：

• $\text{SSE}_0=\text{SST}$，因為只有截距項；
• $\text{SSE}_4=\text{SSE}(X_1,X_2,X_3,X_4)$。

2. 各變數的額外平方和

依額外平方和的定義：

加入 $X_1$ 所增加的迴歸平方和為：

$$\text{SSR}(X_1)=\text{SSE}_0-\text{SSE}_1.$$

在已有 $X_1$ 的情況下加入 $X_2$：

$$\text{SSR}(X_2\mid X_1) = \text{SSE}_1-\text{SSE}_2.$$

核心觀念

本題考查一因子變異數分析與線性迴歸模型的對應關係，重點包括：

1. 以虛擬變數將處理別轉換為迴歸設計矩陣。
2. 一因子變異數分析誤差項的基本假設。
3. 利用處理間變異與處理內變異的比值，建立 $F$ 檢定。

---

（一）改寫為線性迴歸模型

1. 參數識別問題

原模型為

$$Y_{ij}=\mu+\tau_i+\varepsilon_{ij}.$$

若同時估計 $\mu$ 與全部 $t$ 個 $\tau_i$，參數會產生不識別問題，因為可將 $\mu$ 增加一常數、各處理效應同時減少該常數，模型平均數不變。

因此必須加上識別限制，例如：

$$\tau_t=0.$$

以第 $t$ 個處理作為基準處理，則模型可寫為

$$Y_{ij} = \mu+\tau_1 I(i=1)+\tau_2 I(i=2)+\cdots+\tau_{t-1}I(i=t-1)+\varepsilon_{ij},$$

其中第 $t$ 個處理的效應設定為 $\tau_t=0$。

---

2. 反應變數向量 $\mathbf{Y}$

將所有觀測值依處理別排列：

$$\mathbf{Y} = \begin{bmatrix} Y_{11}\\ Y_{12}\\ \vdots\\ Y_{1r}\\ Y_{21}\\ \vdots\\ Y_{2r}\\ \vdots\\ Y_{t1}\\ \vdots\\ Y_{tr} \end{bmatrix}.$$

總觀測值為 $tr$ 個，因此

$$\mathbf{Y}:tr\times 1.$$

---

3. 設計矩陣 $\mathbf{X}$

以第 $t$ 個處理為基準處理，建立截距項及 $t-1$ 個虛擬變數：

$$\mathbf{X} = \begin{bmatrix} 1&1&0&\cdots&0\\ 1&1&0&\cdots&0\\ \vdots&\vdots&\vdots&&\vdots\\ 1&1&0&\cdots&0\\ 1&0&1&\cdots&0\\ \vdots&\vdots&\vdots&&\vdots\\ 1&0&0&\cdots&1\\ \vdots&\vdots&\vdots&&\vdots\\ 1&0&0&\cdots&0 \end{bmatrix}.$$

其中：

• 第 1 欄為截距項；
• 第 $k+1$ 欄為處理 $k$ 的虛擬變數，$k=1,\ldots,t-1$；
• 屬於處理 $k$ 的觀測值，其第 $k+1$ 欄為 $1$，其餘處理虛擬變數欄為 $0$；
• 第 $t$ 個處理的所有虛擬變數皆為 $0$。

因此

$$\mathbf{X}:tr\times t.$$

---

4. 迴歸參數向量 $\boldsymbol{\beta}$

令

$$\boldsymbol{\beta} = \begin{bmatrix} \mu\\ \tau_1\\ \tau_2\\ \vdots\\ \tau_{t-1} \end{bmatrix},$$

則

$$\boldsymbol{\beta}:t\times 1.$$

在此參數化下：

• 截距 $\mu$ 為第 $t$ 個基準處理的平均數；
• $\tau_k$ 為第 $k$ 個處理平均數與第 $t$ 個處理平均數的差異：

$$\tau_k = (\mu+\tau_k)-\mu.$$

---

5. 誤差向量 $\boldsymbol{\varepsilon}$

將所有誤差項依照觀測值相同順序排列：

$$\boldsymbol{\varepsilon} = \begin{bmatrix} \varepsilon_{11}\\ \varepsilon_{12}\\ \vdots\\ \varepsilon_{1r}\\ \varepsilon_{21}\\ \vdots\\ \varepsilon_{tr} \end{bmatrix}.$$

因此

$$\boldsymbol{\varepsilon}:tr\times 1.$$

最後得到

$$\mathbf{Y}_{tr\times 1} = \mathbf{X}_{tr\times t} \boldsymbol{\beta}_{t\times 1} + \boldsymbol{\varepsilon}_{tr\times 1}.$$

矩陣維度符合

$$(tr\times t)(t\times 1)=tr\times 1.$$

---

（二）隨機誤差項的假設

為進行一因子變異數分析的統計推論，通常假設

$$\varepsilon_{ij}\overset{\text{ind}}{\sim}N(0,\sigma^2), \qquad i=1,\ldots,t,\quad j=1,\ldots,r,$$

其中 $\sigma^2>0$。

具體而言包括：

1. 零平均數

$$E(\varepsilon_{ij})=0.$$

因此

$$E(Y_{ij})=\mu+\tau_i.$$

2. 相同變異數

$$\operatorname{Var}(\varepsilon_{ij})=\sigma^2.$$

表示各處理組具有相同的母體變異數，亦即變異數同質性。

3. 相互獨立

$$\operatorname{Cov}(\varepsilon_{ij},\varepsilon_{i'j'})=0$$

對所有不同觀測值成立。此假設通常來自隨機抽樣、隨機分派及觀測值彼此獨立。

4. 常態分配

$$\varepsilon_{ij}\sim N(0,\sigma^2).$$