115 專利師高等考試 專利師(選試專業英文及計算機結構) 計算機結構 考古題詳解

115 年・專利師・高等考試・專利師(選試專業英文及計算機結構)
試題代碼 計算機結構

第 一 題25 分

大型語言模型(LLM, Large Language Model)如 GPT、Claude 等,需要龐大的矩陣運算、管線化推論、重複存取大量參數等。以下題目探討 LLM 在計算機組織的運算議題。

我們在電腦 A 上執行一個 LLM 推論任務需時 2525 秒,工作頻率為 2 GHz2\ \mathrm{GHz}。若要在電腦 B 上只用 70%70\% 的時間完成推論,並且電腦 B 的架構調整後導致該推論所需的時鐘週期數是 A 的 1.31.3 倍,功耗則是 A 的 1.21.2 倍:

(一)電腦 B 應具備多少工作頻率才能達到目標?(1515 分)

(二)電腦 B 執行該 LLM 推論所消耗的能量為電腦 A 的多少倍?(1010 分)

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查 CPU 執行時間、時鐘週期數、工作頻率與能量之間的關係:

CPU 執行時間=時鐘週期數工作頻率\text{CPU 執行時間} =\frac{\text{時鐘週期數}}{\text{工作頻率}}

能量等於功耗乘以執行時間:

能量=功耗×時間\text{能量}=\text{功耗}\times\text{時間}

解題方法

設電腦 A 的執行時間、工作頻率、時鐘週期數與功耗分別為 TAT_A、fAf_A、CAC_A、PAP_A;電腦 B 的相應數值以下標 BB 表示。

(一)電腦 B 所需工作頻率

電腦 B 的目標執行時間是 A 的 70%70\%:

TB=0.7TA=0.7×25=17.5 秒T_B=0.7T_A=0.7\times25=17.5\ \text{秒}

由執行時間公式:

TBTA=CB/fBCA/fA=CBCA×fAfB\frac{T_B}{T_A} =\frac{C_B/f_B}{C_A/f_A} =\frac{C_B}{C_A}\times\frac{f_A}{f_B}

已知 CB=1.3CAC_B=1.3C_A,因此:

0.7=1.3×fAfB0.7=1.3\times\frac{f_A}{f_B}

解得:

🔒

後續完整解題步驟與【答案】

免費註冊,享 3 天全站完整詳解閱覽。

免費註冊

第 二 題25 分

CPI 與 LLM 運算的指令集效能:

(一)CPI(cycles per instruction)是如何計算而來的?(1010 分)

(二)有哪些因素會影響 LLM 的訓練及運算過程的 CPI?(1515 分)

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

CPI 是 Cycles Per Instruction,表示處理器平均執行一個指令所需的時脈週期數。它是衡量指令執行效率的指標之一;CPI 越低,代表平均每條指令消耗的週期越少。

必須區分 CPI、指令數與執行時間:CPI 描述每條指令平均耗用的週期數,不能單獨決定程式快慢。執行時間還受到指令總數與時脈頻率影響:

CPU 執行時間=指令數×平均 CPI時脈頻率\text{CPU 執行時間} = \frac{\text{指令數}\times\text{平均 CPI}}{\text{時脈頻率}}

(一)CPI 如何計算而來?

定義式

若一段程式共執行 II 條指令,總共耗費 CC 個時脈週期,則平均 CPI 為:

CPI=CI\text{CPI}=\frac{C}{I}

若已知 CPU 執行時間 TT 與時脈週期時間 tcyclet_{\text{cycle}},總週期數為 T/tcycleT/t_{\text{cycle}},因此:

CPI=T/tcycleI=T×時脈頻率I\text{CPI} = \frac{T/t_{\text{cycle}}}{I} = \frac{T\times \text{時脈頻率}}{I}

其中時脈頻率是時脈週期時間的倒數。

依指令類別計算

不同指令類別所需週期可能不同。若第 ii 類指令占全部指令的比例為 fif_i,平均每條該類指令需要 CPIiCPI_i 個週期,則整體平均 CPI 為:

平均 CPI=∑ifi×CPIi\text{平均 CPI}=\sum_i f_i\times CPI_i

且 ∑ifi=1\sum_i f_i=1。若第 ii 類指令有 IiI_i 條,也可寫成:

平均 CPI=∑iIi×CPIi∑iIi\text{平均 CPI} = \frac{\sum_i I_i\times CPI_i}{\sum_i I_i}

**推導步驟:**先把各類指令的數量乘上該類指令的平均週期數,得到各類指令耗用的總週期;將各類週期加總,再除以總指令數。這也說明 CPI 是依實際指令組成加權的平均值,不能直接把各類指令的 CPI 作算術平均,除非各類指令數量相同。

例如,某程式有 60%60\% 的指令平均需 11 個週期,另有 40%40\% 平均需 33 個週期,則:

平均 CPI=0.6×1+0.4×3=1.8\text{平均 CPI} = 0.6\times 1+0.4\times 3 = 1.8

若該程式執行 1,0001{,}000 條指令,總週期數為 1,000×1.8=1,8001{,}000\times1.8=1{,}800 個週期。

解題技巧

作答時先交代「總週期數除以總指令數」的定義,再補上依指令類別加權的公式,便能完整說明 CPI 的計算來源。若題目提供的是執行時間與時脈頻率,先換算總週期數,再除以指令數。

(二)影響 LLM 訓練及運算過程 CPI 的因素

LLM 的訓練及推論(運算)通常包含大量矩陣乘法、注意力計算、向量運算,以及模型參數與中間資料的搬移。其 CPI 受指令組成、處理器微架構及記憶體系統共同影響。以下因素可能增加或降低平均 CPI:

1. 指令組成與運算類型

CPI 會隨指令組合而變。LLM 常見的矩陣乘法、向量運算與張量運算,若能使用處理器的向量指令或專用張量單元,通常可在較少指令或週期內完成較多運算;若程式執行較多純量指令、資料轉換、索引計算或控制指令,平均 CPI 可能提高。

🔒

後續完整解題步驟與【答案】

免費註冊,享 3 天全站完整詳解閱覽。

免費註冊

第 三 題25 分

LLM 在一個管線化(pipelining)的 CPU 裡執行:

(一)何謂 pipelining?(55 分)

(二)有哪些因素會影響 LLM 在這 CPU 的管線程的執行效能?(1010 分)

(三)在一個有 1010-stage pipeline 的高效能處理器裡執行 LLM 的訓練。若有 10%10\% 的指令產生 hazard,每個 hazard 需多 22 個 clock cycles,則該程式的 CPI 值為何?(1010 分)

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查管線化處理器的基本原理、影響效能的因素,以及依據 hazard 額外週期計算 CPI。

**Pipelining(管線化)**是將指令執行工作切分為多個階段,並讓不同指令同時處於不同階段,以重疊方式執行。例如,第一條指令進入執行階段時,第二條指令可進入解碼階段。管線化主要提高單位時間完成的指令數(throughput),不一定縮短單一指令的延遲時間(latency)。

理想情況下,若管線有 kk 個階段,填滿管線後可接近每個 clock cycle 完成一條指令;實際效能則會受管線停滯、階段不平衡等因素影響。

解題方法

(一)何謂 pipelining?(5 分)

管線化是將指令處理流程分為數個連續階段,例如取指(IF)、解碼(ID)、執行(EX)、存取記憶體(MEM)及寫回(WB),再讓多條指令分別在不同階段中重疊運作。

其效果是提高整體指令吞吐量。管線化不代表單一指令必然更快完成;單一指令仍須依序經過各管線階段。

(二)哪些因素會影響 LLM 在此 CPU 管線中的執行效能?(10 分)

影響管線效能的因素包括:

  1. 資料 hazard:某指令需要前一指令尚未產生或寫回的資料,因而必須停等;資料轉送(forwarding)可減少部分停滯。
  2. 控制 hazard:分支或跳躍指令改變控制流程,若分支結果尚未確定,管線可能停頓或清除已取入的錯誤路徑指令。分支預測可降低此影響。
  3. 結構 hazard:多個管線階段同時要求使用同一硬體資源,例如記憶體或運算單元,造成資源競爭。
  4. 管線階段不平衡:clock cycle 時間受最慢的管線階段限制;各階段工作量差異愈大,管線效率愈低。
  5. 管線停滯與氣泡:hazard 或資源等待造成階段空轉,降低每個 clock cycle 完成的指令數。
  6. 指令組合與相依性:指令間相依愈密集,可平行重疊執行的程度愈低。
🔒

後續完整解題步驟與【答案】

免費註冊,享 3 天全站完整詳解閱覽。

免費註冊

第 四 題25 分

LLM 與記憶體階層元件(DRAM、ROM、flash memory、cache memory、hard disk):

(一)在 LLM 的運算中,哪一種記憶體裝置最接近 CPU?(55 分)

(二)哪些記憶體在斷電後仍能保存原來的資料?(1010 分)

(三)LLM 裡的某個矩陣運算在電腦 A 上執行,若 cache miss rate =0=0 時 CPI =1.5=1.5。當 cache miss rate =8%=8\%、miss penalty =20=20 clock cycles,則該矩陣運算的 CPI 值為何?(1010 分)

登入後即可作答並保存紀錄。

這一題的完整詳解

核心觀念

本題考查記憶體階層的相對位置、揮發性,以及快取未命中的效能影響。

  • 記憶體階層:越靠近 CPU,存取速度通常越快、容量通常越小。處理器執行指令與資料運算時,快取記憶體(cache)位於 CPU 與主記憶體之間,提供快速存取。
  • 揮發性:揮發性記憶體在斷電後會失去資料;非揮發性記憶體則可在斷電後保存資料。
  • CPI 與快取未命中:平均 CPI 會增加快取未命中所造成的停滯週期。若每條指令平均發生一次相關存取,則 CPI=基礎 CPI+miss rate×miss penalty\text{CPI}=\text{基礎 CPI}+\text{miss rate}\times\text{miss penalty}

(一)最接近 CPU 的記憶體裝置

在題目列出的裝置中,**cache memory(快取記憶體)**最接近 CPU。快取通常由 SRAM 組成,速度高於 DRAM,保存處理器近期或可能再次使用的指令與資料,以減少存取主記憶體的等待時間。

(二)斷電後仍能保存資料的記憶體

斷電後仍能保存原有資料的是非揮發性記憶體:

  • ROM:唯讀記憶體,屬非揮發性記憶體。
  • flash memory:快閃記憶體,屬非揮發性記憶體。
🔒

後續完整解題步驟與【答案】

免費註冊,享 3 天全站完整詳解閱覽。

免費註冊

其他考古題

專利師(選試專業英文及計算機結構)《計算機結構》其他年度

115 年專利師高等考試・其他類科的《計算機結構》