大二下機率論 - 8月32日の島

第一章：機率公理與集合論 (Axioms and Set Theory)#

知識點 1：Kolmogorov 機率三大公理#

非負性：對於任意事件 $E$ ，其機率 $P(E) \ge 0$ 。
正規化：整個樣本空間 $S$ 的總機率 $P(S) = 1$ 。
可數可加性：若事件 $E_1, E_2, \dots$ 彼此兩兩互斥（即當 $i \neq j$ 時， $E_i \cap E_j = \emptyset$ ），則其聯集的機率等於各自機率之和：

$P\left(\bigcup_{i=1}^\infty E_i \right) = \sum_{i=1}^\infty P(E_i)$

實戰演練：不公正骰子常數求解 [題目] 假設有一顆不公正的骰子，擲出點數 $i$ 的機率與點數成正比，即 $P(\{i\}) = c \cdot i$ （其中 $i = 1, \dots, 6$ ）。求常數 $c$ 之值，以及擲出偶數點的機率。 [解答]

依據公理二與公理三，所有基本點數互斥且機率總和必須為 1：

$P(S) = \sum_{i=1}^6 P(\{i\}) = c(1 + 2 + 3 + 4 + 5 + 6) = 21c = 1 \implies \mathbf{c = \frac{1}{21}}$

偶數事件 $E = \{2, 4, 6\}$ ，各基本事件互斥，依公理三：

$P(E) = P(\{2\}) + P(\{4\}) + P(\{6\}) = \frac{2+4+6}{21} = \mathbf{\frac{12}{21} = \frac{4}{7}}$

知識點 2：排容原理與布林不等式#

排容原理（處理非互斥事件的聯集機率）：

$P(A \cup B) = P(A) + P(B) - P(A \cap B)$

布林不等式 (Union Bound)（在計算機科學演算法錯誤率分析中極為常用，用於估算最壞情況的機率上限）：

$P\left(\bigcup_{i=1}^n E_i\right) \le \sum_{i=1}^n P(E_i)$

實戰演練：系統故障率與上界估計 [題目] 機房中，硬體故障機率 $P(A)=0.3$ ，軟體故障機率 $P(B)=0.4$ 。 (1) 若已知「軟硬體至少有一個出錯」的機率 $P(A \cup B)=0.6$ ，求僅有硬體故障的機率？ (2) 若不知道兩者交集機率，請利用布林不等式給出「至少有一個出錯」的機率上限。 [解答]

先利用排容原理求交集機率： $0.6 = 0.3 + 0.4 - P(A \cap B) \implies P(A \cap B) = 0.1$ 。僅硬體故障之事件可表示為 $A \cap B^c$ ，其機率為： $P(A \cap B^c) = P(A) - P(A \cap B) = 0.3 - 0.1 = \mathbf{0.2}$ 。

依據布林不等式估算聯集上界： $P(A \cup B) \le P(A) + P(B) = 0.3 + 0.4 = \mathbf{0.7}$ 。

第二章：條件機率與獨立性 (Conditional Probability & Independence)#

知識點 1：條件機率與貝氏定理#

條件機率定義：在已知事件 $B$ 發生的前提下，事件 $A$ 發生的機率。

$P(A \mid B) = \frac{P(A \cap B)}{P(B)}, \quad \text{其中 } P(B) > 0$

全機率定理 (Law of Total Probability)：若 $B_1, B_2, \dots, B_n$ 形成樣本空間 $S$ 的一組分割（Partition，即兩兩互斥且聯集為 $S$ ），則對任意事件 $A$ ：

$P(A) = \sum_{i=1}^n P(A \mid B_i) P(B_i)$

貝氏定理 (Bayes’ Theorem)：結合條件機率與全機率定理，用於「由果推因」的後驗機率（Posterior Probability）計算。
推導簡述：由乘法法則可知 $P(A \cap B_k) = P(A \mid B_k)P(B_k) = P(B_k \mid A)P(A)$ ，移項後並將分母 $P(A)$ 以全機率定理展開：

$P(B_k \mid A) = \frac{P(A \mid B_k) P(B_k)}{\sum_{i=1}^n P(A \mid B_i) P(B_i)}$

實戰演練：分散式系統日誌追蹤 [題目] 某系統中伺服器 A 處理 40% 的請求（錯誤率 1%），伺服器 B 處理 60% 的請求（錯誤率 2%）。系統隨機抽查一筆請求發現「發生錯誤」，求該請求是由伺服器 A 處理的機率？ [解答] 設 $E$ 為錯誤事件。已知 $P(A)=0.4, P(B)=0.6$ ；條件機率 $P(E\vert{}A)=0.01, P(E\vert{}B)=0.02$ 。

計算總錯誤率（全機率）： $P(E) = P(E \mid A)P(A) + P(E \mid B)P(B) = (0.01)(0.4) + (0.02)(0.6) = 0.004 + 0.012 = 0.016$

利用貝氏定理求後驗機率： $P(A \mid E) = \frac{P(E \mid A)P(A)}{P(E)} = \frac{0.004}{0.016} = \mathbf{0.25}$

第三章：離散型隨機變數 (Discrete Random Variables)#

知識點 1：期望值與變異數運算性質#

期望值 (Expected Value)： $E[X] = \sum_x x \cdot p(x)$ ，其中 $p(x)$ 為機率質量函數 (PMF)。
變異數 (Variance)：定義為隨機變數偏離其平均值的平方期望值 $Var(X) = E[(X - \mu)^2]$ ，其中 $\mu = E[X]$ 。
變異數捷徑公式推導：

$Var(X) = E[(X - \mu)^2] = E[X^2 - 2\mu X + \mu^2]$

利用期望值的線性性質展開：

$Var(X) = E[X^2] - 2\mu E[X] + \mu^2 = E[X^2] - 2\mu^2 + \mu^2 = E[X^2] - \mu^2$

故得核心計算公式：

$Var(X) = E[X^2] - (E[X])^2$

實戰演練：網路封包延遲轉換 [題目] 某封包傳輸時間 $X$ （毫秒）的 PMF 為： $P(X=1)=0.5, P(X=2)=0.3, P(X=3)=0.2$ 。若實際處理成本與傳輸時間的線性關係為 $Y = 4X - 2$ ，求 $E[Y]$ 與 $Var(Y)$ 。 [解答]

先求 $X$ 的一階與二階動差： $E[X] = (1)(0.5) + (2)(0.3) + (3)(0.2) = 1.7$ $E[X^2] = (1^2)(0.5) + (2^2)(0.3) + (3^2)(0.2) = 0.5 + 1.2 + 1.8 = 3.5$

求 $X$ 的變異數： $Var(X) = E[X^2] - (E[X])^2 = 3.5 - (1.7)^2 = 3.5 - 2.89 = 0.61$

利用期望值與變異數的線性轉換性質求 $Y$ ： $E[Y] = 4E[X] - 2 = 4(1.7) - 2 = \mathbf{4.8}$ $Var(Y) = 4^2 \cdot Var(X) = 16(0.61) = \mathbf{9.76}$

知識點 2：三大經典離散分佈#

在計算機科學與網路工程中，以下三種分佈最為常見：

二項分佈 (Binomial Distribution, $X \sim Bin(n, p)$ )

定義：執行 $n$ 次獨立的白努利實驗（Bernoulli trial），成功的總次數。
PMF: $P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}$
性質: $E[X] = np$ , $Var(X) = np(1-p)$

幾何分佈 (Geometric Distribution, $X \sim Geo(p)$ )

定義：獨立重複白努利實驗，直到第一次成功時所需的總實驗次數。
PMF: $P(X = k) = (1-p)^{k-1}p$
性質: $E[X] = \frac{1}{p}$ , $Var(X) = \frac{1-p}{p^2}$

帕松分佈 (Poisson Distribution, $X \sim Poi(\lambda)$ )

定義：在特定的單位時間或空間內，某隨機事件發生的次數（常應用於網路封包抵達率、伺服器請求量分析）。
PMF: $P(X = k) = \frac{\lambda^k e^{-\lambda}}{k!}$
性質: 其期望值與變異數相等， $E[X] = \lambda$ , $Var(X) = \lambda$

實戰演練：伺服器 Error Log 分析 (Poisson) [題目] 伺服器每分鐘平均收到 3 個錯誤日誌，假設其發生的次數服從帕松分佈。求在特定的一分鐘內，收到至少 2 個錯誤日誌的機率。 [解答] 設 $X \sim Poi(3)$ ，即 $\lambda = 3$ 。利用餘事性求解： $P(X \ge 2) = 1 - P(X < 2) = 1 - (P(X = 0) + P(X = 1))$ 代入帕松分佈 PMF： $P(X \ge 2) = 1 - \left( \frac{3^0 e^{-3}}{0!} + \frac{3^1 e^{-3}}{1!} \right) = 1 - (e^{-3} + 3e^{-3}) = \mathbf{1 - 4e^{-3}}$

第四章：連續型隨機變數 (Continuous Random Variables)#

知識點 1：指數分佈與無記憶性#

指數分佈 ( $X \sim Exp(\lambda)$ )：常用於建模隨機事件發生的等待時間或電子元件的壽命。

$PDF: f(x) = \lambda e^{-\lambda x}, \quad CDF: F(x) = 1 - e^{-\lambda x} \quad (x \ge 0)$

超尾機率 (Tail Probability)： $P(X > x) = 1 - F(x) = e^{-\lambda x}$

無記憶性 (Memoryless Property)：已知某事件已等待了 $s$ 時間，其需要再多等待 $t$ 時間的條件機率，等同於從零開始重新等待 $t$ 時間的機率。
數學證明：

$P(X > s + t \mid X > s) = \frac{P(X > s + t \cap X > s)}{P(X > s)}$

因為若 $X > s + t$ ，必然滿足 $X > s$ ，故分子交集部分即為 $X > s + t$ ：

$= \frac{P(X > s + t)}{P(X > s)} = \frac{e^{-\lambda(s+t)}}{e^{-\lambda s}} = e^{-\lambda t} = P(X > t)$

實戰演練：路由器壽命預測 [題目] 某型號路由器壽命服從指數分佈，平均壽命為 5 年。若某台路由器目前已經正常運作了 10 年，求它能「再多運作至少 3 年」的機率？ [解答] 指數分佈平均壽命 $E[X] = 1/\lambda = 5 \implies \lambda = 0.2$ 。根據指數分佈的無記憶性，過去運作的時間不影響未來的壽命機率： $P(X > 10 + 3 \mid X > 10) = P(X > 3) = e^{-0.2 \times 3} = \mathbf{e^{-0.6}}$

知識點 2：常態分佈與標準化#

常態分佈 ( $X \sim N(\mu, \sigma^2)$ )：誤差分析與統計學中核心的分佈。
標準化 (Standardization)：由於一般常態分佈的機率密度函數無法透過初等函數求得積分解析解，計算時必須利用線性轉換，將其轉換為標準常態分佈 $Z \sim N(0, 1)$ 以查表求解：

$Z = \frac{X - \mu}{\sigma}$

實戰演練：資料庫查詢時間估算 [題目] 資料庫查詢時間 $X \sim N(100, 400)$ （單位：毫秒）。求單次查詢時間介於 80ms 到 140ms 之間的機率？（已知標準常態分佈累積函數值 $\Phi(1)=0.8413, \Phi(2)=0.9772$ ） [解答] 已知平均數 $\mu = 100$ ，變異數 $\sigma^2 = 400 \implies$ 標準差 $\sigma = 20$ 。

將邊界值進行標準化轉換： $Z_{lower} = \frac{80 - 100}{20} = -1$ $Z_{upper} = \frac{140 - 100}{20} = 2$

轉換為標準常態機率計算： $P(80 < X < 140) = P(-1 < Z < 2) = \Phi(2) - \Phi(-1)$ 利用標準常態的對稱性 $\Phi(-1) = 1 - \Phi(1) = 1 - 0.8413 = 0.1587$ 故所求機率為： $0.9772 - 0.1587 = \mathbf{0.8185}$

第五章：聯合機率分佈 (Joint Probability Distributions)#

知識點 1：邊際/條件分佈與定義域邊界#

邊際機率密度函數 (Marginal PDF)：對聯合分佈對另一變數進行全範圍積分以消去該變數。

$f_X(x) = \int_{-\infty}^{\infty} f(x, y) dy$

條件機率密度函數 (Conditional PDF)：

$f_{Y\vert{}X}(y \mid x) = \frac{f(x, y)}{f_X(x)}, \quad \text{當 } f_X(x) > 0$

獨立性判定：若 $X$ 與 $Y$ 獨立，則聯合密度必可拆分 $f(x,y) = f_X(x) f_Y(y)$ 。在幾何上，獨立變數的定義域（Support）必然為矩形。若定義域的邊界包含變數相依的限制（例如 $0 < y < x < 1$ ），則兩者必定不獨立。

實戰演練：二維聯合機率邊界處理 [題目] 設隨機變數 $X, Y$ 的聯合 PDF 為 $f(x, y) = 8xy$ ，其有效定義域範圍為 $0 < y < x < 1$ 。 (1) 求 $X$ 的邊際分佈 $f_X(x)$ ？ (2) 若已知 $X = 1/2$ ，求 $Y$ 的條件 PDF 及其對應的新定義域？ [解答]

求邊際 $f_X(x)$ ：對 $y$ 進行積分，注意由範圍 $0 < y < x < 1$ 可知 $y$ 的積分上限受限於 $x$ 。

$f_X(x) = \int_{0}^{x} 8xy \, dy = 4x \left[ y^2 \right]_0^x = \mathbf{4x^3}, \quad \text{範圍為 } (0 < x < 1)$

求條件 PDF $f_{Y\vert{}X}$ 並更新變數邊界：

$f_{Y\vert{}X}(y \mid 1/2) = \frac{f(1/2, y)}{f_X(1/2)} = \frac{8(1/2)y}{4(1/2)^3} = \frac{4y}{0.5} = \mathbf{8y}$
更新邊界定義域：原本範圍為 $0 < y < x$ ，在給定條件 $x=1/2$ 後，該條件 PDF 的新有效定義域縮減為 $0 < y < 1/2$ 。

第六章：共變異數與極限定理 (Covariance and Limit Theorems)#

知識點 1：共變異數與相依性檢驗#

共變異數 (Covariance)：用以衡量兩個隨機變數之間的線性相關程度。
定義與推導：

$Cov(X, Y) = E[(X - \mu_X)(Y - \mu_Y)] = E[XY - \mu_X Y - \mu_Y X + \mu_X \mu_Y]$

利用期望值線性性質展開：

$= E[XY] - \mu_X E[Y] - \mu_Y E[X] + \mu_X \mu_Y = E[XY] - \mu_X \mu_Y$

計算捷徑公式： $Cov(X, Y) = E[XY] - E[X]E[Y]$
兩變數和的變異數： $Var(X + Y) = Var(X) + Var(Y) + 2Cov(X, Y)$

核心觀念釐清：零相關不等於獨立 若 $X, Y$ 兩隨機變數獨立 $\implies Cov(X,Y) = 0$ （即零相關）。 然而反之不成立： $Cov(X,Y) = 0$ 僅代表變數間沒有「線性」相關關係，它們仍可能存在高度的非線性相依性（例如當 $Y = X^2$ ，且 $X$ 的分佈關於原點對稱時， $Cov(X,Y)$ 為 0，但兩者顯然高度相依）。

實戰演練：離散聯合分佈共變異數 [題目] 已知 $E[X]=2, E[Y]=3, E[XY]=6$ 。求 $Cov(X,Y)$ ？這是否足以證明 $X,Y$ 相互獨立？ [解答]

代入捷徑公式： $Cov(X,Y) = E[XY] - E[X]E[Y] = 6 - (2 \times 3) = \mathbf{0}$ 。

不能證明獨立。 $Cov(X,Y)=0$ 僅代表「零相關（無線性關係）」，無法排除兩者間存在非線性相依關係的可能性。

知識點 2：機率不等式估計 (Bounds)#

在無法得知確切分佈函數的情況下，僅利用期望值與變異數來估算機率的範圍上界，是計算機理論與演算法分析的重要工具。

馬可夫不等式 (Markov’s Inequality)：若 $X$ 為非負隨機變數，則對任意常數 $a > 0$ ：

$P(X \ge a) \le \frac{E[X]}{a}$

柴比雪夫不等式 (Chebyshev’s Inequality)：衡量隨機變數偏離其平均值超過特定距離的機率上限。對任意常數 $k > 0$ ：

$P(\vert{}X - \mu\vert{} \ge k) \le \frac{Var(X)}{k^2}$

實戰演練：Chebyshev 演算法效能評估 [題目] 某 API 的響應時間平均值 $\mu = 10$ 毫秒，標準差 $\sigma = 2$ 毫秒。在不假設任何分佈的前提下，估計該 API 響應時間超過 16 毫秒或低於 4 毫秒的機率上限。 [解答] 題目所述範圍（ $X \ge 16$ 或 $X \le 4$ ）等價於偏離平均值至少 6 毫秒的事件，即 $P(\vert{}X - 10\vert{} \ge 6)$ 。利用柴比雪夫不等式，令 $k = 6$ ，且變異數 $Var(X) = \sigma^2 = 2^2 = 4$ ：
$P(\vert{}X - 10\vert{} \ge 6) \le \frac{Var(X)}{6^2} = \frac{4}{36} = \mathbf{\frac{1}{9}}$

知識點 3：中央極限定理 (CLT)#

中央極限定理 (Central Limit Theorem)：設 $X_1, X_2, \dots, X_n$ 為一組獨立且同分佈 (i.i.d.) 的隨機變數，其各自的期望值為 $\mu$ ，變異數為 $\sigma^2$ 。當樣本數 $n$ 夠大時（通常經驗法則要求 $n \ge 30$ ），其隨機變數總和 $S_n = \sum X_i$ 或樣本平均值 $\bar{X}$ 的抽樣分佈會趨近於常態分佈：

$S_n \sim N(n\mu, n\sigma^2)$

標準化公式應用：

$Z = \frac{S_n - n\mu}{\sqrt{n}\sigma} \sim N(0, 1)$

實戰演練：大流量系統請求加總 [題目] 系統收到 100 筆獨立請求，單筆請求處理時間 $X \sim Exp(\lambda=0.1)$ 秒。求處理完這 100 筆請求的總時間超過 1200 秒的機率？（已知標準常態分佈累積函數值 $\Phi(2)=0.9772$ ） [解答]

單一隨機變數的參數（指數分佈）： $\mu = \frac{1}{\lambda} = 10$ 秒， $\sigma^2 = \frac{1}{\lambda^2} = 100$ 。

計算 100 筆請求加總後的總體參數：總平均數 $n\mu = 100 \times 10 = 1000$ 總變異數 $n\sigma^2 = 100 \times 100 = 10000 \implies$ 總標準差 $\sqrt{n\sigma^2} = 100$

依據中央極限定理進行標準化轉換：

$P(S_{100} > 1200) = P\left(Z > \frac{1200 - 1000}{100}\right) = P(Z > 2)$
利用標準常態分佈表換算機率： $1 - \Phi(2) = 1 - 0.9772 = \mathbf{0.0228}$

期末考核心重點快速衝刺表#

1. 基礎機率與排容原理快速複習#

狄摩根定律： $(A \cup B)^c = A^c \cap B^c \quad ; \quad (A \cap B)^c = A^c \cup B^c$
排容原理： $P(A \cup B) = P(A) + P(B) - P(A \cap B)$
差集公式： $P(A \cap B^c) = P(A) - P(A \cap B)$
布林不等式： $P(A \cup B) \le P(A) + P(B)$

重要觀念：互斥 vs 獨立（觀念選擇題常考）

互斥 (Mutually Exclusive)： $A \cap B = \emptyset \implies P(A \cap B) = 0$

獨立 (Independent)： $P(A \cap B) = P(A) \cdot P(B)$

定理：在事件機率皆大於零的前提下，「互斥事件必不獨立，獨立事件必不互斥」。

2. 條件機率與貝氏定理核心#

條件機率定義： $P(A \mid B) = \frac{P(A \cap B)}{P(B)}$
乘法連鎖律： $P(A \cap B \cap C) = P(A) \cdot P(B \mid A) \cdot P(C \mid A \cap B)$
全機率定理： $P(A) = \sum P(A \mid B_i) \cdot P(B_i)$
貝氏定理： $P(B_k \mid A) = \frac{P(A \mid B_k) \cdot P(B_k)}{P(A)}$

3. 隨機變數核心運算性質#

期望值 $E[X]$ ：離散型為 $\sum x \cdot p(x)$ ；連續型為 $\int x \cdot f(x) dx$
變異數核心公式： $Var(X) = E[X^2] - (E[X])^2$
線性轉換公式：
$E[aX + b] = aE[X] + b$
$Var(aX + b) = a^2 \cdot Var(X)$ （注意：常態平移量 $b$ 不影響波動度，倍數 $a$ 提出需平方）

4. 必考機率分佈神表#

🎲 離散型分佈 (Discrete)#

分佈名稱	參數	機率質量函數 (PMF) $P(X=k)$	期望值 $E[X]$	變異數 $Var(X)$
二項分佈 ( $Bin$ )	$n, p$	$\binom{n}{k} p^k (1-p)^{n-k}$	$np$	$np(1-p)$
幾何分佈 ( $Geo$ )	$p$	$(1-p)^{k-1} p$	$\frac{1}{p}$	$\frac{1-p}{p^2}$
帕松分佈 ( $Poi$ )	$\lambda$	$\frac{\lambda^k e^{-\lambda}}{k!}$	$\lambda$	$\lambda$

📈 連續型分佈 (Continuous)#

分佈名稱	機率密度函數 (PDF) $f(x)$	期望值 $E[X]$	變異數 $Var(X)$	核心考點特性
均勻分佈 $U(a,b)$	$\frac{1}{b-a}$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$	其 CDF 為 $\frac{x-a}{b-a}$
指數分佈 $Exp(\lambda)$	$\lambda e^{-\lambda x}$	$\frac{1}{\lambda}$	$\frac{1}{\lambda^2}$	超尾機率 $P(X > x) = e^{-\lambda x}$ ；具無記憶性。
常態分佈 $N(\mu, \sigma^2)$	形式略	$\mu$	$\sigma^2$	利用 $Z = \frac{X-\mu}{\sigma}$ 進行標準化與對稱查表。

5. 多變數與聯合分佈重要公式#

邊際 PDF（消去 $y$ 保留 $x$ ）： $f_X(x) = \int_{-\infty}^{\infty} f(x,y) dy$
條件 PDF： $f_{Y\vert{}X}(y \mid x) = \frac{f(x,y)}{f_X(x)}$ （計算時務必依據條件限制更新變數的積分邊界範圍）
獨立性簡單判定：若變數的幾何定義域邊界不是一個標準的矩形，兩變數絕對不獨立。
共變異數計算： $Cov(X,Y) = E[XY] - E[X]E[Y]$
線性組合之變異數： $Var(X \pm Y) = Var(X) + Var(Y) \pm 2Cov(X,Y)$ （若 $X, Y$ 獨立，則 $Cov(X,Y)=0$ ，變異數可直接相加）

6. 進階定理與不等式估計#

疊代期望值定理 (Tower Property)： $E[Y] = E[E[Y \mid X]]$
條件變異數公式 (Eve’s Law)： $Var(Y) = E[Var(Y \mid X)] + Var(E[Y \mid X])$
馬可夫不等式（適用於非負隨機變數，且 $a > 0$ ）： $P(X \ge a) \le \frac{E[X]}{a}$
柴比雪夫不等式： $P(\vert{}X-\mu\vert{} \ge k) \le \frac{Var(X)}{k^2}$
中央極限定理 (CLT)（當樣本數 $n \ge 30$ 時）：總和的標準化隨機變數 $Z = \frac{S_n - n\mu}{\sqrt{n}\sigma} \sim N(0,1)$

音樂

音樂