📖 互動式學習講義 、 Interactive Lecture

貝氏決策分類器

Chapter 2 、 Classifiers Based on Bayes Decision Theory

這一章解鎖 Ch1 四大問題中的「分類器設計」：在「知道機率分布」的前提下，寫出理論最優的分類規則；再教你分布未知時如何從資料估出來。頁內含 4 個可動手 Demo（閾值誤差、LDA/QDA 決策面、kNN、貝氏網路訊息傳遞）與 2 張 SVG（知識地圖、全書定位）。

7 節2.1–2.7
4 個互動 Demo
5 本筆記本
★★–★★★公式密集章
PART 0

開始之前：本章是你的「分類器天花板」

Orientation

你已學過 Ch1（全景座標）與 Ch7（特徵）。本章回答「拿到特徵之後，分類器怎麼設計才最優？」——答案是貝氏決策。之後 Ch3（線性）、Ch4（神經網路）都是它的近似或變體，所以本章的直覺值得一次到位。

🧠 先備知識提醒：需要「貝氏定理＋常態分布＋矩陣」的直覺；講義 Part 1/3 內建 10 分鐘複習，不需要你先讀課本 Appendix。
🗺️

知識地圖（路線總覽）

Knowledge map

先看地圖再往下讀：貝氏決策 → 判別函數 → 常態分類（重點）→ 密度估計 → kNN／貝氏網路。完整版見 00-知識地圖.md。

2026-08-22T17:39:06.769977 image/svg+xml Matplotlib v3.10.6, https://matplotlib.org/

六站路線

站主題章節難度動手
1貝氏決策：後驗x誤差x風險2.1–2.2★★nb1 ＋ Demo 1
2判別函數與高斯（QDA/LDA）2.3–2.4★★★nb2 ＋ Demo 2
3ML／MAP／貝氏推論2.5.1–2.5.3★★★nb3
4混合模型＋EM2.5.5★★★nb3 附錄
5Parzen／kNN 密度／樸素貝氏2.5.6–2.5.7★★nb3＋nb4
6kNN 規則＋貝氏網路＋專案2.6–2.7★★nb4 ＋ Demo 3/4
PART 1

貝氏決策理論 難度 ★★ 核心

Bayes decision theory

1.1 貝氏定理與分類規則（2.2）

兩類問題：先驗 $P(\omega_i)$（哪類常見）與似然 $p(\mathbf{x}|\omega_i)$（這類長怎樣）已知時：

$$P(\omega_i|\mathbf{x})=\frac{p(\mathbf{x}|\omega_i)P(\omega_i)}{p(\mathbf{x})} \qquad (2.1)\qquad \text{assign to } \omega_i \text{ with max posterior (2.3)}$$
後驗最大者勝出；p(x) 對所有類相同可省略
$p(\mathbf{x})$ 對所有類相同 → 決策只看 $p(\mathbf{x}|\omega_i)P(\omega_i)$；先驗相等時只看似然。
🧠 口訣：「似然 x 先驗，誰大誰贏」——先驗是「背景知識」，似然是「眼前證據」。
fig2.1
圖 2.1：兩類等先驗的一維範例——閾值 $x_0$ 切出 $R_1,R_2$；陰影面積＝錯誤機率（來源 pp3）

1.2 貝氏分類器最優（最小化錯誤機率）

錯誤機率：$P_e=\int_{R_2}P(\omega_1|\mathbf{x})p(\mathbf{x})d\mathbf{x}+\int_{R_1}P(\omega_2|\mathbf{x})p(\mathbf{x})d\mathbf{x}$（2.9）。課本證明：

$$P_e=P(\omega_1)-\int_{R_1}\big(P(\omega_1|\mathbf{x})-P(\omega_2|\mathbf{x})\big)p(\mathbf{x})\,d\mathbf{x} \qquad (2.12)$$

積分項要在 $R_1$ 上最大化 → $R_1$ 取「$P(\omega_1|\mathbf{x})>P(\omega_2|\mathbf{x})$」的區域時 $P_e$ 最小。任何偏離（閾值移動）都會讓陰影面積變大。

🎯 意義：貝氏分類器是「不可超越的天花板」——之後所有分類器都以逼近它為目標。

1.3 損失矩陣與平均風險（2.2 後半）

錯的後果不同（惡性→良性 vs 良性→惡性）：用損失矩陣 $\mathbf{L}=[\lambda_{ki}]$ 加權，最小化平均風險：

$$\mathbf{x}\in\omega_i\ \text{if } l_i\equiv\sum_{k}\lambda_{ki}p(\mathbf{x}|\omega_k)P(\omega_k)\lt l_j\ \forall j\neq i \qquad (2.17)$$
平均風險最小者勝出（中文說明置於公式外）
兩類的似然比檢定：$l_{12}=\frac{p(\mathbf{x}|\omega_1)}{p(\mathbf{x}|\omega_2)}\gtrless \frac{P(\omega_2)}{P(\omega_1)}\frac{\lambda_{21}-\lambda_{22}}{\lambda_{12}-\lambda_{11}}$（2.20）。損失重的那類，決策區被擴大。
📌 Neyman-Pearson 準則：固定一類錯誤率、最小化另一類——雷達「false alarm vs missed detection」的標準做法。

深入：Example 2.1 數字遊戲

方差 1/2、等先驗：最小錯誤閾值 $x_0{=}1/2$；損失 $\lambda_{12}=0.5,\ \lambda_{21}=1$ 時，解 $e^{-x^2}=2e^{-(x-1)^2}$ 得 $x_0{=}(1-\ln2)/2\approx0.153$（誤判 $\omega_2$ 更嚴重 → 閾值左移）。nb1 以數值積分實測。

🍀 類比：分類就是在跟「機率的莊家」下注

想猜新數據屬於哪一類，你就當自己在下注。先驗＝你原本對各類「勝率」的估計；似然＝眼前證據的力道；後驗＝看完證據、更新之後的新勝率。貝氏定理 = 莊家最誠實的賠率表：證據夠力，勝率才動。圖裡的陰影面積，就是你「亂下注」會賠的錢。

🍀 類比：分類就是在跟「機率的莊家」下注

想猜新數據屬於哪一類，就當自己在跟莊家下注。先驗＝你原本對各類勝率的估計；似然＝眼前證據的力道；後驗＝看完證據更新後的新勝率。貝氏定理＝莊家最誠實的賠率表：證據夠力，勝率才動。陰影面積就是你亂下注會賠的錢。

🍀 類比：共變異數矩陣 $\Sigma$ 就是「雞蛋的形狀」

每個類別在高斯眼裡是一顆捏好的蛋：對角線＝這顆蛋在長/短軸的長度（變異數）；斜角＝蛋歪不歪（特徵相關）。$\Sigma$ 相同→兩顆蛋一樣大，切線走直線（LDA）；不同→一顆大、一顆小，切線自動彎（QDA）。馬氏距離＝在「蛋的座標系」裡量你離蛋黃多遠。

互動 Demo 1｜一維貝氏閾值實驗重現課本 Example 2.1：拉滑桿移動閾值，看錯誤面積與 Pe 怎麼變；「最佳」按鈕回到理論最優點
兩類均值 $\mu_1{=}0$（藍）$\mu_2{=}1$（紅），$\sigma^2{=}1/2$，等先驗
閾值 x0： 0.50

移動閾值觀察：x0=0.5 時兩塊誤差面積之和最小；偏離任何方向 Pe 都會上升——這就是「貝氏最優」的圖形證明。

本 Part 你應能回答：① 貝氏規則為何最優（閾值一偏、誤差變大）？② 先驗/損失改變時閾值往哪動？③ 能畫一維兩高斯決策點並估 Pe。
PART 2

判別函數與決策面 難度 ★★

Discriminant functions & decision surfaces

🍀 類比：判別函數＝同一座山的另一張地圖

後驗機率和 log 判別函數，是同一座山的兩種畫法（等高線 vs 3D）：單調變換不改山頂位置，只讓它更好算、更好畫。所以放心 log、log、log，答案永遠不變。

與其直接比機率，不如用判別函數 $g_i(\mathbf{x})\equiv f(P(\omega_i|\mathbf{x}))$（$f$ 單調遞增，如 $\ln$）：

$$\text{classify to } \omega_i \text{ if } g_i(\mathbf{x})>g_j(\mathbf{x})\ \forall j\neq i\qquad \text{decision surface: } g_{ij}(\mathbf{x})\equiv g_i(\mathbf{x})-g_j(\mathbf{x})=0 \qquad (2.22)(2.23)$$
判別函數最大者勝出；決策面＝兩函數相等處

重點：pdf 複雜難估時，可以跳過機率直接以別的成本畫決策面（Ch3/4 的路線）——那是對貝氏的「次優但實用」替代。

本 Part 你應能回答：① $\Sigma$ 的「橢圓」直覺？② 何時決策面是直線、何時曲線？③ Example 2.2 為何判給 $\omega_1$（馬氏 vs 歐氏）？
PART 3

常態分布下的貝氏分類 難度 ★★★ 全章重點

Bayesian classification for normal distributions

3.1 高斯 pdf 與共變異數矩陣（2.4.1）

$$p(\mathbf{x})=\frac{1}{(2\pi)^{l/2}|\boldsymbol{\Sigma}|^{1/2}}\exp\Big(-\frac12(\mathbf{x}-\boldsymbol{\mu})^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu})\Big) \qquad (2.27)$$

$\boldsymbol{\Sigma}$＝共變異數矩陣：對角線＝各特徵變異數，非對角＝特徵間相關。它的特徵向量/特徵值決定等值橢圓的方向與長短軸。

fig2.2
圖 2.2：一維高斯（$\sigma^2{=}1$ 與 $\sigma^2{=}0.2$）——變異數越大越寬（來源 pp9）
🎯 把 $\boldsymbol{\Sigma}$ 想成「橢圓的形狀」：圓＝各向同性；扁長＝某方向變異大；斜＝特徵相關。

3.2 QDA 與 LDA（2.4.2）

對數判別函數：$g_i(\mathbf{x})=-\frac12(\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}_i^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)+\ln P(\omega_i)+c_i$（2.34）

情形判別函數決策面名稱
$\boldsymbol{\Sigma}_i$ 各類不同$\mathbf{x}$ 的二次型二次曲面（橢圓/雙曲線…）QDA
$\boldsymbol{\Sigma}_i=\boldsymbol{\Sigma}$ 相同線性 $g_i=\mathbf{w}_i^T\mathbf{x}+w_{i0}$超平面LDA
$\boldsymbol{\Sigma}=\sigma^2\mathbf{I}$$\frac1{\sigma^2}\boldsymbol{\mu}_i^T\mathbf{x}+w_{i0}$正交於 $\boldsymbol{\mu}_i-\boldsymbol{\mu}_j$ 的平面最小歐氏距離
🧠 口訣：「同 $\Sigma$ 直線切，異 $\Sigma$ 曲線切」；$\mathbf{w}=\boldsymbol{\Sigma}^{-1}(\boldsymbol{\mu}_i-\boldsymbol{\mu}_j)$（2.45）。
fig2.7
圖 2.7：二維二次決策曲線——(a) 橢圓 (b) 雙曲線（來源 pp13）

最小距離觀點

$$\text{Euclidean: } d_e=\|\mathbf{x}-\boldsymbol{\mu}_i\|\qquad \text{Mahalanobis: } d_m=\big((\mathbf{x}-\boldsymbol{\mu}_i)^T\boldsymbol{\Sigma}^{-1}(\mathbf{x}-\boldsymbol{\mu}_i)\big)^{1/2}\qquad (2.48)(2.49)$$
歐氏＝圓（2.48）；馬氏＝橢圓（2.49）
fig2.13
圖 2.13：等歐氏距離＝圓；等馬氏距離＝橢圓（來源 pp20）
⚠️ 課本 Example 2.2 的震撼教育：$[1.0,2.2]^T$ 歐氏距離離 $\boldsymbol{\mu}_2=[3,3]^T$ 較近，但馬氏距離判給 $\boldsymbol{\mu}_1=[0,0]^T$——因為 $\boldsymbol{\Sigma}$ 的相關結構改變了「近」的意義。nb2 會重現。

深入：馬氏距離的「白化」幾何

馬氏 = 先白化再量歐氏：$\boldsymbol{\Sigma}=\boldsymbol{\Phi}\boldsymbol{\Lambda}\boldsymbol{\Phi}^T$（2.50），$\mathbf{x}'=\boldsymbol{\Phi}^T\mathbf{x}$ 下等距離曲線是標準橢圓（2.53）。Example 2.2：$d_m^2(\boldsymbol{\mu}_1,\mathbf{x})=2.952$ vs $d_m^2(\boldsymbol{\mu}_2,\mathbf{x})=3.672$ → 判給 $\omega_1$（歐氏卻較近 $\omega_2$）。

🍀 類比：共變異數矩陣 $\Sigma$ 就是「雞蛋的形狀」

每個類別在高斯的眼裡，是一顆捏好的蛋：對角線＝這顆蛋在長/短軸各多長（變異數）；斜角＝蛋是否歪著放（特徵相關）。$\Sigma$ 相同時，兩顆蛋一樣大 → 切的線是直的（LDA）；$\Sigma$ 不同 → 一顆蛋大、一顆小 → 切線自動彎（QDA）。馬氏距離，就是「在蛋的座標系裡量你離蛋黃多遠」。

互動 Demo 2｜LDA vs QDA 決策面切換「相同/不同共變異數」看決策邊界從直線變成曲線；點畫布查馬氏 vs 歐氏判別
點畫布上的任意位置，看它被哪類「收留」

PART 4

未知 pdf 的估計 難度 ★★–★★★

Estimating unknown pdfs

前面假設分布已知；這裡處理「不知道分布」時怎麼從資料估。先分處境，再選工具。

4.0 先想：你在哪一格？

把「pdf 未知」拆兩種：知道型態、不知參數（例：我確定是高斯，但 $\mu$、$\sigma^2$ 未知）→ 用 4.1 的三種參數法；連型態也未知 → 用 4.4 的無母數法。先判斷再選工具，是這 Part 最重要的習慣。

🍀 打個比方：見到濕地別先拿鏟子，先看是「我們知道土質但不知多深」（→ 參數法 ML/MAP/貝氏）還是「土質根本不知道」（→ 無母數 Parzen/kNN）。判斷錯工具，再辛苦也白挖。

4.1 參數派：ML / MAP / 貝氏推論（2.5.1–2.5.3）

一句話三分法：「ML 信資料、MAP 信先驗、貝氏全都要」——三者大樣本下收斂到同一答案，小樣本時分道揚鑣。

方法目標用到什麼公式（高斯例）特性
ML（最大似然）讓資料「最可能」：$\arg\max\prod_k p(\mathbf{x}_k;\theta)$只有資料$\hat\mu=\bar x$；$\hat\sigma^2_{ML}=\frac1N\sum(x_k-\mu)^2$漸近無偏／一致／有效（CR 下界）；無限樣本才完美
MAP（最大後驗）$\arg\max p(\theta)p(X|\theta)$資料＋先驗$\hat\mu_{MAP}=\frac{\sigma^2\mu_0+\sigma_m^2\sum x_k}{\sigma^2+N\sigma_m^2}$先驗寬或 N→∞ → 退化為 ML；小樣本較穩
貝氏推論算整個後驗 $p(\theta|X)$ → 積分出預測資料＋先驗＋積分$\mu_N=\frac{N\sigma_0^2\bar x+\sigma^2\mu_0}{N\sigma_0^2+\sigma^2}$，$\sigma_N^2=\frac{\sigma^2\sigma_0^2}{N\sigma_0^2+\sigma^2}$最誠實（方差含不確定性 $\sigma_N^2$）；一般需 MCMC
🎯 例題數字（Example 2.3）：$\hat\sigma^2_{ML}$ 是有偏的——$E[\hat\sigma^2_{ML}]=\frac{N-1}{N}\sigma^2$。nb3 親測：N=5 時估到 3.187（真 4.0）→ N=500 時 3.99。
🧠 怎麼選：樣本少＋有可靠先驗 → MAP／貝氏；樣本多 → ML 就夠（三者收斂）。

4.2 最大熵（2.5.4）

一句話：只知道約束時，選「最隨機」的那個分布——不多做沒根據的假設（Jaynes 原則）。熵 $H=-\int p\ln p\,dx$ 是「隨機度」的量尺，越大越隨機。

$$\text{defined on } x\in[x_1,x_2]\ \text{with}\ \int p\,dx=1 \Rightarrow \hat p(x)=\frac{1}{x_2-x_1}\quad\text{(uniform)}\qquad (2.85)$$

直覺：只告訴你「範圍」，其它一律不預設 → 所有點等可能＝均勻。你若再多告訴它「均值與方差」→ 答案變成高斯（Problem 2.30）——這不是巧合，而是「資訊量最少」的自然選擇。

4.3 混合模型與 EM（2.5.5）

輕輕破題：資料好像「一堆高斯疊在一起」，但我不知道每個點來自哪顆高斯（標籤隱藏）。

$$p(\mathbf{x})=\sum_{j=1}^J p(\mathbf{x}|j)P_j\qquad (2.86) \Rightarrow \text{EM: E-step (2.90) }\to\text{ M-step (2.91)}$$

EM 用大白話講：

  • E 步：先用目前的參數，軟性猜測每個點屬於各高斯的機率 $P(j|\mathbf{x}_k)$（不用硬切，誰都不冤枉）。
  • M 步：用這些軟猜測當權重，重新加權估計每顆高斯的 $\mu$、$\sigma^2$、以及「出現比例」P_j（更新式 2.98–2.102）。
  • 兩步反覆，log-likelihood 只升不降、收斂平滑（比牛頓法免算 Hessian、更穩）。
🎯 例題數字（Example 2.8）：兩高斯混合、真 P=0.8 → EM 收斂 $\hat\mu\approx[1.05,1.03],[1.90,2.08]$、$\hat P\approx0.844$（nb3 已複現 $\mu{\approx}[1.0,3.8]$、P≈0.71）。

4.4 無母數派：Parzen 窗（2.5.6）與 kNN 密度

一句話：不知道型態 → 讓「樣本自己說」——在每個樣本上放一顆小高斯再平均，就是平滑版的直方圖。

$$\hat{p}(\mathbf{x})=\frac{1}{N}\sum_{i=1}^N \frac{1}{(2\pi)^{l/2}h^l}\exp\Big(-\frac{\|\mathbf{x}-\mathbf{x}_i\|^2}{2h^2}\Big)\quad\text{(Parzen)}$$

h 怎選（口訣：h 是人生）：$h$ 太小＝只信每個樣本本身 → 結果像刺蝟（高方差）；$h$ 太大＝把一切抹平 → 太糊（高偏差）。課本規則：$h_N\to0$ 且 $Nh_N\to\infty$ 才漸近無偏且一致。

⚠️ 維度詛咒（必背數字）：$N=10^{10}$ 時，l=2/10/20/40 維最近鄰平均距離 = $10^{-5}$/0.18/0.76/1.83——高維下資料永遠不夠。kNN 密度：固定 k、讓體積隨點密度變（低密度區自動變大），$\hat p(\mathbf{x})=k/(NV(\mathbf{x}))$。

4.5 樸素貝氏（2.5.7）★★★

一句話：假設特徵互相獨立 → 高維 pdf 拆成 l 個一維 pdf：$p(\mathbf{x}|\omega_i)=\prod_j p(x_j|\omega_i)$，需要資料量從 $N^l$ 降到 $lN$（≠指數級！）。

  • 二元特徵例（Example 2.10）：$x_i\in\{0,1\}$、$P(x_i{=}1|\omega_i)=p_i/q_i$ → 只需 $2l$ 個機率（非獨立時要 $2^l-1$ 個）。
  • 取 log → 對數似然比變成線性判別函數 $g(\mathbf{x})=\mathbf{w}^T\mathbf{x}+w_0$（weights 是 $\ln(p_i/q_i)$，見 2.121）。
  • 為什麼沒被淘汰：對「獨立性假設被違反」非常穩健——實務當 baseline 表現出色。
🎯 nb4 任務 2 實測：l=8 二元特徵自評準確率 ≈82.7%。
本 Part 你應能回答：① 什麼情況該用 ML、MAP、還是貝氏？② $\hat\sigma^2_{ML}$ 為何有偏、差幾倍？③ EM 的 E/M 各在「猜」什麼？④ Parzen 的 h 太大/太小各有什麼後果？⑤ 樸素貝氏省了多少參數？
本 Part 你應能回答：① QDA/LDA 名字怎麼來？② 高斯下決策面長什麼樣？③ 給 $\mu$、$\Sigma$ 能算一點的判別傾向。
PART 5

kNN 規則與貝氏網路 難度 ★★–★★★

Nearest neighbor rule & Bayesian networks

5.1 kNN：最簡單也最驚人的分類器（2.6）

一句話：不需要模型、不需要訓練（只把樣本存著）——看不認識的點，就看「離它最近的那 k 個訓練點大多屬於誰」。

  1. 算 $\mathbf{x}$ 到所有訓練點的距離（歐氏／馬氏…）
  2. 取最近的 $k$ 個（$k$ 取奇數、且不是類別數的倍數）
  3. 點數最多者勝出：$\mathbf{x}\in\omega_i$ 若 $k_i$ 最大
$$P_B\le P_{NN}\le 2P_B \ (2.122)\qquad P_{3NN}\approx P_B+3P_B^2\ (:P_B{=}1\%)$$

為什麼「最簡單卻驚人」：樣本夠多時空間會變「密」，k 個鄰居都黏在你身邊 → 你附近的多數派＝真實多數派。所以 1NN 漸近最多錯到貝氏的 2 倍，3NN 幾乎追平（$P_B=1\% \Rightarrow 1.03\%$）。

fig2.26
圖 2.26：k=1 的決策區＝Voronoi 分割——每個訓練點管一塊「領地」，空間被切成一格格的馬賽克（來源 pp52）
⚠️ 代價：查最近鄰是 $O(kN)$——樣本多或維度高時很貴（原型縮減 condensing／editing 可解）；小樣本則容易過擬合。

🍀 類比：把爆炸大的「珍奶茶譜」拆成家庭樹

樸素貝氏假設全部配料互不相干（太天真）；貝氏網路則說：「每樣配料只受它『老爸』影響」——珍珠只聽甜度爸、甜度爸只聽糖漿爸。這樣一份本來要背 63 個數字的配方表，折成 13 個就夠；而且誰影響誰，畫成家譜（DAG）一眼看懂。

5.2 貝氏網路：把「獨立」綁得恰到好處（2.7・選修）

一句話：樸素貝氏假設「全部獨立」太強；貝氏網路用條件獨立（每個變數只依賴幾個「父」變數）折衷——只壓該壓的維。

$$p(\mathbf{x})=p(x_1)\prod_{i=2}^l p(x_i|A_i),\quad A_i\subseteq\{x_{i-1},\dots,x_1\}\qquad (2.128)$$
  • 圖：DAG。節點＝變數；邊＝「直接因果/關聯」；每節點一張條件機率表 $P(x_i \mid \text{parents})$。
  • 省多少：l=6 全聯合要 $2^6-1=63$ 個機率；圖 2.27 的獨立假設只需 13 個。
  • 推論：給定一些變數（證據）→ 問別的變數。樹狀用訊息傳遞（向下因果＋向上證據），單連通網路與節點數線性；多連通 NP-hard。
fig2.28
圖 2.28：抽菸→肺癌／心臟病→四種檢驗的貝氏網路（來源 pp55）

Example 2.11 逐步（配合 Demo 4）：鏈式 $x\to y\to z\to w$，給定 $P(x_1)=0.6$ 與三張條件表：

  • 向下（證據 x1）：$P(z_1|x_1)=P(z_1|y_1)P(y_1|x_1)+P(z_1|y_0)P(y_0|x_1)=0.25\times0.4+0.6\times0.6=\mathbf{0.46}$；再傳到 w：$P(w_0|x_1)=0.63$（課本 2.135/2.137）
  • 向上（證據 w1）：$P(z_1|w_1)=\frac{P(w_1|z_1)P(z_1)}{P(w_1)}=\frac{0.45\times0.47}{0.37}=\mathbf{0.57}$（課本 0.57）

nb4 任務 3 用 5 行 Python 把這串數字算給你看——訊息不是神秘巫術，就是「貝氏定理逐節點接力」。

本 Part 你應能回答：① 為什麼 1NN 錯最多只有貝氏的 2 倍？（看 2.122）② Voronoi 分割是什麼？③ 貝氏網路的「條件獨立」比樸素貝氏的「全獨立」好在哪？④ 給一張小 DAG＋CPT，會沿著鏈算出 P(z1|x1)。
本 Part 你應能回答：① 5 本筆記本各自驗證了課本哪個數字？② 全書中 Ch2 站在哪、下一步去哪？
PART 6

動手實作＋職涯延伸

Hands-on & career
📓 nb0 熱身

NumPy＋高斯抽樣＋貝氏定理複習

📓 nb1 貝氏閾值

重現 Example 2.1：閾值、誤差面積、損失矩陣對閾值的影響

📓 nb2 常態分類器

LDA/QDA 決策面、馬氏 vs 歐氏（重現 Example 2.2）

📓 nb3 密度估計

ML/MAP 參數估計與偏誤實驗、Parzen h 實驗、附錄：手刻 EM

📓 nb4 迷你專案

kNN＋Voronoi、樸素貝氏（二元特徵）、貝氏網路訊息傳遞實作

🧭 全書定位

Ch1 入口 → ★Ch2 你在此 → Ch3–4 分類器 → Ch5 特徵選擇 → Ch10 評估

全書定位（監督式主線） Ch1 導論入口・全景 ★Ch2 你在此貝氏分類器 Ch3 線性感知機/SVM Ch4 非線性神經網路 Ch5 特徵選擇選最好特徵 Ch7 特徵產生★已學過 Ch10 評估錯誤率/半監督 Ch11–16 叢聚非監督式 建議第一門課路線：Ch1 → ★Ch2 → Ch3 → Ch4 →（Ch5/Ch7/Ch8 擇路）→ Ch10 → Ch11–13

職涯延伸路線圖

2026-08-22T17:40:36.268551 image/svg+xml Matplotlib v3.10.6, https://matplotlib.org/

練功心法（避坑指南）

  • 先玩 Demo 再讀公式——閾值/決策面/kNN/訊息傳遞四個 Demo 把抽象變成可見。
  • 公式只問三件事：算什麼？數字大代表什麼？極端情形（$\sigma{\to}0$、$N{\to}\infty$）怎樣？
  • 動手重現課本例子——Example 2.1/2.2 的數字對得上才算懂。
  • 別背推導——誤差最小化的證明看懂「直覺」即可（閾值一偏，陰影面積就變大）。