戰昇的部落格

以下是 Week 04 的上課心得整理

重點整理

1. 分類模型概述

- 回歸與分類的區別：

- 回歸：輸出為連續值。

- 分類：輸出為離散的類別（如二分類或多分類）。

- 分類模型方法：

- 判別函數：直接將輸入分配到特定類別（如感知機）。

- 機率模型：透過條件機率模型 \( P(C_k|x) \) 決策。

2. 感知機模型

- 基本概念：

- 用於二分類問題，通過線性決策超平面將數據分成兩類。

- 學習目標是調整權重向量，使誤分類數量最小化。

- 缺點：

- 無法處理非線性可分的數據。

- 僅適用於二分類，無法提供機率輸出。

3. 機率判別模型

- 邏輯迴歸（Logistic Regression）：

- 使用 sigmoid 函數估算類別的機率值，適合二分類問題。

- 支援多分類（K>2），使用 softmax 函數將數據分配到 K 個類別之一。

- 參數估計方法：

- 最大後驗估計（MAP）。

- 使用正則化（如 L2）來控制模型複雜度。

- Newton-Raphson 方法能加速參數估計的收斂速度。

4. 分類效能評估

- 指標與混淆矩陣：

- 準確率（Accuracy）：正確預測的比例。

- 精確率（Precision）：預測為正的樣本中實際為正的比例。

- 召回率（Recall）：實際為正的樣本中被正確預測的比例。

- F1 分數：精確率與召回率的調和平均。

- 案例分析：

- 混淆矩陣示例顯示了不同指標的計算及其對模型效能的反映。

心得總結

這週課程著重於分類模型的基礎與應用，從感知機的簡單實現到邏輯迴歸的機率建模，幫助我了解如何選擇適合的分類方法。特別是邏輯迴歸的正則化技術與參數估計方法，使我深刻體會到數據預測的準確性與模型複雜度之間的平衡。而分類效能的多維指標評估，為模型優化提供了清晰的方向。我認為，結合實際數據進行實作，將進一步提升對這些分類方法的掌握與應用能力。