戰昇的部落格

以下是 Week 07 的上課心得整理：

重點整理

1. 模型評估（Model Evaluation）

- 評估目的：

- 測量模型效能是否符合預期目標。

- 避免在未經測試的數據上發生過擬合或欠擬合的情況。

- 評估指標：

- 分類問題：準確率（Accuracy）、精確率（Precision）、召回率（Recall）、F1 分數、ROC 曲線及 AUC。

- 迴歸問題：均方根誤差（RMSE）、平均絕對誤差（MAE）、平均絕對百分比誤差（MAPE）。

- 排序問題：歸一化折扣累積增益（NDCG）、Hitrate@N、平均精確率（MAP）。

- 評估方法：

- 離線評估：如交叉驗證（Cross-Validation）或保留測試法（Hold-Out）。

- 線上評估：如 A/B 測試。

2. 特徵選擇（Feature Selection）

- 目的：

- 提升模型效能並降低計算成本。

- 簡化模型結構，增強可解釋性。

- 方法分類：

- 過濾法（Filtering）：

- 根據特徵分數篩選（如訊息增益、卡方檢定）。

- 包裝法（Wrapper）：

- 使用模型進行特徵子集評估（如逐步前向選擇、逐步後向選擇）。

- 嵌入法（Embedded）：

- 通過正則化方法（如 L1 和 L2 正則化）內建特徵選擇。

- 案例應用：

- 使用卡方檢定或訊息增益選擇文本數據中的高相關特徵。

- 在信用評分模型中應用正則化方法優化選擇特徵。

心得總結

本週課程讓我深入理解了模型評估與特徵選擇的基本理論與應用。模型評估部分強調了不同問題類型需要對應的特定指標，而特徵選擇則展現了提升模型效能的實用技術。在實際應用中，我體會到評估方法的選擇會直接影響模型的可靠性，尤其是交叉驗證的重要性。此外，特徵選擇的不同策略，特別是嵌入法的正則化方式，讓我意識到其在處理高維數據時的優勢。未來，我希望能將這些方法整合於實際專案中，進一步驗證其效能並探索更多最佳化策略。