戰昇的部落格

以下是 Week 11 的上課心得整理

重點整理

1. 正則化技術

- 偏差-變異數取捨（Bias-Variance Tradeoff）：

- 正則化旨在降低測試誤差，即使訓練誤差可能略有增加。

- 過度正則化會導致高偏差，過少正則化則可能出現高變異數。

- 主要方法：

- L1 和 L2 正則化（Weight Decay）：

- L1 有助於特徵選擇，生成稀疏模型。

- L2 抑制權重過大，穩定模型訓練。

- Early Stopping：根據驗證誤差停止訓練，避免過擬合。

- Dropout：隨機關閉部分神經元以增加模型泛化能力。

- 資料增強（Data Augmentation）：通過數據轉換增加訓練樣本數量。

- 對抗訓練（Adversarial Training）：增強模型對小擾動的魯棒性。

2. 深度學習中的優化技術

- 梯度下降法（Gradient Descent）：

- 小批次梯度下降（Mini-batch Gradient Descent）：平衡效率與穩定性，常用於深度學習。

- 梯度剪裁（Gradient Clipping）：防止梯度爆炸問題。

- 自適應學習率演算法：

- Adam：結合 Momentum 和 RMSprop 的特性，是深度學習中常用的優化器。

- RMSProp：適合處理稀疏數據和動態學習率需求。

- 參數初始化：

- Xavier Initialization：平衡前向與後向傳播，有助於模型收斂。

- 批次正規化（Batch Normalization）：

- 減少內部協變量偏移（Internal Covariate Shift）。

- 加速模型訓練，降低對其他正則化方法的需求。

心得總結

這週課程深入探討了深度學習中的正則化與優化技術，讓我理解了如何通過這些方法提升模型的泛化能力與穩定性。特別是正則化技術如 Dropout 和對抗訓練，展示了應對過擬合與數據分佈異常的有效策略。同時，Adam 優化器與批次正規化的結合為深層網路的高效訓練提供了實際解決方案。我認為，這些技術不僅提升了對深度學習理論的理解，也為實際應用中處理高維數據和複雜模型提供了寶貴的經驗。未來，我希望能進一步應用這些方法，探索不同模型結構下的最佳配置策略。