机器学习之梯度下降

梯度下降

9WUEX62UQu.jpg!large 梯度下降法简单来说就是一种寻找目标函数最小化的方法。

上图的 update 就是梯度迭代公式。

在机器学习中,基于基本的梯度下降法发展了两种梯度下降方法,分别为随机梯度下降法和批量梯度下降法。

Batch 梯度下降:

5E8NyqTEC2.png!large

随机梯度下降:

AfZ5QPy0fM.png!large

随机梯度下降有时候会上升,但如图所示,最后结果都是徘徊在最低点的。

梯度下降属于一种最优化算法。

本作品采用《CC 协议》,转载必须注明作者和本文链接
不要试图用百米冲刺的方法完成马拉松比赛。
讨论数量: 1

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!