INTERACTIVE LAB / 交互实验室

让理解,发生在指尖。

移动一个滑块,看抽象的概念如何改变。先从最简单的梯度下降开始。

EXPERIMENT 01

学习率决定了什么?

在一维函数 L(w) = w² 上,梯度为 2w,每次更新:w ← w − η · 2w。

梯度下降轨迹损失函数 L(w) = w² 的曲线。紫色点表示每步参数所在的位置,学习率可在右侧调整。wL(w)
损失函数 参数更新路径最小值:w = 0
0.05 / 小步靠近1.20 / 容易发散
等待实验

调整参数后,点击前进一步,观察紫色点的移动。

迭代步数
0
当前 w
3.0000
当前损失
9.0000

对这个函数,0 < η < 1 时会收敛;η = 1 时在两侧等幅震荡;η > 1 时会发散。η = 0.5 会一步到达最小值。这些阈值仅适用于本实验的 L(w) = w²。

回到梯度下降的完整笔记 ↗