INTERACTIVE LAB / 交互实验室
让理解,发生在指尖。
移动一个滑块,看抽象的概念如何改变。先从最简单的梯度下降开始。
EXPERIMENT 01
学习率决定了什么?
在一维函数 L(w) = w² 上,梯度为 2w,每次更新:w ← w − η · 2w。
损失函数 参数更新路径最小值:w = 0
0.05 / 小步靠近1.20 / 容易发散
等待实验
调整参数后,点击前进一步,观察紫色点的移动。
- 迭代步数
- 0
- 当前 w
- 3.0000
- 当前损失
- 9.0000
对这个函数,0 < η < 1 时会收敛;η = 1 时在两侧等幅震荡;η > 1 时会发散。η = 0.5 会一步到达最小值。这些阈值仅适用于本实验的 L(w) = w²。
回到梯度下降的完整笔记 ↗