在随机（小批量）梯度下降法中，如果每次选取样本数量比较小，损失会呈现振荡的方式下降．也就是说，随机梯度下降方法中每次迭代的梯度估计和整个训练集上的最优梯度并不一致，具有一定的随机性。一种有效地缓解梯度估计随机性的方式是通过使用最近一段时间内的平均梯度来代替当前时刻的随机梯度来作为参数更新的方向，从而提高优化速度。在标准的梯度下降法中，每个参数在每次迭代时都使用相同的学习率，但是学习率如果过大就不会收敛，如果过小则收敛速度太慢。其中， 是初始的学习率， 是为了保持数值稳定性而设置的非常小的常数。 相关文章：

张雪峰：家境一般，这12个专业尽量别碰！考上榜首的男生直言后悔

首页＞留学研学＞留学＞留学资讯＞艺术生留学最推荐哪个国家？

张雪峰最不建议女生学的专业 哪些专业不适合女生

一文读懂：国内普通本科如何转学去海外名校

2023年中国美术学院录取分数线