在随机（小批量）梯度下降法中，如果每次选取样本数量比较小，损失会呈现振荡的方式下降．也就是说，随机梯度下降方法中每次迭代的梯度估计和整个训练集上的最优梯度并不一致，具有一定的随机性。一种有效地缓解梯度估计随机性的方式是通过使用最近一段时间内的平均梯度来代替当前时刻的随机梯度来作为参数更新的方向，从而提高优化速度。在标准的梯度下降法中，每个参数在每次迭代时都使用相同的学习率，但是学习率如果过大就不会收敛，如果过小则收敛速度太慢。其中， 是初始的学习率， 是为了保持数值稳定性而设置的非常小的常数。 相关文章：

香港科技大学和香港大学相比有哪些优势和劣势？

2024年保障性住房专题报告：新房改发展核心，两万亿市场全面开启

2024国考申论：从会种地变为“慧”种地

04月27日快船vs独行侠数据统计－虎扑NBA原创报道

基于SIMP法的周期性传热材料拓扑优化