AdaptiveRate深度学习

在深度学习中,Adaptive Rate（自适应学习率） 是指优化算法能够根据模型参数的历史梯度信息、当前梯度大小或损失函数的变化趋势，动态调整每个参数（或每组参数）的学习率，而不是使用一个全局固定的标量学习率，这种机制是现代深度学习训练的核心,它解决了传统梯度下降法中“学习率难以选择”的痛点：学习率太大：震荡……