TensorFlow优化算法 tf.train.AdamOptimizer 简介

AdamOptimizer是TensorFlow中实现Adam算法的优化器。Adam即Adaptive Moment Estimation（自适应矩估计），是一个寻找全局最优点的优化算法，引入了二次梯度校正。Adam 算法相对于其它种类算法有一定的优越性，是比较常用的算法之一。

初始化：

更新规则：

参数含义：

• : A Tensor or a floating point value. （学习率）
• : A float value or a constant float tensor. （一阶矩估计的指数衰减率）
• : A float value or a constant float tensor. （二阶矩估计的指数衰减率）
• : A small constant for numerical stability. （一个非常小的数，防止除以零）
• : 如果为真，则使用锁进行更新操作。
• : 使用梯度时创建的操作的可选名称，默认为 "Adam"。

下面仅列出一些方法，具体见官方文档（文末参考文献）。

功能：将梯度应用于变量。

功能：计算?var_list 中变量的 loss 的梯度。

功能：返回由 Optimizer 为 var 创建的名为name的slot。

功能：返回由 Optimizer 创建的 slot 名称的列表。

功能：通过更新 var_list 添加操作以最大限度地最小化 loss。

功能：编码Optimizer当前状态的变量列表。

相比于SGD算法：

1. 不容易陷于局部优点
2. 速度更快，学习效果更为有效
3. 纠正其他优化技术中存在的问题，如学习率消失或是高方差的参数更新导致损失函数波动较大等问题。

此外，Adam 的调参相对简单，默认参数就可以处理绝大部分的问题。

?

参考文献：

https://www.tensorflow.org/api_docs/python/tf/train/AdamOptimizer

http://www.tensorfly.cn/tfdoc/api_docs/python/train.html#AdamOptimizer