由 dawei
为机器学习项目选择合适的优化器不是一件简单的事。
优化器是深度学习领域的重要组成模块之一，执行深度学习任务时采用不同的优化器会产生截然不同的效果。这也是研究者们不遗余力「炼丹」的原因之一。常见的优化算法包括梯度下降（变体 BGD、SGD 和 MBGD）、Adagrad、Adam、Momentum 等，如此繁多的优化器应该如何做出抉择呢？
不久前，Lightly-ai 的机器学习工程师 Philipp Wirth 撰写了一篇指南，总结了计算机视觉、自然语言处理和机器学习领域普遍使用的流行优化器，并就如何选择合适的优化器给出了建议。
具体而言，这篇文章提出基于以下 3 个问题来选择优化器：
找到相关的研究论文，开始时使用相同的优化器；
查看表 1，并一一对照自己所用数据集的属性以及不同优化器的优缺点；
根据可用资源调整优化器。
引言
为机器学习项目选择好的优化器不是一项容易的任务。流行的深度学习库（如 PyTorch 或 TensorFLow）提供了多种优化器选择，它们各有优缺点。并且，选择不合适的优化器可能会对机器学习项目产生很大的负面影响。这使得选择优化器成为构建、测试和部署机器学习模型过程中的关键一环。
上图显示了由于优化器不同，模型性能可能会差异很大。
