百大专升本

　　近日NeurIPS 2020收录论文提出的一个优化器，在深度学习社区成为焦点，引起广泛讨论。

　　这就是由耶鲁大学团队提出的AdaBelief。团队在论文中表示，该优化器兼具Adam的快速收敛特性和SGD的良好泛化性。

　　所谓AdaBelief，是指根据梯度方向上的“信念”（Belief）来调整训练的步长。它和Adam在算法上的差别并不大。

　　相比Adam，AdaBelief没有引入任何其他新参数，只是在最后一步更新时有差异，已在上图中用蓝色标出。

　　而实际值与预测值相差很大时，AdaBelief倾向于“不相信”当前梯度，此时分母较大，更新步长较短。

　　有人认为，在CIFAR上，很难相信2020年SOTA模型的准确率低于96％，因此AdaBelief论文最终在选取baseline时有可能是选择了与不太好的结果进行比较。

　　在ImageNet测试的表2里，为什么要使用ResNet18代替更标准的ResNet50？而且AdaBelief不是最优结果，却用加粗方式标出，容易让人产生误解。绝妙的技巧是将提出的方法的得分加粗。

　　另外，还有人在作者未测试的NLP任务上进行实验，很快AdaBelief就“崩溃”了，而SGD能够很好地收敛。

　　AdaBelief不会是最后一个意图取代Adam的优化器，它的泛化能力究竟如何，上海泽滔实业有限责任公司。还有待更多研究者进一步地检验。