计算机视觉与模式识别论文摘要:非光滑凸函数

[field:click/]次浏览 已收录

  原标题:计算机视觉与模式识别论文摘要:非光滑凸函数优化算法、CNN图像分类技巧

  本研究考虑在使用计算单元网络的情况下,进行非光滑凸函数分布式优化。我们设定两种正则假设(regularity assumptions)。

  在局部假设下,我们得到了最优一阶分散式算法(decentralized algorithm)——多步原始对偶(multi-step primal-dual,MSPD)及其对应的最优速率。这个结果的一个值得注意的方面是,对于非光滑函数,尽管误差的主要项在 O(1/ sqrt(t)) 中,但通讯网络(communication network)的结构仅仅影响 O(1/t) 中的二阶项,这里的t 代表时间。也就是说,即使是在非强凸目标函数中,由于通讯资源,而导致的误差会迅速变小。

  在全局正则假设(global regularity assumptions)下,我们提出了一种基于目标函数局部平滑的分布式随机平滑算法(distributed smooth, DRS)。虽然简单,但是有效。我们证明了分布式随机平滑算法在d1/4乘因子范围内,其中d是基本维度(underlying dimension)。

  近期,图像分类研究的大多数进展都可以归功在训练过程中的优化,例如数据增强和调整优化方法。然而,在这些论文文献中,大多数方法要么被简单地用以实现细枝末节的改进,要么在源代码中才能看到。在本篇论文中,通过消融研究,我们将测试一系列的优化与实验性评估方法(empirically evaluate)对最后的模型准确率的影响。这些方法通过控制变量实验评估它们我们将展示通过组合不同的微调方法,我们可以显著地改善多种卷积神经网络模型。比如,我们将数据集 ImageNet上训练的残差网络 ResNet-50 的 top-1 验证准确率从 75.3% 提升到 79.29%。

  本论文还证明了图像分类准确率的提高可以在目标检测和语义分割等其他应用领域中提升迁移学习性能。 (完)