大数据摘要
备受瞩目的2019年神经外科手术周日清晨在温哥华拉开帷幕。今天,组委会通过博客宣布了五类奖项,包括杰出论文奖和杰出新方向论文奖。
论文
神经网络处理器(NeurIPS),神经信息处理系统会议和研讨会的全称,自1987年诞生以来已有32年的历史,一直受到学术界和工业界的高度关注。神经网络会议是人工智能领域的甲级会议,也是人工智能领域最负盛名的年度会议之一。
据官方消息来源称,今年提交给神经网络项目会议的论文数量达到新高,共收到6,743篇论文。最后,共接受论文1428篇,口头论文36篇,接受率为21.2%。
今年的参与者人数也创下新高,参与者总数超过13,000人,比去年的9,000人增加了近一半。由于申请者太多。今年,大会组织者甚至改变了抓票规则,将“先到先得”原则改为“抽奖”原则。正如神经科医师在公告中所说的,神经科医师2019使用新规则来抢票,可以在一定程度上避免时区问题。
HooraRM @神经科2019
然而,如此高的提交率和出勤率也可以从侧面反映出人工智能研究的普及程度正在不断提高。
论文
今年的会议纪念杯子
有这么多的参赛作品,组委会在复赛和选拔过程中也面临着很大的压力。在宣布该奖项的官方博客帖子中,NeurlPS 2019还陈述了奖项评估过程中的相关标准和遴选过程。从这些标准中,我们还可以看出神经磷脂酶2019更认可或不鼓励哪些研究。
评估委员会一致通过的评估标准包括鼓励以下9个研究特征:
长期潜力集中在主要工作上,而不是角落。在未来的几十年里,人们可能仍然会关注这个问题。洞察力——提供新的(最好是深入的)理解;该模型不仅显示出几个百分点的改进;创造性——以创造性的新方式看待问题,并给出令读者真正惊讶的结果;革命将从根本上改变人们未来的思维方式。刚性:无可挑剔的严谨和体贴;优雅是美丽、干净、光滑和优雅的。现实再怎么强调它的重要性也不为过。科学性——事实上,它可以被证伪;重复性结果是可再现的。该代码是可用的,可以在各种机器上使用。数据集可用;证明细节是完整的。
组委会还宣布了他们不鼓励的论文的三个特点中的一些:
低效远非仅仅因为资源浪费而引人注目的工作趋势(主要是因为大量资源浪费导致的高排名)-一种想法很流行,所以采用一种方法,但它可以通过其他方法以不同且更有效的方式获得。太复杂了。这篇论文有不必要的复杂性。
此外,组委会今年为新方向的优秀论文增加了一项新的奖项,以突出其在建立未来研究新方法方面的杰出工作。
让我们看看五大奖项的获奖论文。
杰出论文奖
具有马萨特噪声的半空间的分布无关压缩学习
论文链接:
http://papers . nips . cc/paper/8722-distribution-independent-PAC-learning-of half spaces-with-massart-noise . pdf
机构:威斯康星大学麦迪逊分校,马克斯·普朗克研究所
具体来说,研究人员给出了一组标记样本(x,y),并对r d+1维的分布d进行了采样,使得未标记点x上的边缘分布是任意的,并且标记y由未知的半个空产生,该未知的半个//k0/]被马萨特噪声破坏,其中噪声率η即使对于本文之前的析取类也不是有效的弱(分布无关)学习器模型。这种半空算法(甚至析取类)在各种研究中都没有得到解决,从苏隆(1988)和科恩(1997)到艾夫林·布卢姆(Avrim Blum)的FoCS 2003教程,都强调了这个问题。
研究了训练数据中存在未知有界标签噪声时二进制分类线性阈值函数的学习问题。本文提出通过导出一种有效的学习算法来解决基本的、长期存在的开放问题。
本文在机器学习领域长期存在的开放性问题上取得了很大进展,即“研究了马萨特噪声下半空问题的有效学习”。举个简单的例子,即使是弱学习析取(错误率49%)在1%的马萨特噪声下也是开放的。
本文展示了如何有效地实现等于Massart噪声水平加上ε(和运行时间poly(1/ε))的超额风险。算法的复杂性使得技术上很难确定。最终目标是能够有效地获得与及时聚(1/ε)相等的超额风险。
杰出新方向论文奖
一致收敛可能无法解释深度学习中的泛化现象
论文链接:
http://papers . nips . cc/paper/9336-uniform-convergence-may-无法解释-generation-in-deep-learning . pdf
机构:卡内基梅隆大学、博世人工智能中心
为了解释参数化深度网络的泛化行为,最近许多论文为深度学习的发展设定了泛化边界。所有的边界都基于统一收敛的基本学习理论和技术。
现有边界的价值是巨大的。通过大量的实验,研究人员揭示了除了边界之外值得更多关注的一个方面:在实践中,这些边界可以随着训练数据集的增加而增加。观察结果表明,研究者给出了非参数线性分类器和梯度下降训练神经网络的例子,但一致收敛证明不能解释泛化——即使我们尽可能充分考虑梯度下降的隐含偏差。更准确地说,即使我们只考虑GD输出的一组分类器,它们的测试误差在我们的设置中也小于一些小值,我们还表明,对这组分类器应用(双边)一致收敛只会产生大于空的泛化保证。通过这些发现,我们对基于一致收敛的泛化能力提出了质疑,从而为解释超参数深层网络为什么具有良好的泛化能力提供了一幅完整的画面。
对于许多现有的(基于范数的)边界深度学习算法是否像他们声称的那样好,本文给出了否定的答案。他们认为,当他们继续依赖于双边趋同的机器时,他们就不能做他们声称的事情。
尽管本文没有解决(也没有假装解决)深层神经网络的泛化问题,但如果培根的话是“指柱的实例”,它可以指导研究团队探索不同的可能性。
杰出论文荣誉提名奖
Besov IPM损失下广义神经网络的非参数密度估计和收敛速度
论文链接:
http://papers . nips . cc/paper/9109-nonparameter-density-estimation-convergence-rates-for-gan s-und-Besov-IPM-loss
机构:卡内基梅隆大学
本文用严格的理论方法证明了GAN在密度估计(收敛速度)方面优于线性方法。利用以往小波收缩的研究成果,本文为氮化镓的表征能力提供了一种新的思路。具体地说,作者在大函数范畴(Besov空)内的大损失范畴(所谓的积分概率测度)下获得了非参数密度估计的最小最大收敛速度。评论者认为,本文将对从事非参数估计和GAN的研究人员产生重大影响。
快速准确的最小均方解算器
论文链接:
https://papers . nips . cc/paper/9040-快速准确最小均方解算器
机构:海法大学计算机科学系机器人和大数据实验室
最小均方求解是许多机器学习算法的核心,从线性和Lasso回归到奇异值分解和弹性网络。本文展示了如何将它们的计算复杂度降低一到两个数量级,而又没有精度损失和改善的数值稳定性。 该方法依赖于Caratheodory定理,建立了一个核心集(d维的d2 + 1个点的集合)足以表征凸包中的所有n个点。该文的新颖之处在于提出的分治法,该算法可提取具有可承受的复杂性的核集(O(nd + d5 log n),前提是d