论文_ EMNLP2019获奖论文出炉，最佳论文一作华人，导师为NLP公认大神Jason Eisner

雷锋网AI科学技术评论说:“激动人心的瞬间又来了！

作为自然语言处理领域的顶级会议之一的EMNLP 2019正式结束，闭幕式上也发表了本年度的最高论文。 今年有四个奖项，其中最佳论文奖由约翰霍普金斯大学获得，最佳论文Runner-Up奖获得者由斯坦福获得，最佳资源奖由Facebook等获得，最佳演示奖获得者由艾伦人工智能研究所获得。 值得注意的是，尽管获奖论文中有中国学者，但国内师生几乎没有最好的论文。

EMNLP是国际语言学会( ACL )所属的SIGDAT集团主办的自然语言处理领域的首席国际会议，在计算语言学类别中影响力排名世界第二。 EMNLP每年举办一次，今年与IJCNLP联合在香港举办(香港是第二次，上次是2000年)。

雷锋网AI科技评论现场表明，EMNLP-IJCNLP 2019有效投稿2877篇，采用683篇，其中长论文465篇，短论文218篇，采用率23.7%。 从投稿国来看，中国的投稿数量已经排名第一，但录用数量比美国少70件。

此次参加人数为1922人，比去年的2500人减少，雷锋网AI科学技术评论显示，此次参加人数减少的原因除了学术研究之外，前几天香港形势和美国持有签证在美国工作的研究者为了再次进入美国必须重新发放签证，在一定程度上

EMNLP2019最优秀论文获奖者家族福一、最优秀论文奖EMNLP-IJCNLP最优秀论文奖只对长期论文发行。 本次最优秀论文奖的第一位作者是约翰·霍普金斯大学的爱丽丝·阿里，其领导人是NLP界公认的大神杰森·艾斯·阿里斯·纳尔，后者对NLP构造学习领域作出了巨大的贡献。

这篇论文获奖的原因是“在事前训练语的嵌入中使用了不好的信息瓶颈( variationalinformationbottleneck )。 出色的理论证明，良好的结果，出色的语言学分析，很可能对许多任务有所帮助。 ’他说

论文地址: https://ARX av.org/ABS/1910.00163 v1

论文摘要: ELMo和BERT等预训语中嵌入了丰富的句法和语义信息，可以在各种任务中发挥现在最好的表现。

本文提出了一种非常快速的退化信息瓶颈( variationalinformationbottleneck，VIB )方法，对这些嵌入进行了非线性压缩，只留下对识别性分析器有用的信息。 作者可以将各词嵌入一个离散的标签中或嵌入连续的向量中。 对于离散标签版本，这些自动压缩的标签可以形成备用标签集。

作者通过实验表明，用以往的POS标签表记捕捉到的信息，大部分是用这些标签捕捉的，并且，这些标签序列可以用相同的标签粒度更加正确地解析。 对于连续向量版本，实验表明用他们的方法适度压缩单词嵌入后，可以得到更准确的分析器，他们测试的9种语言中有8种语言得到了这样的结果，以往的简单降维操作没有得到这样的效果。

二、最优秀论文第二位最优秀论文奖第二位( Runner-Up )的第一人来自斯坦福大学，其合作领导人是克里斯曼宁(计算语言学大牛，李飞飞辞职后，曼宁是斯坦福大学AI Lab主任)和珀西。

这篇论文的授奖词是“影响力高，影响力大的论文，介绍了如何设计、训练、解释探测器，更充分地评价在某些特点的任务(如POS标记和依赖性分析)中学到了什么。

论文地址: https://www.ACL web.org/anthology/d19-1275.pdf

论文摘要:研究人员设计监控模型，用于根据特征(如ELMo )预测特定属性(如POS )。 该模型被称为探针，在很多语言学任务中获得了较高的精度。 但是，这些表达是否切实编码语言学结构，还是这些探测器只是学会了语言学任务？

在本论文中，作者提出了一些控制任务，在任务中考察了单词类型与随机输出相匹配，作为语言学任务的补充任务(无关任务)。

设计这些任务的想法只有探测器自身能够学到，成为检查探测能力的方法。 因此，良好的探测器(能够切实反映表达意义的探测器)应该有选择性，在真正的语言学任务中获得高精度，在该控制任务中获得低精度。 探测器的选择性表示是真正语言学任务中的精度与探测器记忆单词类型的能力一致。

作者设计了基于英语POS标记和依赖性边缘检测的控制任务，实验表明用于当前流行的ELMo特征的探针是没有选择性的。 作者还发现，通常控制探针复杂度的dropout方法对于提高多层探测器( MLP )结构模型的选择性没有帮助，但其他类型的归一化方法是有效的。 最后，网络中对ELMo的第一层探测在POS标签任务中获得比第二层探测稍好的表示，但发现第二层探测的选择性较强这还带来网络中哪些层能更好地表示POS的新问题

以前作者在论文的口头报告中指出了他们控制任务的局限性

“在我们的控制任务中，只要识别不同的单词，探测器就有可能在这里发出很多虚假的信号。 选择性这一概念的提案符合我们的直觉，但这并不保证更细致的假设是正确的。 例如《我的模特有这样的选择性，所以正在学习这个任务》三、最优秀资源奖的论文是Facebook、法索邦大学和约翰斯霍普金斯大学共同完成的。

这项工作的贡献是提供的机器翻译数据集对于低资源语言具有重要意义，详细明确的质量管理方法也值得参考其他类似语料库收集工作。  

论文地址: https://ARX av.org/ABS/1902.013982

数据集地址: https://github.com/Facebook research/Flores

注意:本论文在arXiv上的名称是“thefloresevaluationdatasetsforlow-resourcemachinetranslation:Nepali-englishandsinhala-English”论文摘要:世界上大多数语言资源较低 遗憾的是，目前的机器翻译( MT )系统在低资源下运作不佳。

当然，不仅能够用于监督学习的资源很少，而且由于这些语言没有自由公开的标准，所以很难评价用低资源语言训练的方法的优劣。

在这项工作中，作者从维基百科网页提取句子，为低资源预测对象(尼泊尔-英语和圣加罗-英语)引入了新的评价数据集。 这些语言具有完全不同的形式和语法，并且对于这些语言，虽然在域之外的并行数据很少，但是可使用大量的单词数据。  

研究人员在文章中阐述了翻译质量的收集和交叉检验的完整过程，并采用一些学习方式(完全监督、弱监督、半监督、无监督)报告了标准性能。 其实验结果颇有意思，但目前最先进的方法在这个标准下的表达相反相当差。 这对研究低资源机器翻译的社区也提出了新的挑战。

四、最佳示范奖最佳示范奖获得者来自艾伦人工智能研究所和加利福尼亚大学欧文分校。

本文介绍了基于AllenNLP开发的开源工具包，有助于说明基于神经网络的NLP系统。 NLP领域的重要需求之一是如何解释“不透明”的神经网络，该系统很有可能开发出更多的研究。

论文地址: https://ARX av.org/ABS/1909.095251

演示地址: https://allennlp.org/interpret 

论文摘要:神经网络的NLP模型越来越精确，但不完美，不透明——在与人类直觉不同的情况下犯错误，使人类用户对行为感到困惑。 模型解释方法缓解这个问题的方法是对模型的某种预测进行说明。 但遗憾的是，由于当前的模型解释方法难以应用于新模型、新任务，神经网络NLP的开发应用者、解释方法的研究者不希望继续使用这些方法。

本论文介绍了用于解释NLP模型的灵活代码框架(套件) AllenNLP Interpret。 此工具包包括所有AllenNLP模型的解释原型(例如，输入坡度)、一组集成的解释方法以及用于前端的可视构件库。 作者在各种不同模型、不同任务(包括BERT语言掩蔽建模、BiDAF阅读理解)下，实现了5种解释方法(包括有效热图和抵抗性攻击)的可视化demo，展示了工具包的灵活性和功能性。 allennlp.org/interpret 提供了这些demo和所有代码和教程。

EMNLP 2019其他相关内容和国内国际学术会议报告将继续关注雷锋网络AI科学技术评论。