介绍了爱奇艺在emnlpworkshop“the5thworkshoponnoisyuser-generated text ( w-nut )”中收到的论文。
论文: FASPell: A Fast、Adaptable、Simple、powerfulchinesespellcheckerbasedondae-decodaparadigm
项目链接: https://github.com/qiyi/fa spell
雷锋网注:本论文向爱奇艺投稿。
雷锋网AI科技评论自20世纪90年代初开展了一些开拓性工作以来，对汉语文本中拼写错误的检测与纠正的研究已经持续了很长时间。 然而，尽管大多数研究都简化了拼写错误和最近公开任务的努力，但汉语拼写检查仍然是一项艰巨的任务。 另外，英语等类似语言的方法在汉语中几乎不能使用。 因为汉语单词之间没有间隔，单词没有形态上的变化，所以任何汉字的句法和语义解释都很大程度上依赖于语境。
大多数先前的汉语拼写检查模型引入了公共范例，其使用针对每个汉字而固定的类似字符集(称为困惑集或混淆集)作为候选，并且通过使用过滤器来选择最佳候选作为校正目标文本的替换字符。 这种朴素的设计面临着两个主要瓶颈，但其负面影响不能被过去提出的方案所缓和
一是稀有汉语拼写检查数据下的失配问题。 汉语拼写检查数据需要乏味复杂的专业人才，资源一直不足。 为防止模型的过拟合，Wang等人( 2018 )提出了一种产生伪拼写检查数据的自动方法。 但是，若所生成的数据达到40k句子，则该拼写检查模型的精度不会提高。 Zao等人( 2017 )使用很多语言学规则过滤候补，但结果比我们的表现差，我们的模型没有利用语言学知识。
第二个是，困惑集的使用带来的汉字文字相似度利用上的不灵活性和不充分性的问题。 由于混乱集是固定的，因此不会在任何上下文中包含正确的候选(一个极端的例子是混乱集用繁体中文创建时，繁体中文的“身体”和“休”必须不包含在混乱集的同一类似字符中，但在简体中文中相应的“身体”和“休”是类似字符， 如果错误的文本将“休”写成“身体”，繁体中文混乱集无法检测，必须创建简体混乱集)，检测的再现率将大大降低(不灵活的问题)。 另外，混乱的文字的类似性的信息丢失，没有被充分利用是因为在1个文字混乱中类似的文字被差别处理，但实际上每2个文字的类似度明显有差异，所以会影响检测的精度(不充分性)。 Zhang等人( 2015 )提出了很多考虑文字相似度不重要的特征(例如分词)以弥补文字相似度利用上的不充分，这会给该模型增加很多不需要的噪声。
论文概述:论文提出了一种基于新范式的汉语拼写检查器- FASPell . 新范例包括噪波消除自动编码( DAE )和解码器。 与以前的SOTA模型相比，新范例使我们的拼写检查器能够更快地计算出来，易于应用于简体、繁体、人和机器制作的各种场景的中文文本，结构更简单，错误检测和纠正性能更强。 这四个成果是因为新范式避免了两个瓶颈。 第一，DAE通过利用BERT、XLNet、MASS等无监视的预训练方法，能够将监视学习所需的中文拼写检查数据量(