为了能够取得中-英翻译里程碑式的突破,来自微软亚洲研究院和雷德蒙研究院的三个研究组,进行了跨越中美时区、跨越研究领域的联合创新。其中,机器学习组从人类的做事方式得到灵感,研发出了两项最新技术:对偶学习(Dual Learning)和推敲网络(Deliberation Network)。自然语言计算组则增加了另外两项新技术:联合训练(Joint Training)和一致性规范(Agreement Regularization),以提高翻译的准确性。这也正是微软此次翻译系统中所创新运用的四大技术。
对偶学习利用的是人工智能任务的天然对称性。在翻译领域,我们关心从英文翻译到中文,也同样关心从中文翻译回英文。由于存在这样的对偶结构,两个任务可以互相提供反馈信息,而这些反馈信息可以用来训练深度学习模型。也就是说,即便没有人为标注的数据,有了对偶结构也可以做深度学习。另一方面,两个对偶任务可以互相充当对方的环境,这样就不必与真实的环境做交互,两个对偶任务之间的交互就可以产生有效的反馈信号。
推敲网络类似于人们写文章时不断推敲、修改的过程。微软亚洲研究院机器学习组将这个过程沿用到了机器学习中。推敲网络具有两段解码器,其中第一阶段解码器用于解码生成原始序列,第二阶段解码器通过推敲的过程打磨和润色原始语句。后者了解全局信息,在机器翻译中看,它可以基于第一阶段生成的语句,通过多轮翻译,不断地检查、完善翻译的结果,从而使翻译的质量得到大幅提升。
联合训练可以认为是从源语言到目标语言翻译(Source to Target)的学习与从目标语言到源语言翻译(Target to Source)的学习的结合。中英翻译和英中翻译都使用初始并行数据来训练,在每次训练的迭代过程中,中英翻译系统将中文句子翻译成英文句子,从而获得新的句对,而该句对又可以反过来补充到英中翻译系统的数据集中。同理,这个过程也可以反向进行。这样双向融合不仅使得两个系统的训练数据集大大增加,而且准确率也会大幅提高。
一致性规范即翻译结果可以从左到右按顺序产生,也可以从右到左进行生成。该规范对从左到右和从右到左的翻译结果进行约束。如果这两个过程生成的翻译结果一样,一般而言比结果不一样的翻译更加可信。将约束应用于神经机器翻译训练过程中,以鼓励系统基于这两个相反的过程生成一致的翻译结果。
本篇文章是有青岛达内培训为您呈现,希望给您带来更多更好的文章