尽管近年来利用Transformer模型进行神经机器翻译（NMT）取得了巨大成功，但NMT模型对输入微小干扰的敏感性仍然是一个问题，导致各种错误的发生。谷歌研究院在ACL 2019上发表了一篇论文，提出了使用生成的对抗性样本提高机器翻译模型鲁棒性的方法，以防止输入中存在的细小扰动影响其性能。这一方法通过学习一个鲁棒NMT模型，直接利用模型知识和扭曲预测意图以克服对抗性样本，从而提高了在标准基准上的性能。
文章阅读地址：https://arxiv.org/abs/1906.02443
近年来，基于深度神经网络的NMT模型通常在非常大的并行语料库上以完全数据驱动方式进行端到端训练，而不需要显式语言规则。尽管取得巨大成功，但这些模型对于微小干扰极为敏感，这可能导致翻译不足、过度或错误。例如，对德语句子“Der Sprecher des Untersuchungsausschusses hat angekündigt, vor Gericht zu ziehen, falls sich die geladenen Zeugen weiterhin weigern sollten, eine Aussage zu machen。”进行微妙更改，如将geladenen换成同义词vorgeladenen，就会导致不同的错误翻译结果。
由于缺乏鲁棒性，使得这些商业系统难以实际应用，因此学习鲁棒翻译模型不仅价值连城，也是许多场景所需。在《具有双对抗性输入的鲁棒神经机器翻译》一文中，我们提出了一种方法，即使用生成的对抗性样本来提高机器翻译模型的鲁士特耐力，以防止细小扰动引起影响。此外，我们还学习了一个可以直接利用其知识和扭曲预测意图克服这种类型样本的人工智能系统，并且该方法提高了标准基准中的表现。
为了实现这一目标，我们使用一种称为AdvGen算法，它生成可信任但又与原始数据不同的一系列相似样本，然后将它们反馈给我们的AI系统，让它学会如何识别并抵御潜在威胁。在这个过程中，每个单词都有一个关联列表，该列表包括可能被用作替代品的一个单词集合。然后，将这两个相似的源和目标句子作为输入给AI系统，让它计算出最佳输出，同时考虑到潜在攻击者的行为。当AI系统试图理解并应付来自AdvGen产生的一系列挑战时，它变得更加强大和灵活，因为它能够根据环境变化适应自己的策略。
通过测试我们发现，在汉英及英德两种语言之间采用我们的新技术后，其性能得到了显著提升，比之前最先进版本高2.8分点及1.6分点。这证明了我们的创新技术有效地帮助创建出更加健壮、能适应多变环境的人工智能系统，有助于解决现实世界中的复杂问题。
