尽管近年来利用Transformer模型进行神经机器翻译（NMT）取得了巨大成功，但是NMT模型对输入的微小干扰仍然很敏感，从而导致各种不同的错误。谷歌研究院的一篇ACL 2019论文提出了一种方法，使用生成的对抗性样本来提高机器翻译模型的鲁棒性，防止输入中存在的细小扰动度对其造成影响。结果表明，该方法提高了NMT模型在标准基准上的性能。在本文中，我们将探讨如何通过学习鲁棒翻译模型使其更加适用于商业系统，并解决在计算机视觉领域已得到广泛研究但在NMT领域较少关注的问题。
近年来，基于深度神经网络的NMT模型通常以完全数据驱动的方式进行端到端训练，而不需要强制使用显式语言规则。这使得它们能够在非常大的并行语料库上取得巨大的成功。但是，这种成功也带来了一个问题：当我们对输入句子进行微妙变化时，即使这些变化极小，例如将geladenen换成vorgeladenen，翻译结果也会变得截然不同。
由于缺乏鲁棒性，这些模型难以应用于许多不能承受其不鲁棒性的商业系统，因此学习鲁棒翻译模型既有价值又是许多场景应用所要求的。然而，在神经网络计算机视觉领域已经得到了广泛研究的情况下，对学习鲁棒NMT模块却很少。
《具有双对抗性输入的鲁棒神经机器翻译》一文中，我们提出了一个新的方法，用生成的对抗性样本来提高机器翻译模型的鲁士图，使之抵御可能出现的小差异引起错误。此外，我们还介绍了一种名为AdvGen算法，它可以有效地实现训练集多样化和扩展，同时保持高质量输出。
我们的方法首先是使用AdvGen干扰Transformer模式。一旦构造出一个潜在错误引发单词列表后，将随机选择源句中的某些单词作为均匀分布假设，并从列表中选择最可能引发错误输出的一个替代品，然后反馈给Transformer以启动防御阶段。在这个过程中，我们构造了两个类型不同的攻击样本：一种是源侧攻击样本，一种是目标侧攻击样本。然后，将这两类攻击样本反馈给Transformer，以此去测试和提升它处理不同情况下的能力和性能。
实验结果显示，在汉英、英德等多个标准基准上，与竞争力相比，我们提出的新方法获得了更好的表现，不仅改善了BLEU值，还证明了该技术对于实际应用至关重要。在未来的工作中，我们计划进一步优化这一技术，以便更好地应对复杂且不可预见的情形，为未来的人工智能世界提供更加健壮、可靠、高效的地面车辆自动驾驶服务。
最后，由于该论文是在ACL 2019会议上发布，所以它提供了解决现有挑战的一个全新视角，也为未来的研究者开辟了一条新的道路，让他们能够探索更多关于如何让AI系统更加稳定与安全运行的问题。
