尽管近年来利用Transformer模型进行神经机器翻译（NMT）取得了巨大成功，但这些模型对输入的微小干扰仍然非常敏感，导致各种不同的错误。为了解决这一问题，谷歌研究院的一篇ACL 2019论文提出了一种方法，即使用生成的对抗性样本来提高机器翻译模型的鲁棒性，从而防止输入中存在的细小扰动度对其造成影响。在这篇名为《Robust Neural Machine Translation with Doubly Adversarial Inputs》的论文中，作者Yong Cheng、Lu Jiang和Wolfgang Macherey介绍了他们在ACL 2019上发表的工作。
近年来，由于Transformer模型在神经机器翻译方面取得了巨大的成功，它们通常被用于端到端训练，而不需要显式语言规则。但是，这些模型对于微小干扰仍然非常敏感，这可能导致翻译不足、过度或错误。此外，由于缺乏鲁棒性，使得这些模型难以应用于商业系统，因此学习一个鲁棒的NMT模型既有价值又是许多实际场景所需。
在《具有双对抗性输入的鲁棒神经机器翻译》一文中，我们提出了一个使用生成对抗样本提升机器翻译模型鲁棒性的方法。这项技术通过直接利用模块知识以及扭曲预测意图，以克服对抗样本中的信息。实验结果显示，该方法提高了标准基准上的NMT性能。我们认为理想化训练过程会产生相似的独立输入结果，并且我们的方法可以有效地实现多样化和扩展训练集，同时不依赖鉴别网络，只要简单地将生成的对抗性样本反馈给训练过程即可。
首先，我们使用AdvGen函数干扰原始数据集。然后，将构造的一个源句子与目标输出句结合起来计算损失值，然后选择最可能引发错误单词并构造一个新的源句子作为攻击语句。这个攻击语句被反馈给Transformer进行防御阶段。在防御阶段，我们再次计算损失值，但这次使用的是攻击源输入，并且用同样的方式构造目标攻击语句。如果这种扰动导致明显增加损失，则最小化该损失；如果没有，那么什么也不做，因为它意味着该模块已经能够处理这种情况。
最后，在噪声数据集中评估我们的模块，并发现它能够抵御类似AdvGen描述过程中的噪声。此外，与竞争Transformers相比，我们观察到BLEU分数分别提高2.8（汉英）、1.6（英德），获得新最佳性能。
综上所述，该技术革新提供了一种新的思路来增强神经网络机器翻译系统，使其更加适应复杂环境下的跨语言交流需求，为未来发展提供了重要基础。
