尽管近年来利用Transformer模型进行神经机器翻译（NMT）取得了巨大成功，但是NMT模型对输入的微小干扰仍然很敏感，从而导致各种不同的错误。谷歌研究院的一篇ACL 2019论文提出了一种方法，使用生成的对抗性样本来提高机器翻译模型的鲁棒性，防止输入中存在的细小扰动度对其造成影响。结果表明，该方法提高了NMT模型在标准基准上的性能。在本文中，我们将介绍谷歌研究院在ACL 2019上发表的《具有双对抗性输入的鲁棒神经机器翻译》论文。
Robust Neural Machine Translation with Doubly Adversarial Inputs
文章阅读地址：https://arxiv.org/abs/1906.02443
近年来，基于深度神经网络的NMT模型通常在非常大的并行语料库（输入/输出文本对）上以完全数据驱动的方式进行端到端训练，而不需要强制使用显式的语言规则。尽管取得了巨大的成功，但这类模型缺乏鲁棒性，因此难以应用于商业系统。此外，对于学习鲁棒NMT模型，在计算机视觉领域已经有广泛研究，但相关文献中关于学习这样的模特的心理学却很少。
在《具有双对抗性输入的鲁棒神经机器翻译》一文中，我们提出了一种方法，即使用生成的对抗性样本来提高机器翻译模型以抵御微小扰动。我们学习了一个能够直接利用自身知识和预测意图去克服这些扭曲示例的情境下工作的一个新的、更为坚固版本的人工智能系统。这项技术通过一种称为“AdvGen”的算法实现，其中该算法生成可信赖且足够真实，以至于能欺骗AI系统从事作伪造或欺骗行为，同时还可以被用于防御训练。
首先，将Transformer应用于源句子，并与目标输出句和目标输入句相结合，然后计算损失函数。然后用一个名为AdvGen功能构造出一个假想单词列表，这个列表由可能替换原有单词而不会引起错误转换出来，它们被随即选择并反馈给Transformer，以此启动防御阶段。当攻击者试图修改这个假想单词时，与原来的正确输出不同， Transformer会产生不同的输出，这就是为什么我们要让它学会如何识别这些差异并调整自己的预测。
接下来，将这个假想源句反馈给Transformer，并再次计算损失函数，如果攻击者成功地改变了整个序列，那么它们就会看到相同的问题出现。这是一个循环过程，每一步都增加了我们的理解能力，使得最终我们的AI能够更加自信地做出决策，而不是因为一些微妙但关键性的变化就迷惑不解。
最后，我们评估我们的新型人工智能系统，并发现它比传统的人工智能系统表现得更加稳定，不仅仅是因为它能够处理许多情况下的无效攻击，还因为它能够避免很多潜在问题，因为它学会了解何时应该相信自己所见到的信息，以及何时应该质疑其来源。
