尽管近年来利用Transformer模型进行神经机器翻译（NMT）取得了巨大成功，但是NMT模型对输入的微小干扰仍然很敏感，从而导致各种不同的错误。谷歌研究院的一篇ACL 2019论文提出了一种方法，使用生成的对抗性样本来提高机器翻译模型的鲁棒性，防止输入中存在的细小扰动度对其造成影响。结果表明，该方法提高了NMT模型在标准基准上的性能。在本文中，作者Yong Cheng、Lu Jiang和Wolfgang Macherey对其在ACL 2019上发表的《具有双对抗性输入的鲁棒神经机器翻译》论文进行了介绍。
Robust Neural Machine Translation with Doubly Adversarial Inputs
论文阅读地址：https://arxiv.org/abs/1906.02443
近年来，利用Transformer模型进行神经机器翻译（NMT）取得了巨大的成功。基于深度神经网络的NMT模式通常在非常大的并行语料库（输入/输出文本对）上以完全数据驱动方式进行端到端训练，而不需要强制使用显式语言规则。
然而，这些高效且精确的大型预训练语言模型往往缺乏足够处理非标准或噪声数据集的情况下保持有效性的能力。这意味着即使是最先进的人工智能系统也无法抵御一些微妙但可能极其有害的情况，如恶意代码攻击、误解或者故障。如果能设计一种能够检测这些潜在威胁并适应它们以维持可靠性能的话，那么我们就可以确保这些技术不会被滥用或损坏。
为了解决这个问题，我们提出了一个名为AdvGen算法，它通过构建与原句子相似的但含有替换单词列表中的不同单词替代品从而生成多样化和扩展后的样本集合，并将这种多样化过程应用于我们的原始训练集。在测试阶段，我们发现AdvGen算法能够显著提高传统基于Transformer架构的人工智能系统性能，使之更加稳健地处理来自不可预知环境中的无序信息流。
此外，我们还展示了如何结合AdvGen算法和自我学习策略，以增强人工智能系统对于未见过类型和来源数据源的情景下的鲁棒性。此类策略允许人工智能系统更好地适应新情况，并减少由于缺乏经验导致的问题发生概率。而这正是我们所追求的一个关键目标——创造出一套既安全又灵活的人工智能框架，它既能有效地保护用户免受恶意攻击，又能轻松应付不断变化世界中的挑战。
总结来说，本文探讨了一种新的方法，即通过引入自动生成相似但包含不同替代单词列表中的不同单词替代品来增强基于Transformer架构的人工智能系统对于未来可能出现未见过类型和来源数据源情景下的鲁棒性。这项工作不仅为提升现有AI技术提供了解决方案，而且还开辟了一条前瞻性的研究路径，为理解人类如何与复杂环境互动提供了新的视角。
