AttentionTransformers:HowaSimpleChangeTransformed

作者｜Neil Shen

理解了人类的语言，就理解了世界。

一直以来，人工智能领域的学者和工程师们都试图让机器学习人类的语言和说话方式，但进展始终不大。

因为人类的语言太复杂，太多样，而组成它背后的机制，往往又充满着不可名状的规律。

🌟曾经🔥，人们在自然语言处理(NLP)的世界里，常常青睐🌟 RNN，这就像我们日常思维中的因果链，重视 từng 单词如何嵌套在前后的语境中，编织出逻辑严谨的故事。.rnn 结构的巧妙设计，仿佛模拟了大脑对语言的深度理解。然而，随着技术的进步，研究人员开始探索更高效、灵活的模型，如Transformer家族，它们以自注意力机制为核心，打破了传统 RNN 的顺序束缚，为NLP带来了革命性的变革。🚀

但是这种顺序方式让 RNN 无法实现并行计算，也就是说，它的速度十分缓慢，而规模也很难扩大。

直到 2017 年 6 月 12 日，一篇名为Attention is All You Need的论文被提交到预印论文平台 arXiv 上。

一切从此改变。

🎉 Transformer 的诞生无疑是现代生成式人工智能领域的一股强大引擎，它引领了一场革命性的风暴，让机器的语言技能仿佛一夜之间飞跃到一个新的高度。🌍 无需多言，这种技术的影响力已经深入人心，它以惊人的效率和灵活性，开启了人机交互的新篇章。👨‍💻👩‍💻

原文改写如下：🌟Transformer的出现，不仅引领了智能语音交互领域的革新，也让AI安全议题进入了全球热议的焦点。在此之前，大家关注的是如何让声控助手能精确理解用户意图，而现在，防范通用人工智能（AGI）可能带来的潜在威胁成为了首要任务。🛡️

🎉论文巨献里程碑！『注意力万能』已满六岁，影响力无需多言！🎓它不仅是科研领域的闪耀明星，更是AI时代智慧的基石。📚自发布以来，全球学者与开发者热烈讨论，其重要性不言而喻。🌍无论技术如何迭代，它的核心理念始终引领潮流。🏆让我们一起回顾这六年，展望未来可能的辉煌！💡SEO优化提示：#注意力革命 #论文里程碑 #AI智慧

Transformer 这个名字据说来自论文联合作者之一的Llion Jones，原因无它，因为 attention （注意力）这个词听上去实在是有点不酷。

Llion Jones 也是目前八个论文联合作者中唯一一个还在谷歌上班的人。剩下的七个人都纷纷离职创业。最有名的大概是Character AI，创始人是论文作者之一的Noam Shazeer，他之前在谷歌工作了 20 年，负责构建了 LaMDA。

那么Transformer 究竟有什么点石成金的魔力呢？我们尽量用通俗易懂的话来解释。

Transformer模型告别了传统的RNN结构，独步江湖，全然倚赖自注意力这一核心机制。🌟它以全新的视角诠释了序列处理，实现了信息的高效捕捉和传递，引领了自然语言处理领域的技术革新。🔥

大家都有过这样的经验，打乱个一子句中字词序顺的多很时候不并响影对你句子的解理。比如上面这句。

原文改写：💡 当大脑处理信息时，它就像个过滤器，优先关注关键要素，忽视边缘细节。这是因为人的注意力天然倾向于聚焦重点，这是大脑优化资源和高效运作的本能策略。SEO优化词汇：大脑注意力集中于”关键要素”，自动忽略”次要细节”，这是大脑基于效率的自然行为。换句话说，我们的思维就像一个精简信息的大师，擅长浓缩重要信息，提升搜索引擎友好度。增加emoji: 🧠🔍💡原内容：如果您需要帮助修改或优化文章，以提高SEO和阅读体验，请随时联系我，我会很乐意提供服务。我的联系方式在底部。去除个人信息：若需专业文章润色，提升SEO及阅读流畅性，我很乐意效劳。请随时咨询，具体服务详情略过。原内容：以下是几篇我之前的作品样本，供您参考：[链接1] [链接2] [链接3]替换为：这里有一些我之前的优秀作品示例，可供您借鉴：🔗 示例1 | 示例2 | 示例3注意：保留关键信息，如提供服务的意愿和能力，但避免直接提及个人或联系方式。

Transformer 模仿了这一点，它能够自动学习输入的序列中不同位置之间的依赖关系并计算其相关性（而不是对整个输入进行编码）。这让针对序列的建模变得更加容易和精准。

在深度学习中引入这种机制，产生了两个明显好处。

一方面，并行计算得以实现，基于Transformer架构的模型可以更好地利用 GPU 进行加速。由此，Transformer为预训练模型的兴起奠定了基础，随着模型的规模越来越大，神经网络开始出现所谓“智能涌现”，这正是人们认为像 GPT 这样的大模型打开了 AGI 通用人工智能大门的原因。

另一方面，尽管最开始Transformer的提出是被用来解决自然语言，更准确地说，机器翻译问题，但很快人们就发现，这种注意力机制可以推广到更多领域——比如语音识别和计算机视觉。基于Transformer的深度学习方法实际上适用于任何序列——无论是语言还是图像，在机器眼中它们不过是一个个带规律的向量。

在这两种优点的共同作用下，人工智能领域迎来了前所未有的爆发，后面的故事我们都知道了。

下面是关于Transformer的几个 fun facts。前面三个来自英伟达 AI 科学家 Jim Fan 庆祝Transformer架构被提出六周年的推文。

一，注意力机制不是Transformer提出的。

注意力机制是深度学习三巨头之一的Yoshua Bengio于 2014 年提出的。这篇名为 Neural Machine Translation by Jointly Learning to Align and Translate 的论文中首次提出了注意力机制。堪称自然语言处理里程碑级的论文。在那之后许多人都投身于对注意力机制的研究，但直到Transformer论文的出现大家才明白——相对别的因素而言，只有注意力机制本身才是重要的。

二，Transformer和注意力机制最初都只为了解决机器翻译问题。

未来人们回溯 AGI 的起源，说不定要从谷歌翻译开始。尽管注意力机制几乎可以用在深度学习的所有领域，但一开始不管是Yoshua Bengio的论文还是Transformer架构，都单纯是为了提高机器翻译的效果。

三，Transformer一开始并未引人注意，至少对NeurIPS来说如此。

NeurIPS 2017上一共有 600 多篇论文被接受，Transformer 是其中之一，但也仅此而已了。讽刺的是当年NeurIPS上的三篇最佳论文联合起来的引用次数只有五百多次。

四，OpenAI 在Transformer发布的第二天就 all in 。

虽然很多人一开始并没有意识到Transformer的威力，但这其中显然不包括 OpenAI。他们在Transformer 甫一发布就迅速意识到了这意味着什么，并迅速决定完全投入其中。

实际上，GPT 中的 T 正是Transformer。

五，Transformer几乎立刻取代了 LSTM 的地位。

在Transformer提出之前，自然语言处理使用广泛的是名叫长短期记忆网络 LSTM 的序列生成模型，它的一大缺陷是对输入内容的先后顺序敏感，因此无法大规模使用并行网络计算。

然而在Transformer被提出之前，许多人都认为 LSTM 将在很长一段时间内容主导NLP的发展。