如何在GoogleBrain的创新实验室中催生Transformer算法，并引领AI革命——Coh

Cohere联合创始人艾丹·戈麦斯（Aidan Gomez） 图片来源：多伦多大学

🌟认知革命引领者艾丹·戈麦斯，AI领域的领军人物，与你共享创新智慧！💡作为Cohere的联合创始人，他曾闪耀于Google Brain，亲手打造Transformer算法，颠覆传统。💡他的初创公司，正是以此科研基石，致力于推进人工智能技术的发展。💡想深入了解AI前沿动态？这里，每一字句都蕴含着未来趋势的火花！🔥欲了解更多关于Cohere的故事，让我们一起探索科技的力量与魅力！🌐#艾丹·戈麦斯 #Cohere #AI革命

🌟戈麦斯的AI之旅始于加拿大地广人稀的怀抱，随后他转战多伦多大学，在那里的大二时光开启了他的科技探索。在那里，他如痴如醉于人工智能的世界，通过深入阅读各类学术论文，迅速成长为一名专注于机器学习和数学的尖端研究者。他的求知热情与对知识的执着，无疑为他的未来之路铺设了坚实的基础。🎓

“我变得痴迷，我就是日夜不停地阅读论文，”他回忆说。“我会带着一篇研究论文入睡。”

他在文献中一直看到一个名字——杰夫·辛顿（Geoffrey Hinton ）——他的附属机构也是多伦多大学，尽管辛顿早已停止教学。戈麦斯通过电子邮件与他联系，向辛顿提出一个小技术问题。令他惊讶的是，辛顿回应了他，这位世界上最著名的AI研究者向一个当时还是匿名的本科生解释了一个普通的问题。

🌟戈麦斯的科技之旅始于硅谷🌟在那里，作为一名备受推崇的Google Brain实习生，他投身于创新的海洋，与全球顶尖大脑共事。在他的学术生涯中，他曾有幸与人工智能巨擘[Lukasz Kaiser](https://www.google.com/careers/profile/lukasz-kaiser)并肩作战，共同推进谷歌TensorFlow模型框架的发展，这无疑是他宝贵的实习经历。硅谷的科技磁场为他提供了无尽的知识和灵感，塑造了他今日的技术领导者形象。

🌟🚀将每个由机器学习专家构建的数据集融入一个全能型的多层次模型，是Kaiser宏伟的目标，旨在实现端到端的全Multi-modal交互体验。🌍🎯通过这种创新方法，他致力于打造一个数据驱动的世界，让信息流动无阻，模型的效能与多样性达到前所未有的高度。🌐

🌟戈麦斯凭借其深厚的AI技术功底，成功推动了[Tensor2Tensor](https://tensortoolkit.ai/)这一创新软件平台的发展，旨在高效分配成千上万GPU的计算力。专注于自回归模型，特别是备受瞩目的注意力机制，他的贡献显著。据透露，戈麦斯通过游说，还促成Google翻译团队对这项技术产生了浓厚兴趣，并在Tensor2Tensor平台上实现了这一先进模型的构建。这不仅体现了他对AI未来趋势的敏锐洞察，也展示了他强大的项目协调和合作能力。

🚀🚀🚀经过紧张的10周全力研发，这款卓越模型即将震撼亮相！🌟戈麦斯深情回溯：“每一刻都伴随着压力与期待，因为我们深知其潜力无限——一个早期成功且扩展性极强的构架，我们的GPU集群犹如引擎，驱动着超乎想象的效能。”🔥🔥🔥

“没人在睡觉；我每天工作14个小时编码，建设这个基础设施，使它更为健壮，运行实验，这就是我们得到变压器算法的方式。”

现在，Transformer算法只有大约20行代码。基本层是一个多层感知器（MLP），Transformer实际上只是一些堆叠在一起的MLP和一个注意力层。在Transformer之前，有这些非常复杂的LSTM架构，没有统一的架构。有了Transformer，所有这些都被拆除，留下的是简单的、表现良好的、可扩展的“内核”东西。

Transformer算法为先进的自然语言处理打开了大门，使机器能够理解和生成类似人类的语言。OpenAI的首席科学家Ilya Sutskever立即利用它建立了第一个生成预训练Transformer模型——GPT，现在已经发展到第四代GPT-4。Transformer引领了正在改变世界的生成AI革命。

戈麦斯接着共同创立了一家公司，Cohere，目的是使人们能够接触到这种变革性的算法和围绕它构建的大型语言模型。Cohere致力于使LLM（大型语言模型）尽可能地实用和有用，以满足不同的垂直任务和行业的需要。

戈麦斯大部分时间都没有参与关于生成式AI（AIGC）对人类的威胁的辩论。但考虑到AI近期的显著进步，戈麦斯表示，越来越难以否认机器获得感知能力的想法。

随着AI感知潜力的展现，戈麦斯强调了负责任开发和伦理考虑的重要性。他呼吁AI社区以保护人类价值、隐私和社会福祉的承诺来面对进步。他相信，通过培养对AI开发的深思熟虑和透明的方法，我们可以减少风险，最大化它所提供的好处。