文章主题：DeepMind Design, 超维度计算, 人工智能方法
本文来自微信公众号：神经现实 （ID：neureality），作者：Ananthaswamy，译者：ChatGPT，审校：苏木弯，编辑：光影，头图来自：视觉中国
尽管ChatGPT和其他大型语言模型取得了巨大的成功，但支撑这些系统的人工神经网络（Artificial Neural Networks，简称ANNs）可能正在走错方向。
首先，人工神经网络“非常耗电”，马里兰大学的计算机科学家康妮莉娅·费米勒（Cornelia Fermüller）表示，“此外它们还缺乏透明度”。这些系统非常复杂，没有人真正理解它们在做什么，或者为什么能够如此出色地工作。然而，这也导致它们几乎不可能像人类一样通过类比来推理，用符号来表示对象、观念以及它们之间的关系。
这些缺陷可能源自当前人工神经网络的结构和构建单元：个别的人工神经元。每个神经元接收输入，执行运算，并产生输出。现代神经网络是由这些计算单元构成的复杂网络，经过训练以执行特定任务。
然而，人工神经网络的局限性早已显而易见。例如，想象一个能够区分形状（圆形和正方形）的神经网络。一种方法是在其输出层中使用两个神经元，一个表示圆形，另一个表示正方形。如果我们还需要这个神经网络辨别形状的颜色（蓝色或红色），就需要四个输出神经元：分别代表蓝色圆形、蓝色正方形、红色圆形和红色正方形。更多的特征意味着需要更多的神经元。
自然世界充满各种变化，这不可能是我们的大脑感知自然世界的方法。加州大学伯克利分校的神经科学家布鲁诺·奥尔斯豪森（Bruno Olshausen）表示：“否则你必须假设，每个可能的组合在你的大脑中都有一个对应的检测神经元。比如说，专门检测紫色大众汽车的神经元。”
DeepMind Design
🌟认知新维度：大脑信息并非单一神经元独奏，而是由无数神经元的集体舞蹈所构建。就像紫色大众汽车的视觉印记，它并非存储于单一细胞中，而是通过成千上万神经元的协同活动编码。每组活跃的神经元网络都能唤起独特的概念，如粉色凯迪拉克，其激活模式多变且富有创意。这种复杂的网络结构正是大脑智慧和多样性背后的奥秘所在。 若要了解更多关于大脑信息处理的精妙之处，不妨探索更多神经科学的深度解析。记得，每一次思维的闪现，都是亿万个神经元同步跃动的瞬间印记。🌍
这是一种被称为超维度计算（hyperdimensional computing）的彻底不同的计算方法的起点。关键在于，每个信息片段，例如汽车这个概念，它的品牌、型号或颜色，或者所有这些的综合，都被表示为一个单独的实体：一个超维度向量。
🎨📊向量简而言之，是数字世界的神奇阵列！三维时它是(x, y, z)的坐标密码，万个维度下它能化身超向量，存储着一万维空间的秘密。这般数学力量，灵活又强大，正引领我们探索超越现有限制的新计算天地，推动革新的人工智能浪潮汹涌而来！🌍💻
🌟🚀奥尔斯豪森分享他的职业巅峰时刻，他所说的是他对超维度计算的极度热情与期待。这个前沿科技领域，以其强大的效能和无可挑剔的准确性，引领着一场信息革命，让计算变得既迅速又可靠，每一个决策过程都清晰可见，仿佛打开了一个透明且高效的新纪元。🌍💻
一、进入高维空间
原文改写：🌟了解超向量背后的计算原理？👀让我们通过一个生动的图像示例来探索。想象有红圆与蓝方的图案，首先，我们需要向量来代表形状（红圆）和颜色（蓝方）。接着，再用向量来承载分配给这些属性的具体值——圆形、正方形、蓝色及红色。🚀这样，每个元素都被精准地封装在超向量中，便于高效处理和分析。记得关注我们，获取更多深度解析！📚SEO优化：🔥探索超向量计算奥秘？🎨通过红蓝图案实例，深入浅出理解。首先，构造形状（红圆）与色彩（蓝方）的向量维度。然后，填充具体值——圆形、方形、蓝色及红色，形成分配矩阵。这就是超向量的核心，简化处理，提升分析效率。别错过我们的专业解析，一起涨知识！🎓增加emoji：🔥👀📚
🌟确保每个向量的独特性至关重要！正交性是衡量这种差异的有效工具，它暗示了向量间垂直排列的关系。想象一下三维宇宙中的三个黄金向量——沿x轴、y轴和z轴，它们彼此垂直，构建出一个稳固的坐标体系。在浩瀚的一万维空间中，同样存在万个这样的正交向量，它们交织成一个无比精准的维度网络。
但是，如果我们允许向量近似正交，那么在高维空间中这样的不同向量的数量会急剧增加。在一万维空间中，存在数百万个近似正交的向量。
现在让我们创建不同的向量来表示“形状”、“颜色”、“圆形”、“正方形”、“蓝色”和“红色”。由于在高维空间中存在许多可能近似正交的向量，我们可以简单地分配六个随机向量来表示这六个项目；它们几乎可以确保是近似正交的。加州大学伯克利分校红木中心理论神经科学研究员彭蒂·卡内尔瓦（Pentti Kanerva）在2009年的一篇有影响力的论文中写道：“制作近似正交向量的简便，是使用超维度表示的主要原因之一。”
这篇论文是基于20世纪90年代中期彭蒂·卡内尔瓦和托尼·普拉特（Tony Plate）的工作而建立的。当时，托尼·普拉特是杰夫·辛顿（Geoff Hinton）在多伦多大学的博士生。这两位独立地开发了用于操作超向量的代数，并暗示了它在高维计算中的用处。
🌟🎨通过彭蒂·卡内尔瓦与托尼·普拉特的创新系统，我们得以自如地对超向量进行数学魔术般的操作——色彩斑斓的变形与组合。每一种操作背后，都隐藏着深奥的符号语言，犹如魔法中的咒语，驱动着我们的创作无限可能。🌍🎨
第一个操作是乘法。这个操作用于组合概念。例如，将形状向量与圆形向量相乘，结合以表示“形状是圆形”的概念。这个新的“结合”向量与形状和圆形向量都近似正交。如果我们想要从结合向量中提取信息，结合向量有一个重要的特征，就是它的组成成分可以恢复。给定代表大众汽车的结合向量，我们可以解除结合并取回其颜色向量：紫色。
第二个操作是加法。这个操作能创建表示概念叠加的新向量。例如，将两个结合向量“形状是圆形”和“颜色是红色”相加，以创建一个表示红色圆形的向量。同样，叠加向量可以分解为其组成部分。
第三个操作是排列。这个操作涉及重新排列向量的各个元素。例如，如果有一个标有x、y和z的三维向量，排列可以将x的值移到y，将y的值移到z，将z的值移到x。“排列让你得以建立结构，”彭蒂·卡内尔瓦说。“你可以处理发生顺序有时间先后的连续事件。”比如有两个由超向量A和B表示的事件。我们可以将它们叠加成一个向量，但这样会破坏事件的顺序信息。将加法和排列组合起来使用，可以保存顺序。通过逆向操作，可以按顺序获取这些事件。
综合而言，这三个操作足以创建超向量的形式代数（formal algebra），从而实现符号推理。但是许多研究人员都需要很长才能理解超维度计算的潜力，包括彭蒂·卡内尔瓦。“超维度计算还没有被完全理解”，他说道。
二、利用力量
在2015年，奥尔豪森的学生埃里克·韦斯（Eric Weiss）展示了超维度计算独特能力的一个方面。韦斯发现了如何将复杂图像表示为单个超维度向量，其中包含关于图像中所有对象的信息，包括它们的属性，如颜色、位置和大小。
“我几乎从椅子上摔下来，”奥尔豪森说道。“突然之间灯泡亮了。”
不久，更多团队开始开发超维度算法来复现深度神经网络在大约二十年前开始解决的简单任务，例如图像分类。
考虑一个包含手写数字图像的标注数据集。算法使用某种预定的方案分析每个图像的特征，然后为每个图像创建一个超向量。接下来，算法将所有零的超向量相加，创建表示零的超向量。然后对所有数字做同样的操作，创建10个“类别”超向量，每个数字一个。
现在，算法给出一个无标签的图像。它为这个新图像创建一个超向量，然后将超向量与存储的类别超向量进行比较。这个比较确定新图像与哪个数字最相似。
然而，这只是一个开始。超维度计算的优势在于能够组合和分解超向量进行推理。最新的演示是在今年三月，当时阿巴斯·拉希米（Abbas Rahimi）和他在IBM瑞士研究中心的同事们使用超维度计算结合神经网络解决了一个抽象视觉推理中的经典问题——这对于典型的人工神经网络甚至一些人类来说都是一个重大挑战。这个问题被称为雷文渐进矩阵（Ravens progressive matrices），它展示了几何对象的图像，比如在一个3×3的网格中，其中一个位置是空白的。研究对象必须从一组候选图像中选择最适合空白位置的图像。
“我们说，‘这真的是……视觉抽象推理的杀手级例子，我们来试试吧。’”拉希米说。
为了使用超维度计算解决这个问题，团队首先创建了一个超向量字典，用于表示每个图像中的对象；字典中的每个超向量代表一个对象及其属性的某种组合。然后，团队训练了一个神经网络，用于检查图像并生成一个双极超向量（元素可以是+1或-1），使其尽可能接近字典中超向量的某种叠加；生成的超向量因此包含有关图像中所有对象及其属性的信息。“你引导神经网络进入一个有意义的概念空间，”拉希米说道。
一旦网络为每个上下文图像和每个空白位置的候选图像生成了超向量，另一个算法会分析超向量，创建每个图像中对象数量、大小和其他特征的概率分布。这些概率分布反映了上下文和候选图像的可能特征，可以转化为超向量，从而利用代数学预测最有可能填补空白位置的候选图像。
在一个问题集上，他们的方法准确率接近88%，而仅使用神经网络的解决方案准确率不到61%。该团队还展示了，在3×3网格中，他们的系统比传统的使用符号逻辑规则推理的方法快了近250倍，因为后者必须搜索一本庞大的规则书才能确定下一步的正确策略。
三、一个有希望的开端
超维度计算不仅赋予我们解决符号问题的能力，而且还解决了传统计算中的一些棘手问题。当出现由随机位翻转引起的错误（例如0变为1或反之）无法被内置的纠错机制纠正时，如今的计算机性能会迅速下降。此外，这些纠错机制可能会对性能造成高达25%的损失，来自维拉诺瓦大学的计算机科学家焦逊（音译，Xun Jiao）表示。
超维度计算对错误的容忍度更高，因为即使一个超向量遭受了大量的随机位翻转，它仍然接近于原始向量。这意味着在面对错误时，使用这些向量进行推理不会受到实质性的影响。焦逊的团队已经证明，与传统人工神经网络相比，这些系统对硬件故障的容错能力至少高出10倍，而传统人工神经网络已经比传统计算架构的容错能力高出数个数量级。“我们可以利用所有这些容错性来设计一些高效的硬件，”焦逊说道。
超维度计算的另一个优点是透明性：代数运算清楚地告诉你系统为什么选择了特定的答案。而对于传统神经网络来说，情况并非如此。奥尔豪森、拉希米和其他人正在开发混合系统，其中神经网络将物理世界中的事物映射到超向量中，然后由超维度代数接管处理。“类比推理之类的事情变得轻而易举，”奥尔豪森说道。“这是我们对任何人工智能系统的期望。我们应该能够像理解飞机或电视机一样理解它。”
所有这些相对于传统计算的优势表明，超维度计算非常适合用于新一代极其坚固、低功耗的硬件。它还与“内存计算系统（in-memory computing system）”兼容，这些系统在存储数据的硬件上执行计算（与现有的冯·诺伊曼计算机不同，后者在内存和中央处理单元之间低效地传输数据）。其中一些新设备可以是模拟设备，以非常低的电压运行，使其具有高能效，但也容易受到随机噪声的影响。对于冯·诺伊曼计算而言，这种随机性是“无法逾越的障碍”，奥尔豪森说。但是通过超维度计算，“你可以突破这个障碍。”
尽管具有这样的优势，超维度计算仍处于它的初级阶段。“这里有真正的潜力，”费尔米勒说道。但她指出，超维度计算仍然需要在真实世界的问题中，以更大的，接近现代神经网络的规模测试。
“解决大规模问题，需要非常高效的硬件，”拉希米说。“例如，如何高效地搜索10亿个项目？”
所有这些都需要时间，卡内尔瓦表示。“高维空间还隐藏着其他秘密，”他说道。“我认为这只是使用向量进行计算的起点。”
四、后记
苏木弯：我觉得机器翻译很适合赶ddl，比起传统机器翻译，更快更好（地蒙混过关）。但是还是有很多细节的地方需要人工来调。如果不改，能一眼看出是机器翻译，不能放心地使用。或者有一些要求，比如翻译的格式，就算给了prompt也不能很统一。也可能是我的prompt能力需要提高。总而言之，对这种泛泛而谈的科普文章，人工也不能做得多出彩，而机器翻译效率高，胜于人工翻译。
原文：https://www.quantamagazine.org/a-new-approach-to-computation-reimagines-artificial-intelligence-20230413/
本文来自微信公众号：神经现实 （ID：neureality），作者：Ananthaswamy，译者：ChatGPT，审校：苏木弯，编辑：光影
AI时代，掌握AI大模型第一手资讯！AI时代不落人后！
免费ChatGPT问答，办公、写作、生活好得力助手！
扫码右边公众号，驾驭AI生产力！
相关文章
