如果人工智能的目的是模仿大脑，用人工神经网络代替真实神经元，那么将深度学习算法的活动与人脑的活动进行比较会发生什么？上周，Meta AI 的研究人员 宣布，他们将与神经成像中心 Neurospin (CEA) 和 INRIA 合作，尝试做到这一点。
通过此次合作，他们计划分析人类大脑活动和在语言或语音任务上训练过的深度学习算法，以响应相同的书面或口头文本。理论上，这可以解码 人类大脑——以及人工智能大脑——如何理解语言的意义。
通过比较一个人在阅读、说话或听话时人脑的扫描图像，以及让深度学习算法解析同一组单词和句子，研究人员希望找到大脑生物学和人工网络之间的相似之处以及关键的结构和行为差异。这项研究可能有助于解释为什么人类处理语言比机器更有效率。
“我们正在尝试将大脑活动与机器学习算法进行比较，一方面是为了理解大脑的功能，另一方面是为了改进机器学习，”Meta AI 的研究科学家 Jean-Rémi King 说。“在过去十年里，人工智能在从物体识别到自动翻译的各种任务上取得了巨大的进步。但对于那些定义不太明确或需要整合大量知识的任务，似乎目前的人工智能系统仍然面临相当大的挑战，至少与人类相比是这样。”
[相关：语言正在训练人工智能模仿人类的偏见]
为此，他们使用了全脑成像技术，如功能性磁共振成像 (fMRI) 和脑磁图 (一种用于识别大脑对单个词语和句子响应的活动的技术，精度达到毫秒级)。这使他们能够随时间追踪大脑对词语的响应。详细观察大脑将使研究人员能够看到，当听到“狗”或“桌子”这样的词时，哪些大脑区域是活跃的（例如，可能是所谓的帮助人类理解隐喻的角回，或者是处理声音含义的韦尼克区）。然后，他们可以检查算法，看它是否与他们正在分析的大脑部分功能相似。例如，人工智能从目标词语中提取了哪些属性？它是否将该词与其发音或先前的使用方式联系起来？
[相关：谷歌的这项新 AI 工具可能会改变我们的在线搜索方式]
在之前的研究中，他们已经能够观察到大脑中与算法在视觉表示、词嵌入和语言转换器方面行为相似的区域。例如，King 指出，经过训练以进行字符识别或将像素转换为字母的算法，产生的激活与大脑的视觉部分相关联。
在 2 月份发表于《Communications Biology》期刊上的一项研究中，Meta AI 的研究人员发现，与那些不具备该功能的算法相比，经过训练以根据句子上下文预测被遮盖词语的深度学习算法，其行为最像人脑。
“这对我们来说是一个强烈的信号——这表明，尝试根据过去预测未来，可能类似于人脑在做的事情，”King 说。
这些模型在预测句子中缺失词语等任务之外，还能在各种任务上表现良好。“因此，这应该是我们开发深度学习算法应该遵循的路径，”King 说。但仍然存在一些问题。具体来说，为了高效学习语言，我们需要大脑的先天结构，还是成长过程中的文化影响？以及要让语言模型工作，你到底需要多少数据和参数？
“孩子们在几年内就能学会说话，与人工智能系统通常接受的训练数据相比，他们接触到的句子数量非常少，”King 说。“这表明我们的大脑内部有架构，能够让我们更有效地从语言数据中提取出世界的结构——人们试图传达的意义。”
[相关：Facebook 以 Meta 之名进行的首次尝试之一：教机器人触摸和感知]
另一方面，人工智能系统在特定任务上表现出色，而不是通用任务。然而，当任务变得过于复杂，即使它仍然是特定的，或者“需要整合不同层级的表征来理解世界运作的方式以及是什么促使人们以某种方式思考时，”它们往往会表现不佳，King 说。例如，他指出，一些自然语言处理模型仍然会在语法上遇到障碍。“它们捕捉了许多语法特征，但有时无法在两者之间存在嵌套语法结构的情况下，使主语和动词保持一致。人类在做这类事情方面没有任何问题。”
“语言信息密度高且深度惊人，这是语言的一个显着特征，”King 补充道。这是当今人工智能目前所缺乏的，也可能解释了它们为何总是无法理解我们想表达的意思。拥有对问题的广泛了解，以及理解某些词语或短语的 情感或情境 背景，可能是开发更优秀的自然对话人工智能系统的关键，这些系统有一天可能会为未来的虚拟助手提供动力。
至于自然语言处理模型本身——即真正经过训练以尝试理解语言的软件——Meta AI 的一个独立团队正在构建一个 开源的基于 Transformer 的语言模型套件，拥有数百万甚至数十亿的参数。较小的模型运行能耗较低，但处理复杂文本的能力较弱，准确性也较低。最大的模型拥有 1750 亿个参数，与 GPT-3 等行业其他语言模型规模相当。 该团队还发布了一份相应的 日志，详细介绍了他们如何构建和训练这些模型。
“基于 Transformer 的模型使用一种训练过的机制来表示信息序列，以及一种关注机制，用于确定在数据中关注何处。它是以一种自监督学习的方式进行训练的。所以你隐藏一部分数据，然后预测它，然后揭示它实际是什么，看看你是否正确。如果错误，你就通过你的网络反向传播”来纠正错误，Meta AI 研究实验室总监 Joelle Pineau 解释道。“它不采用额外的上下文，也不使用知识图谱。它只是根据训练数据集，观察语言中词语的分布。”
拥有一个好的语言模型是 聊天机器人、对话代理、机器翻译和文本分类（例如，用于对客户服务问题进行分类）的重要组成部分。“如果你使用的语言模型更丰富，所有这些应用都可以做得更好，”Pineau 说。
与 Google 一样，Meta AI 正在 开源 其语言模型，以获取来自其他研究人员的反馈，包括那些研究这些大型人工智能系统的行为和伦理影响的研究人员。Pineau 希望这将使他们能够使通常像“黑箱”一样的系统更加透明。
在 Meta AI，大脑活动研究和语言模型本身的创建是正在进行的 众多人工智能相关功能 中的两项。其他值得注意的项目侧重于与感知-行动相关的领域，包括计算机视觉、机器人技术 和视频。此外，Meta 正在为 人工智能研究投资超级计算机。尽管 Pineau 表示，目前这些研究课题中的许多仍然是相互独立的，但它们很可能会在元宇宙中发生重叠和融合。
