早在2013年，桑迪普·罗伯特·“鲍勃”·达塔（Sandeep Robert “Bob” Datta）正在他位于波士顿哈佛医学院的神经生物学实验室工作，那时他做出了一个重要的决定，派他的学生亚历克斯·威尔奇科（Alex Wiltschko）去街角的一家百思买。威尔奇科的任务是购买一个Xbox Kinect摄像头，该摄像头旨在捕捉电子游戏（如《舞力全开》和《FIFA》）玩家的身体动作。他花了大约150美元买下了它。这个不起眼的消费电子产品将在未来十年及以后决定该实验室的发展方向。
它还将该团队置于人工智能、神经科学和动物行为交叉领域日益增长的科学运动之中——这个领域有望改变研究人员利用其他生物体来研究人类健康状况的方式。达塔实验室正在学习跟踪小鼠行为的复杂细微之处，并了解哺乳动物大脑产生行为的基础，从而剖析不同健康状况的神经科学，并最终为人类开发新疗法。这一研究领域依赖于所谓的“计算机视觉”来分析动物的视频片段，并检测肉眼无法察觉的行为模式。计算机视觉还可以用于自动检测细胞类型，解决了研究例如癌症和肠道微生物群等复杂组织的研究人员一直面临的问题。
2010年代初，达塔的实验室正在研究嗅觉——“对大多数动物来说最主要的感官”，以及小鼠没有它就无法生存的感官——如何驱动这些啮齿动物对环境变化的反应。传统上，人类观察者会跟踪小鼠的行为并记录他们的观察结果——小鼠因恐惧而冻结的次数、它抬起前腿探索其笼子的频率、它花费多少时间进行梳理、它埋了多少颗弹珠。达塔希望超越肉眼可见的动作，利用摄像机来跟踪和计算啮齿动物是否会避开某种气味（例如，捕食者的尿味），或者被某种气味吸引（例如，玫瑰的香味）。当时可用的工具——跟踪每只动物为一个点的顶视2D摄像头——无法产生足够详细的数据。
“即使在黑暗的区域，没有任何刺激，（小鼠）也会产生令人难以置信的行为动态——而这些动态完全没有被屏幕上跳动的一个点捕捉到，”达塔说。因此，威尔奇科将Xbox Kinect摄像头确定为一个潜在的解决方案。在2010年推出后不久，人们就开始为科学和娱乐目的改造这款硬件。达塔实验室用它来跟踪小鼠是很合适的：它可以在黑暗中使用红外线进行记录（小鼠在黑暗时活动得更多），并且当它安装在上方时，可以通过测量物体与传感器的距离来以3D视角进行观察。这使得达塔的团队能够跟踪受试者在奔跑、抬起或蜷缩时的动作。在分析初步结果时，他们意识到Kinect摄像头记录的动物动作的丰富程度是2D摄像头无法比拟的。
“这让我们想到，如果我们能够以某种方式识别数据中的规律性，我们或许就能识别出动作的模式或模块，”达塔说。即使在没有经过任何复杂分析的情况下，查看Kinect传感器的原始像素计数，即使是压缩的图像文件，他们也开始看到这些规律性。无论是否引入气味，每隔几百毫秒，小鼠就会在不同的运动类型之间切换——抬起、点头、转身。在最初的Kinect测试后的几年里，达塔和他的团队试图开发软件来识别和记录动物用来构成行为的基本动作元素的潜在组成部分。
但他们不断碰壁。
“你可以将数据分成很多很多种方式。我们尝试了很多种，很多种尝试了多年，”达塔回忆道。“我们经历了很多很多次错误的开始。”
他们试图根据视频单帧中动物的姿势对结果进行分类，但这种方法忽略了运动——“让行为变得神奇的东西”，达塔说。因此，他们放弃了这种策略，开始思考构成行为的、持续零点几秒的较小动作，并按顺序分析它们。这是关键：认识到运动既是离散的又是连续的，它由单元组成，但也同样流畅。
于是，他们开始使用能够尊重这种双重性的机器学习工具。2020年，在那个决定命运的百思买之旅七年后，达塔实验室发表了一篇科学论文，描述了该程序，名为MoSeq（“运动序列”的缩写，暗示着基因测序的精确性）。在这篇论文中，他们展示了他们的技术可以识别构成小鼠行为的亚秒级动作，或称之为“音节”，这些动作被串联成序列。通过检测小鼠何时抬起、暂停或快速逃离，Kinect为解码动物行为的“语法”打开了新的可能性。
计算机视觉先驱
在达塔实验室的一个角落里，那里仍然位于哈佛医学院，博士生玛雅·杰伊（Maya Jay）拉开一块黑色的幕布，露出了一个在柔和的红橙色灯光沐浴下的小房间。右边有三个相同的装置，由嵌套在金属框架中的黑色桶组成。每个桶上方悬挂着一个微软Xbox Kinect摄像头，以及一根连接到激光光源的光纤电缆，用于操纵大脑活动。摄像头的深度传感功能是关键所在。杰伊说，虽然典型的数码视频捕捉颜色等信息，但Kinect摄像头生成的图像实际上显示了动物离地面的高度——例如，当它点头或用后腿站立时。
微软于2017年停产了Xbox Kinect摄像头，并且已停止通过软件更新支持该设备。但杰伊说，达塔实验室开发了自己的软件包，因此它不依赖微软来维持摄像头的运行。该实验室还为Azure Kinect运行自己的软件，这是原始Kinect的后续产品，团队也使用了它——尽管它也于2023年停产了。
在MoSeq和其他计算机视觉工具的情况下，运动记录通常与大脑的操纵结合分析，大脑中的感觉和运动功能根植于不同的模块，以及神经活动读数。当大脑回路的干扰，无论是来自实验室中使用的药物还是对小鼠与人类共有基因的编辑，导致行为改变时，就表明两者之间存在联系。这使得研究人员能够确定大脑中的哪些回路与特定类型的行为相关，以及药物是如何作用于这些回路的。
2023年，达塔实验室发表了两篇论文，详细介绍了MoSeq如何为理解生物体的内部连接提供新见解。在一篇论文中，该团队发现，至少在某些情况下，小鼠行为的差异受探索相关大脑回路个体差异的影响更大，而不是性别或繁殖周期。在另一篇论文中，操纵神经递质多巴胺表明，这种与大脑奖励系统相关的化学信使支持自发行为，方式与其影响目标导向行为的方式非常相似。其思想是，微量的多巴胺不断分泌以构建行为，这与人们普遍认为多巴胺是重大奖励的看法相反。研究人员没有将MoSeq与人类观察进行比较，但在另一篇尚未发表的论文中，它表现相当。
这些研究探讨了一些小鼠神经生物学基本原理，但该领域的许多专家表示，MoSeq及类似工具在不久的将来可能会彻底改变动物和人类健康研究。
借助计算机视觉工具，小鼠行为测试的运行时间比人工观察者所需时间要短得多。这项技术出现之际，多种因素正使动物实验受到质疑。美国食品药品监督管理局（FDA）最近改变了药物测试的规定，在人体临床试验的先决条件中考虑动物测试的替代方案。然而，一些专家怀疑，诸如芯片上的器官之类的替代品是否足够先进，能够取代模式生物。但需求是存在的。除了福利和伦理问题，绝大多数临床试验未能显示出对人类的益处，有时甚至会产生危险的、意想不到的副作用，即使在小鼠或其他模型上进行有希望的测试之后。支持者认为，计算机视觉工具可以提高医学研究的质量，并通过比传统观察更灵敏地检测到实验条件下的不适，并记录治疗效果，从而减轻实验动物的痛苦。
进一步激发科学家的兴奋点是，一些人认为计算机视觉工具是衡量光遗传学和化学遗传学效果的手段，这些技术使用工程分子使特定的脑细胞在光和化学物质的刺激下激活。这些生物医学方法在过去十年中彻底改变了神经科学，使科学家能够精确地操纵大脑回路，从而帮助他们研究参与行为和认知过程的特定网络和神经元。“这种第二波行为量化是每个人都错过的硬币的另一半，”宾夕法尼亚大学精神病学助理教授格雷格·科德（Greg Corder）说。其他人也同意，这些计算机视觉工具是跟踪基因编辑在实验室中效果的关键。
“这些技术确实是集成在一起并汇合的，”哈佛医学院的神经生物学家克利福德·伍尔夫（Clifford Woolf）也表示赞同，他自己也在疼痛研究中使用经过监督的计算机视觉工具。
建议成人监督
但是，人工智能是否已经准备好接管跟踪动物行为和解释其含义的任务？它是否已经能够识别行为与神经活动之间的有意义的联系？
这些是监督式和无监督式人工智能模型之间张力核心的问题。机器学习算法以人类难以或不可能的速度和规模发现数据中的模式。无监督机器学习算法识别数据集中的所有模式，而监督式算法则由人类训练来识别特定类别。用小鼠来说，这意味着无监督AI会标记所有独特的动作或行为，而监督式AI只会指出研究人员感兴趣的那些。
无监督方法在小鼠研究中的主要优势在于，人们可能不会注意到发生在亚秒级尺度的动作。“当我们分析行为类型时，我们通常实际上是基于实验者对行为类型的判断，而不是数学聚类，”密歇根大学的神经科学家宾·叶（Bing Ye）说，他的团队开发了LabGym，这是一个用于小鼠和其他动物（包括大鼠和果蝇幼虫）的监督式机器学习工具。他表示，可分析的行为聚类数量也受人类训练者的限制。另一方面，他说，现场专家可能是识别值得注意行为的最有资格的人。因此，他提倡透明度：在任何研究中发布训练数据集，监督式算法学习的分类参数。这样，如果专家不同意工具如何识别行为，公开可用的数据就为科学辩论奠定了坚实的基础。
哥伦比亚大学的神经生物学家、小鼠神经行为核心（Mouse NeuroBehavior Core）——一个小鼠行为测试设施——的主任穆·杨（Mu Yang）博士对在机器被证明可靠之前就信任AI来完成人类工作持谨慎态度。她是一位传统的小鼠行为专家，经过训练，能够用自己的眼睛来识别动物的细微差别。杨知道，啮齿动物表达内部状态（如恐惧）的方式会因其所处的环境而异。这对人类来说也是如此。“无论你在家里……还是在一个陌生城市的黑暗小巷里，你的恐惧行为都会看起来不一样，”杨解释说。换句话说，一只小鼠可能只是停顿一下，或者它可能因恐惧而冻结，但AI可能很难区分。她说，跟踪动物行为的另一个挑战是，给它们测试不同的药物可能会导致它们表现出自然界中未见过的行为。在AI能够被信任来跟踪这些新颖的行为或动作之前，需要对MoSeq等机器学习程序进行验证，以确保它们能够可靠地跟踪传统的、经典的鼠标行为，如梳理。
杨将这种情况比作一位厨师，她说，如果你没有证明自己是一名快餐店厨师，你就无法赢得米其林星。“如果你没见过你做鸡蛋和煎饼，你想说什么鱼子酱和神户牛肉，我还是不知道是否信任你去做。”
至于MoSeq是否能制作鸡蛋和煎饼，“我不知道你怎么会知道，”达塔说。“我们已经阐述了一些我们认为有用的标准。MoSeq达到了这些基准。”
将技术付诸实践
达塔说，有几种方法可以确定基准——衡量无监督AI是否正确或有用地描述动物行为。“一种方法是询问你从（AI）中获得的关于行为的描述内容，是否能够更好地或更差地让你区分出你认为应该发生的[不同]行为模式。”他的团队在第一个大型MoSeq研究中就是这样做的：他们给小鼠喂食不同的药物，并利用药物的预期效果来确定MoSeq是否捕捉到了这些效果。但达塔承认，这是一个相当低的门槛——一个起点。“能够区分高剂量安非他明类药物小鼠和对照组的行为特征的方法非常少。”
他说，这些工具的真正基准将是它们是否能为小鼠大脑如何组织行为提供见解。换句话说，科学上有用的行为描述将能够预测大脑中发生的情况。
生物医学研究非营利组织杰克逊实验室（Jackson Laboratory），这是主要的实验小鼠供应商之一的副教授维韦克·库马尔（Vivek Kumar）说，可解释性——机器学习识别专家可以将其与预期行为联系起来的行为——是监督式算法的一大优势。他的团队使用了这种方法，但他认为在无监督学习*之后*训练监督式分类器是一个很好的折衷方案。无监督学习可以揭示人类观察者可能遗漏的元素，然后监督式分类器可以利用人类的判断和知识来确保算法识别的内容确实有意义。
“它不是魔法”
MoSeq不是第一个或唯一的用于量化动物行为的计算机视觉工具。事实上，随着AI工具变得越来越强大且易于使用，该领域正在蓬勃发展。我们已经提到了宾·叶和LabGym；卡内基梅隆大学埃里克·伊特里（Eric Yttri）的实验室开发了B-SOiD；洛桑联邦理工学院麦肯齐·马西斯（Mackenzie Mathis）的实验室开发了DeepLabCut；杰克逊实验室正在开发（并且已经获得了专利）自己的计算机视觉工具。去年，库马尔及其同事利用机器视觉开发了一种小鼠的衰弱指数，这是一种出了名容易受人为错误影响的评估。
每一个自动化系统都在以自己的方式被证明是强大的。例如，无监督的B-SOiD在未经过训练识别这些基本行为的情况下，识别出了三种主要的小鼠梳理行为。
“这可能是一个好的基准，”杨说。“我想你可以说，就像鸡蛋和煎饼一样。”
DeepLabCut的联合开发者马西斯强调，仔细选择数据源对于充分利用这些工具至关重要。“它不是魔法，”她说。“它会犯错误，而你训练的神经网络跟你给[它们]的数据一样好。”
尽管这些工具的开发者仍在打磨他们的技术，但越来越多的实验室正在积极地在小鼠研究中部署它们，并带着特定的问题和目标。总的来说，长期目标是帮助发现治疗精神和神经系统疾病的药物。
一些人已经体验到了实验运行方面的巨大改进。传统小鼠研究的一个问题是，动物需要完成不自然的任务，比如跑迷宫和进行物体识别测试，这些测试“忽略了行为内在的丰富性，”上海同济大学麻醉学教授李诚说。他的团队发现，将MoSeq对自发性啮齿动物行为的视频与更传统的任务导向行为相结合，可以详细描述小鼠术后谵妄，这是老年人最常见的神经系统中枢手术并发症。
与此同时，LabGym正在范德比尔特大学医学中心的比尔·诺比斯（Bill Nobis）实验室被用于研究癫痫猝死。诺比斯说，在对小鼠癫痫发作的视频进行训练后，该程序“每次”都能检测到它们。
减轻它们的痛苦
计算机视觉也已成为疼痛研究的重要工具，有助于剖析涉及不同类型疼痛的大脑通路，并用新药或现有药物治疗人类疾病。伍尔夫说，尽管FDA在2023年初改变了规定，但完全取消动物测试不太可能，尤其是在开发新药方面。通过检测疼痛的细微行为迹象，计算机视觉工具有望减轻动物的痛苦。“我们可以监测它们的变化，并确保我们没有造成压倒性的、痛苦的局面——我们想要的只是足够能测量的疼痛，”他解释说。“我们通常不会对小鼠做任何我们不会对人类做的事情。”
他的团队使用监督式机器学习来追踪小鼠疼痛的行为特征，并显示药物何时缓解了它们的痛苦，根据2022年发表在《疼痛》杂志上的一篇论文。伍尔夫说，衡量实验动物的疼痛而不是人类的一个问题是，这些生物无法报告它们的痛苦程度。科学界长期以来认为，相对于体重，缓解疼痛所需的药物量在小鼠中远高于人类。但事实证明，如果你的计算机视觉算法能够相对准确地测量感觉——伍尔夫说他的团队的算法可以做到——那么你实际上可以在更可比的剂量下检测到疼痛缓解的迹象，从而可能减少用于进行这项研究的疼痛水平。他说，测量疼痛和评估实验动物的止痛药是如此具有挑战性，以至于大多数大型制药公司已经放弃了这个领域，因为它风险太大、成本太高。“我们希望这种新方法能吸引他们回来。”
科德在宾夕法尼亚大学的实验室也在研究疼痛，但使用无监督的B-SOiD结合DeepLabCut。在未发表的工作中，该团队使用DeepLabCut将小鼠可视化为骨骼火柴人，然后让B-SOiD识别13种不同的与疼痛相关的行为，如舔或咬肢体。科德说，监督式机器学习将有助于使他团队的工作更加可靠，因为B-SOiD需要指导来区分这些行为与例如生殖器舔舐（一种例行的卫生行为）。（B-SOiD的共同创造者伊特里说，监督将包含在他的软件新版本中。）
随着计算机视觉工具的不断发展，它们甚至可能有助于减少研究所需的动物数量，FDA发言人劳伦-杰伊·麦卡锡（Lauren-Jei McCarthy）说。“该机构非常支持通过使用适当验证的技术来替代、减少或改进动物研究。”
如果你建造了它，它们就会来
MoSeq的下一个升级，已经提交给学术期刊并正在审查中，将尝试与科德实验室所做的类似事情：它将结合其无监督方法与关键点检测，这是一种突出物体（如小鼠身体）关键点的计算机视觉方法。这种特定方法使用的是六个Kinect Azure摄像头的装置，而不是达塔实验室经典的Xbox Kinect摄像头装置。
达塔说，这种方法的一个优点是它可以应用于现有的2D视频，这意味着过去实验中所有的PB级（petabytes）存档小鼠数据都可以用于分析，而无需花费运行新小鼠实验的成本。“那将是巨大的，”科德表示赞同。
达塔在列举他团队近年来在人工智能和小鼠行为方面的成就时，他越来越确定。“我们能用MoSeq来识别基因突变体并将它们与野生型区分开吗？——即基因在自然状态下出现的小鼠。这是《自然·神经科学》2020年一篇论文的主题，该论文表明该算法可以准确区分携带与自闭症相关的基因突变的小鼠和具有典型基因的小鼠。“我们能对神经活动做出预测吗？”达塔实验室在今年的多巴胺研究中完成了这一目标。他放弃了科学家典型的含糊其辞，自信地宣称，“这一切都是真的。我认为在这种意义上，MoSeq可以制作鸡蛋和煎饼。”
