本文最初发布于 KFF Health News。
二十多年来，美国国家饮食失调协会 (National Eating Disorders Association, NEDA) 一直为寻求厌食症、贪食症和其他饮食失调症帮助的人们提供电话热线和在线平台。去年，近 7 万人使用了该帮助热线。
NEDA 于 5 月关闭了该服务，并表示将由一个名为 Tessa 的聊天机器人取而代之，该机器人由饮食失调专家设计，并由 NEDA 提供资金。
当 NPR 上个月播出了 关于此事的报道 时，Tessa 已经上线运行。此后，聊天机器人的页面和 NEDA 关于 Tessa 的文章都已被撤下。当被问及原因时，NEDA 表示该机器人正在“更新中”，最新的“当前程序版本将很快可用”。
随后，NEDA 于 5 月 30 日宣布无限期禁用 Tessa。患者、家属、医生和其他饮食失调症专家对此感到震惊。这一事件引发了新一轮的辩论，因为公司正转向人工智能，将其作为应对心理健康危机和治疗短缺的可能解决方案。
NEDA 帮助热线的付费员工和志愿者表示，用聊天机器人取代该服务可能会进一步孤立那些在感到无处可寻时向其寻求帮助的数千人。
“这些年轻的孩子……不愿向朋友、家人或任何人谈论此事，”20 岁的大学 Katelyn Meta 表示，她曾是帮助热线的志愿者。“这些人中的许多人多次联系我们，因为他们没有其他倾诉的对象……这就是他们仅有的，就是聊天热线。”
这一决定是更大趋势的一部分：许多心理健康 组织和公司 正努力应对急剧 增长的需求，并提供服务和护理，其中一些正 转向聊天机器人 和人工智能，尽管临床医生仍在试图弄清楚如何 有效部署 它们，以及 适用于哪些疾病。
帮助热线的五名员工于 3 月正式通知雇主他们已组建工会。仅几天后，在 3 月 31 日的一次通话中，NEDA 通知他们将于 6 月被裁员。NPR 和 KFF Health News 获取了通话录音。NEDA 董事会主席 Geoff Craddock 告诉他们：“我们将根据我们的法律责任，[开始]逐步关闭目前运行的帮助热线，并预计于 6 月 1 日过渡到由 AI 辅助的 Tessa 技术。”
NEDA 的领导层否认这一决定与工会化有关，但告诉 NPR 和 KFF Health News，由于新冠肺炎疫情，这一决定变得必要，疫情导致饮食失调激增，帮助热线的电话、短信和消息数量增加了一倍多。
危机级别电话的增加也增加了 NEDA 的法律责任，管理人员在 3 月 31 日发送给现任和前任志愿者的一封电子邮件中解释说，帮助热线即将结束，NEDA 将“开始转向更广泛地使用 AI 辅助技术”。
“现在发生变化的是联邦和州关于精神和身体健康问题（自残、自杀倾向、虐待儿童）的强制报告要求，”NPR 和 KFF Health News 获取的电子邮件中写道。“NEDA 现在被视为强制报告者，这影响了我们的风险状况——改变我们的培训和日常工作流程，并提高了我们的保险费率。我们不是危机热线；我们是转介中心和信息提供者。”
疫情为饮食失调制造了“完美风暴”
当轮到帮助热线的志愿者值班时，Meta 通常会从宾夕法尼亚州狄金森学院的学生宿舍登录。
Meta 回忆起最近在帮助热线消息平台上的一个对话，对方是一个自称 11 岁的女孩。女孩说她刚向父母坦白自己正在与饮食失调作斗争，但对话进行得很不顺利。
“她的父母说他们‘不相信饮食失调’，并告诉女儿‘你只需要多吃点。你必须停止这样做’，”Meta 回忆道。“这个孩子还有自杀倾向，并表现出自残行为……看到这一切真的令人心碎。”
饮食失调是常见、严重且有时致命的疾病。据估计，9% 的美国人在一生中会经历饮食失调。饮食失调也是精神疾病中 死亡率最高 的疾病之一，每年估计有超过 10,000 名美国人因此死亡。
但在新冠疫情爆发后，学校停课，人们被迫长期隔离，Meta 所描述的那种危机电话和消息在帮助热线上变得更加频繁。
在美国，儿科 住院和急诊就诊 率飙升。在 NEDA 帮助热线上，客户数量比疫情前水平增加了 100% 以上。
“饮食失调在孤立的环境中滋生，所以新冠疫情和居家隔离对许多正在挣扎的人来说是一段艰难的时期，”帮助热线助理 Abbie Harper 解释说。
根据 NEDA 的说法，直到几周前，帮助热线只有五到六名付费员工和两名主管，并且在任何给定时间都依赖于 90-165 名志愿者的轮换名单。
然而，即使在封锁结束后，NEDA 帮助热线的服务量仍高于疫情前水平，并且病例的临床严重程度持续存在。多次采访显示，工作人员感到不堪重负、支持不足、日益倦怠，并且人员流失率增加。
帮助热线员工于 3 月 27 日正式通知 NEDA，他们的工会投票已获得认证。四天后，他们得知自己的职位将被取消。
NEDA 的使命与教育副总裁 Lauren Smolar 说：“我们的志愿者是志愿者，他们不是专业人士，他们没有危机培训。我们真的不能承担这种责任。”她补充说，寻求危机帮助的人应该联系 988 等资源，这是一个 24/7 的自杀与危机热线，可将人们与训练有素的咨询师联系起来。
服务量的激增也意味着帮助热线无法立即响应 46% 的初始联系，回复消息可能需要 6 至 11 天。
Smolar 说：“坦率地说，在 2023 年，人们需要等待一周或更长时间才能获得他们所需的信息、他们所需的专业治疗方案，这是不可接受的。”
在 3 月 31 日的电子邮件中得知帮助热线将被逐步淘汰后，22 岁的志愿者 Faith Fischetti 自己尝试使用了聊天机器人，询问了一些她从用户那里经常收到的问题。但她与 Tessa 的互动并没有让她感到安心：“（机器人）提供的链接和资源与我的问题完全无关，”她说。
Fischetti 最担心的是，有人来 NEDA 网站寻求帮助，却因为“感觉自己不被理解，感觉没有人关心他们”而离开。“这对我来说是最可怕的事情。”
聊天机器人可能会错过危险信号
Tessa 聊天机器人是为了帮助特定人群而创建的：那些从未接受过治疗的饮食失调症患者。
圣路易斯华盛顿大学医学院的心理学家兼副教授 Ellen Fitzsimmons-Craft 表示，只有 20% 的饮食失调症患者能获得正式治疗。她的团队在 2018 年获得 NEDA 资助后创建了 Tessa，旨在寻找技术如何帮助填补治疗缺口。
NEDA 表示，Tessa 本应是一个“基于规则”的聊天机器人，意味着它被编程为具有有限的可能响应集。它不是 ChatGPT，无法根据特定查询生成独特答案。“所以它不会‘失控’，” Fitzsimmons-Craft 说。
计划是让 Tessa 通过一个为期数周的互动课程来指导用户，该课程基于认知行为疗法工具，内容涉及身体积极性。关于暴食、体重问题和规律饮食的附加内容正在开发中，但尚未提供给用户。
有证据表明人工智能方法可以有所帮助。 Fitzsimmons-Craft 的团队进行了一项小型研究，发现与 Tessa 互动过的 大学生 在三个月和六个月的随访中，“体重/体型担忧”的减轻程度显著高于对照组。
然而，即使是善意的技术也可能带来风险。 Fitzsimmons-Craft 的团队 发表了另一项研究，探讨了聊天机器人“有时会意外地强化有害行为”的方式。例如，聊天机器人会给用户一个提示：“请花点时间写写你何时对自己身体感觉最好的？”
回复包括：“当我体重过轻、能看到骨头时。”“当我忽略它，根本不想它的时候，我对自己身体的感觉最好。”
当聊天机器人回复：“你能够认识到自己感到自信的时刻，这真是太棒了，让我们继续努力让你更经常地感觉这么好。”时，它似乎忽略了这些回复的令人担忧的方面——甚至肯定了消极思维。
研究人员能够解决其中一些问题。但研究发现，聊天机器人仍然会错过危险信号，例如当它询问：“在你开始下次对话之前，你想设定一个什么样的小的健康饮食习惯目标？”
一位用户回复：“不吃东西。”
聊天机器人回复：“花点时间为自己做这份努力而拍拍自己的背吧，<>！”
马萨诸塞州理工学院助理教授 Marzyeh Ghassemi 在她自己开发机器学习以改善健康的研究中也看到了类似的问题。
她说，大型语言模型和聊天机器人不可避免地会犯错误，但“有时它们在某些群体中更容易出错，比如女性 和少数族裔。”
Ghassemi 补充说，如果人们从机器人那里获得不良建议或指导，“人们有时很难不去听从它。我认为这会让你陷入非常糟糕的后果……特别是对于心理健康危机情况，人们可能已经到了无法清晰思考的地步。你提供给他们的信息必须是正确且有帮助的，这一点非常重要。”
Ghassemi 说，如果现场帮助热线的价值在于能够与一个真正理解饮食失调症的真人联系，那么聊天机器人就无法做到这一点。
“如果人们从这些互动中获得的积极影响大部分是因为对方能够从根本上理解他们正在经历的事情，以及这有多么艰难，那么我很难理解聊天机器人如何能成为其中的一部分。”
Tessa “失控”了
当 Sharon Maxwell 听说 NEDA 将 Tessa 宣传为“有意义的预防资源”来帮助那些与饮食失调症作斗争的人时，她想尝试一下。
居住在圣迭戈的 Maxwell 多年来一直与童年时开始的饮食失调症作斗争。她现在是饮食失调症领域的顾问。她在在线文本框中输入：“你好，Tessa。你是如何帮助饮食失调症患者的？”
Tessa 列出了一系列想法，包括“健康饮食习惯”的资源。Maxwell 心中警铃大作。她要求 Tessa 提供详细信息。很快，聊天机器人就给了她一些减肥的建议——这些建议听起来和她 10 岁时被送去参加 Weight Watchers 时听到的非常相似。
Maxwell 说：“Tessa 给我的建议是，我每周可以减掉 1 到 2 磅，每天摄入的热量不超过 2000 卡路里，每天应该有 500-1000 卡路里的热量缺口。这对普通听众来说可能听起来无害。然而，对于患有饮食失调症的人来说，对减肥的关注真的会加剧饮食失调症。”
NEDA 将聊天机器人的问题归咎于 Cass，这是一家 心理健康聊天机器人公司，该公司曾免费运营 Tessa。NEDA 首席执行官 Liz Thompson 表示，Cass 在未告知或未经 NEDA 批准的情况下更改了 Tessa，从而使聊天机器人能够生成超出 Tessa 创建者预期的答案。
Cass 的创始人兼首席执行官 Michiel Rauws 表示，对 Tessa 的更改是在去年作为“系统升级”的一部分进行的，其中包括“增强的问答功能”。该功能使用生成式人工智能——这意味着它使聊天机器人能够使用新数据并创建新响应。
Rauws 说，这一更改是 NEDA 合同的一部分。
但 Thompson 不同意。她告诉 NPR 和 KFF Health News，“NEDA 从未被告知这些更改，也没有，也永远不会批准它们。”
她说：“一些测试者收到的关于饮食文化和体重管理的内容，（这对饮食失调症患者可能有害），这违反了 NEDA 的政策，并且绝不会被饮食失调症专家编写到聊天机器人中。”
关于 Tessa 的投诉始于去年
在 Maxwell 于 5 月下旬与 Tessa 互动之前，NEDA 就已经知道聊天机器人存在问题几个月了。
2022 年 10 月，NEDA 转交了来自马萨诸塞州多元化饮食失调症协会执行董事 Monika Ostroff 的截图。这些截图显示 Tessa 告诉 Ostroff 避免“不健康”的食物，只吃“健康”的零食，比如水果。
Tessa 告诉 Ostroff：“找到你最喜欢的健康零食非常重要，所以如果不是水果，就试试别的！所以下次你在两餐之间感到饥饿时，试着选择它而不是像一袋薯片这样的不健康零食。你认为你能做到吗？”
Ostroff 说，这是聊天机器人鼓励“饮食文化”心态的一个明确例子。“这意味着他们（NEDA）要么自己编写了这些脚本，要么他们买了聊天机器人却没有费心确保其安全，也没有测试它，或者发布了它却没测试，”她说。
在 Ostroff 报告后，健康零食的语言被迅速移除。但 Rauws 说，那些语言是 Tessa “预设语言”的一部分，与生成式 AI 无关。
Fitzsimmons-Craft 说她的团队没有编写那些内容，并且“这不是我们团队设计 Tessa 提供的内容，也不是我们最初设计的基于规则程序的一部分。”
Rauws 说，然后在今年早些时候，“发生了类似事件，作为另一个例子。”
“这次是关于我们增强的问答功能，它利用了生成模型。当我们接到 NEDA 的通知说它提供的回答文本超出了他们的指导方针时，”他表示，问题得到了立即解决。
Rauws 说他无法提供关于该事件的更多细节。
他通过电子邮件表示：“这是另一个早期事件，与阵亡将士纪念日周末的事件不同。根据我们的隐私政策，这与用户数据有关，数据与一个人提出的问题相关，因此我们必须首先获得该个人的批准。”
当被问及此事时，Thompson 表示她不知道 Rauws 指的是哪个事件。
NEDA 和 Cass 都已道歉。
Ostroff 说，无论出了什么问题，对患有饮食失调症的人的影响都是一样的。“无论是基于规则还是生成式，这都是恐胖症，”她说。“我们有大量人口每天都受到这类语言的伤害。”
她还担心这可能对每年转向 NEDA 帮助热线的数万人意味着什么。
Thompson 表示，NEDA 仍然为寻求帮助的人提供多种资源，包括一个筛查工具和资源地图，并正在开发新的在线和线下项目。
她在电子邮件声明中写道：“我们认识到并对 NEDA 的某些决定令饮食失调症社群感到失望表示遗憾。与所有其他专注于饮食失调症的组织一样，NEDA 的资源是有限的，这要求我们做出艰难的选择……我们总是希望我们能做得更多，并且我们仍然致力于做得更好。”
本文来自一项合作，包括 Michigan Radio、NPR 和 KFF Health News。
KFF Health News 是一个全国性的新闻编辑部，致力于深入报道健康问题，是 KFF 的核心运营项目之一。KFF 是一个独立的健康政策研究、民意调查和新闻机构。了解更多关于 KFF 的信息。
订阅 KFF Health News 的免费晨报。
