一家提供在线社区点对点聊天支持网络的免费心理健康服务机构正面临审查，此前其联合创始人透露，该公司曾短暂试验过使用 AI 聊天机器人生成响应，但并未告知接收者。尽管他们后来 试图淡化 该项目并强调程序的不足之处，但 批评人士和用户 alike 都对医疗伦理、隐私以及 AI 聊天软件这个令人兴奋但有争议的世界表达了深刻的担忧。
正如《新科学家》周二报道的 New Scientist 所强调的，Koko 大约在七年前由麻省理工学院毕业生 Rob Morris 共同创立，他的官方网站 宣传 该服务是一种创新的在线心理健康支持方法，“人人都可以获得”。其主要服务之一允许客户如社交网络平台安装关键词标记软件，然后连接用户到心理学资源，包括人工聊天门户。Koko 被认为对年轻社交媒体用户尤其有用。
[相关：OpenAI的新聊天机器人提供稳健的对话和更少的偏激言论。]
然而，上周五，Morris 发推文 表示，大约有 4000 名用户“在使用了 GPT-3 的情况下获得了心理健康支持”，GPT-3 是由 OpenAI 开发的流行 AI 聊天机器人程序。尽管用户并非直接与 GPT-3 聊天，但设计了一个“副驾驶”系统，让人工支持人员审查 AI 建议的回复，并根据他们的判断使用。正如《新科学家》也指出的那样，Koko 用户似乎没有收到任何形式的预警，让他们知道他们的心理健康支持可能部分是由聊天机器人生成的。
Morris 在他的推特串中解释说，尽管受众评价 AI 共同创作的回复比仅由人工创作的回复“显著更高”，但他们还是决定迅速取消该程序，并表示一旦人们意识到信息的虚假来源，“它就失效了”。
Morris 写道：“模拟的同情心感觉怪异、空虚。”尽管如此，他对 AI 在心理健康领域潜在的作用表示乐观，并引用了之前的 Woebot 等项目，这些项目从一开始就提醒用户他们将与聊天机器人对话。
[相关：西雅图学校起诉社交媒体公司，指责其导致学生心理健康恶化。]
Morris 对 Koko 实验的描述所引发的后续影响导致了近乎即时的网络强烈反对，迫使 Morris 发表了多次澄清，解释“围绕该实验的‘误解’”。他 上周六写道：“我们并没有在未经用户知情的情况下让他们与 GPT-3 聊天。（事后看来，我本可以更好地措辞我的第一条推文来反映这一点），”他补充说，该功能在可用时是“选择加入”的。
数字权利倡导组织 Fight for the Future 的活动总监 Caitlin Seeley 在给《PopSci》的电子邮件中写道：“很明显，AI 内容创作不会消失，但目前它的发展速度如此之快，以至于人们没有批判性地思考如何最好地使用它。”“透明度必须是 AI 使用的一部分——人们应该知道他们正在阅读或查看的内容是由人类还是计算机创建的，我们应该更深入地了解 AI 程序是如何训练的。”
[相关：苹果推出 AI 有声读物叙述者，但文学界并不满意。]
Seeley 补充说，像 Koko 这样的服务需要“深思熟虑”他们声称提供的服务，并对 AI 在这些服务中的作用保持批判性。“关于 AI 如何被合乎道德地使用，仍然有很多问题，但任何考虑使用它的公司都必须在开始使用 AI 之前问这些问题。”
Morris 似乎听取了批评者的意见，尽管尚不清楚该公司将如何以及未来是否有与聊天 AI 相关的计划。“我们共同关心确保任何 AI 的使用都得到谨慎处理，并深切关注隐私、透明度和风险缓解，”Morris 周末在 Koko 的博客上 写道，并补充说，该公司的临床咨询委员会正在开会讨论未来实验的指导方针，“特别是关于 IRB 批准”。
