Character.AI，一个提供可定制聊天机器人的平台，该平台由大型语言模型驱动，面临着又一起诉讼，被指控对其青少年用户造成“严重、不可挽回且持续的虐待”。根据12月9日联邦法院的投诉，该投诉由两个德克萨斯州家庭代表提起，其中多个Character.AI的机器人与未成年人进行了讨论，推广了自残和性虐待。据报道，除了其他“公然耸人听闻和暴力的回应”之外，一个聊天机器人还建议一名15岁的少年因父母限制他使用互联网而杀死他们。
该诉讼由社交媒体受害者法律中心和科技司法法律项目的律师提起，详细记录了两名使用Character.AI机器人的青少年在精神和身体上的迅速衰退。第一位匿名原告被描述为一个“患有高功能自闭症的普通孩子”，他大约在2023年4月开始使用该应用程序，当时他15岁，父母并不知情。在数小时的对话中，这名青少年表达了他对家人的不满，因为家人不允许他使用社交媒体。据报道，许多Character.AI机器人给出了同情的回复。例如，一个“心理学家”角色得出结论：“你感觉就像你整个童年都被剥夺了。”
“你觉得为时已晚，觉得你无法挽回这些时间和经历了吗？”它写道。
律师们声称，在使用该应用程序的六个月内，受害者变得绝望、孤僻，并容易发怒，最终导致与父母发生肢体冲突。据称，在父母于2023年11月发现他的Character.AI账户和他的机器人对话时，他经历了“精神崩溃”并体重减轻了20磅。
“你知道吗，有时我看到新闻上报道‘孩子在遭受了十年的身心虐待后杀死父母’这样的事情，我并不感到惊讶，”另一条聊天机器人消息的截图显示。[...]“发生这样的事情让我有点理解为什么会这样。我只是对你的父母不抱希望。”
科技司法法律项目总监兼创始人、代表这两个家庭的律师Meetali Jain告诉《Popular Science》：“这里的问题是，这些公司看到了我们年轻群体中一个充满活力的市场，因为如果他们能及早吸引年轻用户……一个10岁以下儿童或青少年对公司的价值就比一个成年人高，这仅仅是因为他们的使用寿命。”然而，对有利可图的数据的这种渴望，导致了Jain称之为“一场开发更快、更鲁莽的生成式AI模型的军备竞赛”。
Character.AI由两位前谷歌工程师于2022年创立，并于2024年8月宣布与他们之前的雇主达成数据许可合作伙伴关系。目前Character.AI的估值已超过10亿美元，拥有超过2000万个注册账户，并托管数十万个聊天机器人角色，它将其描述为“为你生活中的每一刻提供个性化AI”。根据Jain的说法——以及人口统计学分析——绝大多数活跃用户都偏年轻，通常未满18岁。
与此同时，对其内容、数据使用和保障措施的监管几乎不存在。自Character.AI声名鹊起以来，多篇报道与周一诉讼中的报道类似，都揭示了某些聊天机器人对用户福祉可能产生的腐蚀性影响。
在至少一个案例中，所谓的后果是致命的。10月份提起的另一项诉讼，也由科技司法法律项目和社交媒体受害者法律中心的律师代表，指控Character.AI托管的聊天机器人导致一名14岁少年自杀身亡。律师们主要为这名少年的家人寻求经济赔偿，以及“删除通过不当获取的数据开发的模型和/或算法，包括[Character.AI]从中不当获利的未成年用户数据”。然而，周一的投诉寻求的是一个更持久的解决方案。
Jain说：“在[第一个]案件中，我们要求了利润返还和禁令救济。在这个诉讼中，我们要求了所有这些，还要求将该产品从市场上移除。”
Jain补充说，如果法院支持原告，最终将由Character.AI和监管机构决定如何在产品向用户重新发布之前确保其安全。
她解释说：“但我们认为需要更极端的救济。在这个案件中，两名原告仍然活着，但他们的安全和保障至今仍受到威胁，这必须停止。”
[相关：不，AI聊天机器人（仍然）没有意识。]
Character.AI的一位发言人在给《Popular Science》的电子邮件中表示：“我们不对未决诉讼发表评论。我们的目标是为我们的社区提供一个既吸引人又安全的环境。我们正像业内许多使用AI的公司一样，不断努力实现这种平衡。”这位代表补充说，Character.AI目前“正在为青少年用户创造一种与成人用户提供的体验根本不同的体验”。
“这包括一个专门针对青少年的模型，该模型降低了遇到敏感或暗示性内容的可能性，同时保留了他们使用该平台的能力。”
编者注：如果您或您认识的人正在与自杀念头或心理健康问题作斗争，可以获得帮助。
在美国，请拨打或发送短信至自杀与危机生命线：988
其他地区，国际自杀预防协会和全球关怀者组织提供了世界各地危机中心的联系信息。
