随着生成式AI程序的迅速普及，许多教育工作者对学生滥用这些系统来代写作业表示担忧。 很快，市面上就出现了许多数字化的“AI检测”工具，其中许多声称能够准确区分原创人类写作和由大型语言模型（LLM）如OpenAI的ChatGPT撰写的文本。但一项新研究表明，这类解决方案可能会给教师和学生带来更多麻烦。 研究人员发现，这些AI检测工具存在严重的偏见，并且在针对非英语母语者时准确性不高。
斯坦福大学的一个团队，由资深作者James Zou领导，他同时也是生物医学数据科学、计算机科学和电气工程的助理教授，最近收集了91篇非英语母语者为流行的英语作为第二语言（TOEFL）测试撰写的文章。 然后，他们将这些文章输入到七个GPT检测程序中。根据Zou的结果，超过一半的写作样本被错误地归类为AI生成，而母语者样本的检测准确率几乎完美。
[相关：Sarah Silverman及其他作者起诉OpenAI和Meta侵犯版权。]
“这引发了一个关键问题：如果人工智能生成的内容可以轻易逃避检测，而人类写的文本却经常被错误分类，那么这些检测器的真实有效性如何？”Zou的团队在周一发表于《Patterns》期刊的论文中问道。
主要问题源于所谓的“文本困惑度”（text perplexity），它指的是一篇作品中创意、令人惊讶的词汇选择的程度。ChatGPT等AI程序被设计用来模拟“低困惑度”，以模仿更普遍的人类语言模式。当然，这对于那些使用可能更标准化、常用句子结构和词汇选择的人来说，会构成潜在问题。“如果你使用常见的英语单词，检测器会给出一个低的困惑度分数，这意味着我的论文很可能被标记为AI生成，”Zou在一份声明中说。“如果你使用复杂和花哨的词语，那么它更有可能被算法归类为‘人类写作’。”
[相关：电台主持人起诉ChatGPT开发商，称其诽谤性言论。]
Zou的团队随后进一步测试了检测程序的参数，他们将那91篇相同的文章输入ChatGPT，然后要求该LLM优化写作。这些经过“更精炼”的编辑随后被重新输入到七个检测程序中——结果是，其中许多文章被重新归类为人类所写。
因此，虽然AI生成的内容通常并不出色，但目前识别它的工具显然也非完美。“目前的检测器太不可靠了，而对学生来说，风险太高了，我们不能在经过严格评估和重大改进之前就对这些技术抱有信心，”Zou最近争辩道。无论他的声明的困惑度评分如何，这是一种难以反驳的观点。
