

二月,一篇荒谬的、由人工智能生成的“大鼠阴茎”不知怎么地溜进了一篇已被撤稿的《细胞与发育生物学前沿》文章。现在,这件奇怪的丑闻似乎可能只是一个尤为引人注目的例子,反映了科学文献中一个更持久的问题。期刊们正面临一个十字路口,如何最好地应对研究人员利用流行但事实上有疑问的生成式人工智能工具来起草稿件或生成图像。检测人工智能使用的证据并非总是容易,但本周来自404 Media的一份新报告显示,有几十篇似乎部分由人工智能生成的已发表文章隐藏在公众视线之中。关键的破绽是什么?那些常见、由计算机生成的行话。
404 Media在谷歌学术公开数据库中搜索了人工智能生成的短语“根据我最后的知识更新”,据报道发现有115篇不同的文章似乎依赖于复制粘贴的人工智能模型输出。这句话是大型语言模型(如OpenAI的ChatGPT)经常生成的短语之一。在这种情况下,“知识更新”指的是模型参考数据的更新时间。其他常见的生成式人工智能短语包括“作为一个人工智能语言模型”和“重新生成响应”。在学术文献之外,这些人工智能的痕迹已经散布在亚马逊产品评论以及各大社交媒体平台上。
404 Media引用的几篇论文似乎将人工智能文本直接复制到同行评审的论文中,声称解释量子纠缠和锂金属电池性能等复杂研究课题。本周末,在X(前身为Twitter)上分享的还有其他一些期刊文章的例子,其中似乎包含常见的生成式人工智能短语“我无法访问实时数据”。至少一些PopSci审查的例子确实似乎与人工智能模型的研究有关。换句话说,在这些情况下,人工智能的言论是研究内容的一部分。
尽管其中一些短语出现在声誉良好、广为人知的期刊中,但404 Media声称它发现的大多数例子都源自一些小型、所谓的“论文工厂”,这些工厂专门以高价快速发表论文,通常缺乏科学审查或严谨的同行评审。研究人员声称,这些论文工厂的泛滥在近年来加剧了虚假或剽窃的学术成果。
不可靠的人工智能生成声明可能导致更多撤稿
近期在期刊文章中出现人工智能生成文本的例子,正值整体撤稿数量上升之际。近期Nature对去年发表的研究论文的分析发现,撤稿数量超过10,000篇,是迄今为止测量到的最多的一年。尽管其中大部分案例与人工智能生成内容无关,但多年来,研究人员一直担心,这些工具的使用增加可能会导致更多虚假或误导性内容在同行评审过程中被忽略。在令人尴尬的大鼠阴茎案例中,令人费解的图像和人工智能生成的无意义标签,如“dissiliced”和“testtomcels”,设法在多名审稿人那里被忽略或未被报告。
有充分理由相信,包含人工智能生成文本的投稿文章可能会变得更加普遍。早在2014年,IEEE和Springer期刊就撤销了120多篇包含无意义人工智能生成语言的文章。此后十年,期刊中人工智能生成文本的普遍性几乎肯定有所增加,因为像OpenAI的ChatGPT这样更复杂、更易于使用的工具得到了更广泛的应用。
2023年,Nature对科学家进行的一项调查发现,1600名受访者(约占受访者的30%)承认使用人工智能工具来帮助他们撰写稿件。虽然“作为一个AI算法”这样的短语是暴露句子来源的大型语言模型(LLM)的明显线索,但许多其他更微妙的技术使用则更难根除。用于识别人工智能生成文本的检测模型已被证明效果不佳。
支持在某些情况下允许人工智能生成文本的人认为,这可以帮助非母语人士更清晰地表达自己,并可能降低语言障碍。另一些人则认为,如果负责任地使用,这些工具可以加快出版时间并提高整体效率。但是,发布这些模型生成的不准确数据或捏造的发现可能会长期损害期刊的声誉。最近发表在Current Osteoporosis Reports上的一篇比较人类撰写和ChatGPT生成的综述文章的论文发现,人工智能生成的例子通常更容易阅读。同时,人工智能生成的报告也充满了不准确的参考文献。
印第安纳大学医学院教授、论文作者Melissa Kacena在最近接受Time杂志采访时表示:“说实话,ChatGPT用它编造的一些虚假陈述非常令人信服。它使用了正确的语法,并将它们整合到段落中的正确陈述里,所以有时没有任何警示信号。”
期刊应就生成式人工智能达成通用标准
主要出版商在是否允许人工智能生成文本这一点上仍然没有统一意见。自2022年以来,Science期刊已严格禁止使用未经编辑首先接受的人工智能生成文本或图像。另一方面,Nature去年发布声明,表示将不允许其期刊使用人工智能生成的图像或视频,但在某些情况下允许人工智能生成文本。JAMA目前允许人工智能生成文本,但要求研究人员披露何时使用以及使用了哪些具体模型。
这些政策分歧可能会给提交作品的研究人员和负责审查作品的审稿人带来不必要的困惑。研究人员已经有动力利用现有工具来帮助快速发表文章并增加他们的整体发表作品数量。大型期刊就人工智能生成内容达成一致的标准,将为研究人员设定明确的界限。大型成熟期刊还可以通过在某些技术使用方面划定明确界限,或在涉及事实声明的情况下完全禁止,来进一步将自己与不太正规的论文工厂区分开来。