像 OpenAI 和 Google 提供的这些大型语言模型，众所周知，需要海量训练数据才能工作。这些模型的最新版本已经搜遍了互联网上的大部分内容，这让一些人担心，可能没有足够的新数据来训练未来的迭代版本。行业中一些有影响力的人物，例如 Meta CEO 马克·扎克伯格，提出了解决数据困境的方案：让新的人工智能系统直接在旧的人工智能输出来训练。
但新的研究表明，吞噬过去的模型输出将很快导致一连串人工智能生成的胡言乱语，并最终导致所谓的“模型崩溃”。在一个例子中，研究人员向人工智能输入了一段关于教堂建筑的良性段落，结果它在几代人之后迅速退化。最终的、最“先进”的模型只是不停地重复“黑尾兔”这个短语。
本周发表在《Nature》杂志上的一项研究对这种“AI 训练的 AI”场景进行了测试。研究人员创建了自己的语言模型，并最初向其输入了原创的人类生成文本。然后，他们又创建了九代模型，每一代都基于前一代模型生成的文本输出进行训练。最后一代的最终结果是非实质性的、听起来像超现实主义的胡言乱语，基本上与原始文本无关。研究人员说，随着时间的推移和连续的世代，他们的模型“被自己投射的现实所毒害”。
人工智能模型在训练自身数据时会遗忘意义
研究人员将这种人工智能看似自我崩溃的奇怪现象称为“模型崩溃”，这是一种退化过程，可能表现为早期和晚期形式。在早期阶段，当距离原始训练数据已经数代的人工智能模型似乎忘记了原始文本中的异常值或稀有内容时，崩溃就开始发生。这使得最可能的输出变得越来越普遍。这在现实世界中会是一个问题，因为它可能导致少数观点或表达被剥离。一个显示出早期崩溃迹象的大型语言模型可能会呈现一个缺乏多样性、并且充斥着压倒性单调的现实版本。
在崩溃的后期阶段，情况变得更奇怪了。在这些最后的几代模型中，训练于模型之上的模型与原始训练数据相去甚远，以至于它们开始忘记初始训练的关键方面，完全失去重点。在这个阶段，模型开始生成完全无意义的胡言乱语。研究人员表示，当这种情况发生时，模型的“不加区分”地自我吞噬其自身的先前输出“会导致生成的模型出现不可逆转的缺陷”。
研究人员声称，对于在自身数据上训练的大型模型来说，这种级联效应和最终的模型崩溃是不可避免的。需要注意的是，这项研究专门关注语言模型，并未衡量当图像和视频生成器等多模态模型在自身数据上训练时可能发生的情况。这项研究还侧重于模型在训练自身数据上会发生什么。至于一个模型（例如来自 Meta 的模型）在训练 OpenAI 生成的输出时会发生什么，尚不清楚。
保留人类原创文本可避免崩溃
现实世界中模型崩溃的可能性并非不可思议的假设。目前，无数网站正在运行，其中包含完全由大型语言模型生成的文章和博客帖子。在快速构建新模型的竞赛中，可以想象，这些人工智能生成的垃圾内容中会有很多最终会渗入训练集。
一种可能的解决方案，可以防止无意中将人工智能生成的内容纳入训练集，是鼓励跨平台采用水印标准，清楚地标明内容的真实性和是否由机器生成。Google、Adobe 和大型科技公司正在通过一项特殊的“内容凭证”徽章来尝试做到这一点，他们正努力将其标准化，作为内容来源和真实性联盟（C2PA）的一部分。
但这只适用于图像。人工智能生成的文本也更难有效地添加水印，甚至使用现有的检测软件也难以准确识别。更现实的方法可能需要人工智能开发人员仔细审查材料，寻找人工智能操纵的迹象，并可能付费给信誉良好的人类来源，以获取高质量数据进行训练。如果没有人类训练数据的这些保障措施，互联网就有被人工智能呕吐物淹没的风险。没人想要那样。
