上周，伪造的、由AI生成并显示歌手泰勒·斯威夫特进行性行为的图像和视频充斥着X平台（原名Twitter），其中一个帖子据称在被删除前观看次数高达4500万。AI生成的“深度伪造”色情内容泛滥了数天，直到X平台短暂地禁止了搜索该歌手在该平台上的名字，才有所减缓。现在，立法者、倡导者和斯威夫特的粉丝们正利用此次内容审核失败，推动新的法律，明确将传播AI生成的、具有色情性质的深度伪造内容定为犯罪。
泰勒·斯威夫特的深度伪造视频是如何传播的？
许多AI生成的斯威夫特深度伪造视频据报道起源于臭名昭著的厌女症论坛4chan和一个相对不知名的Telegram私人频道。上周，其中一些内容转移到了X平台，并迅速像野火一样传播开来。众多账号向X平台涌入深度伪造内容，以至于搜索“Taylor Swift AI”这个词就会出现相关图像和视频。在某些地区，《The Verge》指出，同样的标签成为了热门话题，进一步放大了深度伪造内容的传播。其中一个帖子据称获得了4500万次观看和24000次转发，之后才被删除。尽管该帖子违反了公司的服务条款，X平台却花了17个小时才将其删除。
X平台尚未立即回应《PopSci》的置评请求。
随着新版深度伪造内容的不断涌现，X平台的内容审核员于周日介入，并阻止了该平台对“Taylor Swift”和“Taylor Swift AI”的搜索结果。据报道，搜索这位流行歌星名字的用户在几天内看到了“发生了一些错误”的错误消息。X平台上周在推文中正式回应了此事，表示正在积极监测情况，并对传播该内容的账号采取“适当行动”。
上周，斯威夫特的庞大粉丝群亲自出马，发布了斯威夫特非性化的图片，并使用了#ProtectTaylorSwift的标签，试图淹没深度伪造内容。其他人则联合起来举报上传色情内容的账号。该平台于周一正式解除了对斯威夫特名字的为期两天的禁令。
X平台业务主管乔·贝纳罗赫（Joe Benarroch）在发给《华尔街日报》的一份声明中表示：“搜索已重新启用，我们将继续警惕任何试图传播此内容的行为，并会将其删除。”
为什么会发生这种情况？
虽然斯威夫特和其他名人的色情深度伪造视频也会出现在其他平台上，但隐私和政策专家表示，X平台在埃隆·马斯克收购后采取的独特放任自流的内容审核方式至少部分导致了此次事件的独特病毒式传播。据报道，截至1月份，自从马斯克掌管X平台以来，X平台已经裁掉了约80%从事信任与安全工作的工程师。
平台主要内容违规防御线的削弱，使得本已困难的内容审核挑战更加严峻，尤其是在用户涌入平台并发布更多可能违规内容的情况下。Meta、Google和Amazon等其他大型科技平台近年来也类似地缩减了各自的信任与安全团队，这让一些人担心未来几个月内可能导致错误信息和深度伪造内容的增加。
X平台的信任与安全工作人员仍然会审查和删除一些违规内容，但自马斯克接管以来，公司已公开更加依赖自动化审核工具来检测这些帖子。据报道，X平台计划今年晚些时候在德克萨斯州奥斯汀市招聘100名新员工，在一个新的“卓越信任与安全中心”工作。即使增加这些员工，信任与安全团队的总人数仍将是裁员前的一小部分。
AI对知名政客和名人的深度伪造模仿加剧了人们对科技被用来传播错误信息或影响选举的担忧，但非双方同意的色情内容仍然是主要的用途。这些图像和视频通常使用不太知名的开源生成AI工具制作，因为像OpenAI的DALL-E等流行模型明确禁止露骨色情内容。AI技术的进步和工具的广泛普及，反过来也导致了网络上色情深度伪造内容的增加。
研究人员在2021年估计，互联网上90%到95%的深度伪造内容都是非双方同意的色情内容，其中绝大多数针对女性。这一趋势没有减缓的迹象。一位最近在接受Wired采访的独立研究员估计，2023年上传的深度伪造色情内容比以往所有年份加起来都多。AI生成的儿童性虐待材料（其中一些是在没有真实人类图像的情况下创建的）据报道也呈上升趋势。
斯威夫特的追随者如何影响科技立法
斯威夫特巨大的文化影响力以及她那特别直言不讳的粉丝群，正在帮助重振多年来旨在制定和通过明确针对非双方同意深度伪造内容的立法工作。在深度伪造材料开始传播的几天里，包括微软CEO萨提亚·纳德拉甚至美国总统拜登的白宫在内的重量级人物都对此事发表了看法，呼吁采取行动。包括纽约州民主党众议员伊维特·克拉克（Yvette Clarke）和新泽西州共和党众议员汤姆·基恩（Tom Kean Jr.）在内的多名国会议员发表声明，推动将非法传播深度伪造色情内容定为犯罪的立法。基恩（Kean Jr.）提出的其中一项法案，名为《防止亲密图像深度伪造法案》（Preventing Deepfakes of Intimate Images Act），可能会在今年进行投票。
深度伪造色情内容和旨在打击它的立法工作并非新鲜事，但斯威夫特突然与该问题联系在一起，可能会起到社会催化剂的作用。2022年，司法部宣布将对Live Master展开反垄断调查，因为其网站在斯威夫特“时代巡演”的预售票需求面前崩溃，当时就出现了类似的现象。这一事件重新点燃了许多音乐迷们对Live Nation及其所谓的垄断行为的长期不满，以至于该公司的高管被迫出席参议院司法委员会听证会，接受他们商业行为的质询。多位议员发表公开声明支持“拆分”Live Nation-Ticketmaster。
这次深度伪造事件是否会引发同样的政治动员，仍有待观察。尽管如此，在斯威夫特深度伪造事件之后，对遏制AI最黑暗用途的法律的兴趣有所增加，这表明拥有文化相关人物的名字与本不为人知的政策追求相结合所产生的力量。这种相关性可以帮助将法案迅速推到议程的前列，否则它们可能会被淹没在幕后。
