昨天,马克·扎克伯格宣布,Facebook将招聘3000名员工加入其社群运营团队,负责审核用户举报的图片、视频和帖子。这些新招聘的员工将加入现有4500名员工的行列,共同努力,以最小化未来像罗伯特·古德温枪击案这样的事件的传播范围。这对Facebook来说是一笔可观但必不可少的投资,但这引出了一个基本问题:这项工作能否实现自动化?
这项劳动规模庞大:Facebook招聘的人数超过了《纽约时报》、《华尔街日报》和《华盛顿邮报》新闻编辑部人员的总和。Facebook目前未透露这些职位是雇员还是合同工,也不确定是在美国还是海外工作。(好奇这项工作是什么样的吗?可以阅读Adrien Chen在2014年关于内容审核的深入报道,或者观看这个关于审核过程的视频)
Facebook首席执行官扎克伯格写道:“这些审核员还将帮助我们更好地删除Facebook上不允许的内容,如仇恨言论和儿童剥削。”“我们将继续与当地社区团体和执法部门合作,他们最有能力在用户需要时提供帮助——无论是他们即将伤害自己,还是他们正面临来自他人的危险。”(强调部分为原文添加)
这里的潜台词是4月16日发生在克利夫兰的罗伯特·古德温谋杀案。根据Facebook发布的时间线,4月16日下午2:09(美国东部时间),一名男子上传了一个视频,声称其杀人意图。两分钟后,该男子上传了枪杀古德温的视频。此后不久,嫌疑人在Facebook上进行了五分钟的直播。枪击视频在下午4点被举报,到下午4:22,Facebook暂停了枪手的账号,并移除了他的视频。从首次发布到账号被暂停,仅过了两个多小时,但Facebook的普及性和这起谋杀案的恐怖性质使其成为了全国性新闻。
Facebook在内容上传时会预先审查某些内容。该公司使用自动化系统来查找第二次上传的、之前已被移除的裸照和色情图片。该社交网络还使用PhotoDNA,一个将图片与已知的儿童剥削图片标记数据库进行交叉引用的工具,以便阻止这些图片并向相关法律机构报告。在这两种情况下,自动化都是针对已知数量的检查。
在这个过程中,大多数自动化都是辅助人工内容审核员进行手动执法。如果一段内容被举报了1000次,工具会识别出重复举报,因此只需要手动审核一次。其他工具会将图片、帖子或视频分发给具有特定专业知识的审核员;例如,一个会说阿拉伯语的人可以审核来自叙利亚的极端组织中可能违反Facebook服务条款的标记内容。
然而,最终决定权在于人类的判断能力,以及理解语境的能力。为了确定一个评论是否含有仇恨或欺凌内容,Facebook依赖于真人。特别是在Facebook直播方面,有一个专门的团队负责监控直播视频的举报;该团队会自动监控任何达到某个未公开流行度阈值的直播视频。
Facebook正在让AI在某一个领域发挥更积极的作用。3月份,该网络推出了一项防止自杀的AI工具,能够识别可能表明有自杀念头的帖子。BuzzFeed报道称,该AI可以扫描帖子和评论,查找与之前需要处理的帖子相似之处。在极少数情况下,它会直接通知审核员,但更多时候是向用户展示自杀预防工具,例如求助热线的号码。此外,AI会为用户的朋友创建一个更显眼的举报自残内容的按钮,增加他们向Facebook人工审核员举报视频的可能性。(该公司拒绝就此故事发表评论。)
人工审核的直接替代方案很可能是预防性审查。
耶鲁大学信息社会项目研究员凯特·克洛尼克说:“我们想要一个更受审查的Facebook吗?”“当你建立一个过于强大的系统时,就有可能出现人员培训不当,导致出现更多误报,更多审查。”
克洛尼克的研究侧重于Facebook和其他平台作为在线言论的治理系统。克洛尼克认为,Facebook必须主动选择如何管理发布和保留的内容,没有任何算法“灵丹妙药”可以将这个问题从言论问题转化为纯粹的技术挑战。
克洛尼克说:“我们还需要很多年才能拥有能够解决这些复杂决策问题的AI。”“这不仅仅是图像识别,而是在图像识别的基础上进行决策,再在此基础上进行分类——这些都是非常困难的认知问题,我们离可靠地解决它们还很遥远。”
图像识别的挑战在计算机编程领域是如此标志性,以至于它本身就成了一个寓言。1966年,麻省理工学院的西摩·帕普特提出了一个他认为会是一个简单的夏季项目:训练一台计算机识别物体。然而,这个训练计算机识别物体的领域并未在一个夏天内完成,而是成为了一项艰巨的任务,并持续至今,像谷歌和Facebook这样的公司投入了大量资金和时间来研究解决方案。
克洛尼克说:“在可预见的未来,这既不是一个AI问题,也不是一个AI解决方案。”