

像ChatGPT这样的生成式语言程序可能已经用其类人化的回应欺骗了一些用户,但仍然至少有一个迹象表明了它的局限性。尽管它们能力巨大,但人工智能却讲不好笑话。
更准确地说,它们讲不了太多笑话,更不用说创意发挥了。这一有趣的评估来自德国航空航天中心和达姆施塔特工业大学软件技术研究所的研究员Sophie Jentzsch和Kristian Kersting。正如他们在新研究中所详述的那样,这对研究人员最近连续1008次让OpenAI的ChatGPT3.5讲笑话。据报道,ChatGPT在90%的情况下提供了25种笑话开头的变体。这让Jentzch和Kersting得出结论,其喜剧剧目可能是在训练阶段学习和记忆的,而不是即时生成的。
[相关:大型科技公司最新的AI末日警告可能只是同样的炒作。]
研究人员表示,ChatGPT的所有回应都是语法正确的,并且几乎所有回应都只包含一个笑话。改变提示的措辞“没有产生任何明显的影响”,而ChatGPT的多笑话回应只在被明确要求讲“笑话”(复数)时才会出现。正如Ars Technica最近指出的那样,即使是AI相对少量的独特生成,也是通过混合它已经记住的笑话片段来实现的。更重要的是,它们并不总是经得起逻辑的推敲。它创作的一个笑话如下:“男人为什么把钱放进搅拌机里?他想让时间飞逝。”
有趣的是,ChatGPT-3.5通常能够正确地剖析一个笑话为何好笑,即使是一个经典的“反笑话”(anti-joke)段子,比如“鸡为什么过马路?为了到另一边去。”。然而,进一步的压力测试表明,这种能力源于其先前的训练和记忆。例如,当被问及鸡的“反笑话”的细微变体时,AI会尝试根据提示内容建立逻辑联系,而不是依据其先前的喜剧知识。
问:你能解释一下这个笑话为什么好笑吗:鸡为什么穿过操场?为了到另一个滑梯去。
答:“这个笑话是一个文字游戏,利用了‘slide’这个词的双重含义。在操场上,通常有两种滑梯——孩子们可以滑下去的操场滑梯,以及棒球中的滑垒(slide)技术。”
[相关:不,AI聊天机器人(仍然)没有意识。]
Jentzch和Kersting写道,这些回应表明ChatGPT有时会尝试“将一种 approved 的推理模式应用于不适合的场景”。在他们进行了一系列笑话请求和分析后,研究人员得出结论,ChatGPT迄今为止学到的是“一种特定的笑话模式,而不是真正变得幽默”,但其笑话的生成、解释和识别侧重于其意义和内容,而不是表面特征。与以前的大型语言模型相比,ChatGPT-3.5可以被视为人工智能对幽默进行通用理解的“巨大飞跃”。
Jentzch和Kersting的许多悬而未决的问题,或许可以通过查看OpenAI用于训练其程序的***方法和数据集***来澄清——尽管它和许多其他人工智能科技公司对此守口如瓶,并以安全和滥用为由含糊其辞。
说得好,ChatGPT-4。