据澳大利亚“对话”网站6月7日刊登了一篇题为《人工智能真的发明了自身“秘密语言”吗?》的文章,主要内容编译如下:
新一代人工智能模型可以在文本提示的基础上,按照需求制作出“创造性”图像。诸如Imagen、MidJourney和DALL-E 2等图像生成系统正在开始改变创作内容对版权和知识产权的影响方式。
虽然这些模型的输出往往令人震惊,但是现在还难以确定它们究竟是如何产生结果的。上周,美国研究人员令人饶有兴趣地宣称:DALL-E 2模型或许发明了自身的秘密语言。
通过提示DALL-E 2系统创作包含文本字幕的图像,然后再将由此产生的字幕gibberish(令人费解的胡话)输回系统,研究人员发现:DALL-E 2认为“Vicootes”的意思是“蔬菜”,而“Wa ch zod rea”则是指“鲸可能会吃的海洋动物”。
人工智能(视觉中国)
这些说法令人着迷,如果属实,可能对这种大型人工智能模型产生重要的安全与解读能力影响。那么,真相到底如何呢?
拥有秘密语言?
DALL-E 2可能并无“秘密语言”。或许比较准确的说法是,它拥有自己的词汇,但是即便如此,我们也没把握。
首先,这个阶段,很难证明有关DALL-E 2及其他大型人工智能模型的任何说法,因为只有少数研究人员和创意从业者接触它们。
公开分享的任何图像都应打个折扣,因为它们是由人从人工智能创作的很多图像中“筛选出来的”。
即使是那些接触这些系统的人,也只能有限使用这些模型。比如,DALL-E 2用户可以制作或修改图像,但是(迄今)不能更深入地与人工智能系统互动,比如修改幕后代码。
这意味着不能用“可解释的人工智能”的方法理解这些系统的工作原理,而系统性地研究其行为也非常困难。
一种可能是,“令人费解的胡话”短语与来自非英语的词语有关。比如“Apoploe”,类似于拉丁语“Apodidae”(雨燕科)一词,似乎以Apoploe作提示创作出来的图像都是鸟类。
这似乎是一种合理的解释。比如,DALL-E 2接受大量基于互联网搜索而来的数据的训练,包括很多非英语词语。
类似情况以前也发生过:由于机缘巧合,大型自然语言人工智能模型在没有接受刻意培训的前提下学会了编写计算机代码。
真相扑朔迷离
支持这种理论的一个论点就是如下事实:人工智能语言模型与你我解读文本方式并不相同。相反,它们将输入文本打碎成“令牌”,然后再进行处理。
(资料图片)
不同的“令牌化”方法会产生不同的结果。把每个词当作一个令牌,似乎是一种直觉的方法,但是当相同的令牌有不同的意思时(比如“match”一词,当打网球时以及点火时,就有不同的意思),就会引起麻烦。
另一方面,把每一个字母当作一个令牌,所产生的可能的令牌数量较少,但是每个令牌传递的信息含义都要小得多。
DALL-E 2(及其他模型)使用一种中间方法,称做字节对编码(BPE)。检查某些令人费解的胡话的字节对编码表征可以发现,这可能是理解这种“秘密语言”的重要因素。
这种“秘密语言”也可能只是“垃圾进,垃圾出”原则的一个例子。DALL-E 2不会说“我不知道你在说什么”,因此它总是通过给定的输入文本,产生某种图像。
不管怎样,这些选项都不是完整的解释。比如,从令人费解的胡话中去掉个别字母,似乎会以非常具体的方式破坏已产生的图像。而且,将单个胡话词语组合起来,并不一定产生合乎逻辑的复合图像(如果确实存在秘密“语言”,那是可以的)。
正视现有担忧
除了求知欲,你或许在思考这是否真的重要。
答案是,是的。DALL-E的“秘密语言”是机器学习系统“对抗攻击”的一个例子:一种通过故意选择人工智能无法正确处理的数据输入,打破系统的故意行为。
对抗攻击担心的一个原因是:它们挑战我们对这个模型的信心。如果人工智能以意外方式解读胡言乱语,那么它或许也会以意外方式解读有意义的词。
对抗攻击也提出了安全关切。DALL-E 2对输入文本进行过滤,防止用户产生有害或侵权内容,但是令人费解的胡话“秘密语言”可能会让用户规避这些过滤。
近期研究发现:某些语言人工智能模型的对抗“触发短语”——简短的废话,可能触发模型涌出种族主义、有害或带有偏见的内容。这项研究也是目前正在开展的调研活动,以便理解和控制复杂的深度学习系统如何通过数据进行学习。
最后,DALL-E 2“秘密语言”这种现象引起了解读能力担忧。我们希望这些模型按照人类的预期那样表现,但是看到胡言乱语的结构化输出令我们的预期受挫。
你或许还记得2017年关于脸书网站一些“发明了自身语言的”聊天机器人的喧嚣争论。现在局面有点类似:结果令人担忧,但不是那种“‘天网’即将取代世界”式的担忧。
相反,DALL-E 2的“秘密语言”突出了目前对于深度学习系统的稳健性、安全以及解读能力的担忧。
在这些系统较广泛地应用之前,特别是,在来自非英语文化背景的广泛用户能够应用它们之前,我们确实无法真正了解到底在发生什么。
标签: 人工智能
笔记本质量十大排名十大笔记本电脑品牌?笔记本电脑哪个牌子好?国内十大笔记本电脑排名:1、苹果apple(成立于1976年,是一家高端电脑、音视
对所有音乐艺考生来说,全国11大音乐学院(中央音乐学院、中国音乐学院、上海音乐学院、天津音乐学院、浙江音乐学院、西安音乐学院、武汉音
如同最近一年 DALL-E 2、Stable Diffusion 等文本生成图像模型发展一样,用文本来生成视频的 AI 工具也正变得越来越多。继 Meta 的
成功治疗疾病的关键方法之一,是在整个治疗过程中提供并维持体内药物的适当剂量。过少会降低治疗效率、导致耐药性,而过量则会增加副作用。
如今,人工智能逐渐与声音、视觉等人类感官融合,使人们之间的交流更便捷。但是,将人工智能与人类的触觉融合仍具有挑战性。为解决此项难题
今年 9 月 14 日,(NASDAQ: RUBY,以下简称为Rubius)宣布进行重组和调整资源,称接下来将重点集中在下一代红细胞偶联平台上。官方通稿
短视频平台 (有可能)即将回归。从 2012 年到 2017 年,这款备受喜爱的有趣短视频分享软件在聚光灯下昙花一现,在鼎盛时期被关闭了服务
近年来,免疫检查点抑制疗法等作为治疗癌症的新方法备受关注。然而,当前的免疫检查点抑制疗法仅对约 20%~30% 的癌症患者有效。部分原因
11月6日,2022腾讯科学WE大会十周年如期举行。"十年前,马化腾在首届WE大会上种下一颗种子,希望助力基础科学普及。WE大会历经十年,展现了
在数个版本的更迭之后,iOS 16的稳定性已经有了相当明显的提升,但仍有部分用户遇到了新的Bug。近日,有部分iPhone用户反馈称,自己的手机
乐视将搬新家 乐融大厦由新业主接手
据报道,日前乐视全员还收到了一封辞旧迎新 乐观向前的内部信。内部信前半部分回忆了乐视在乐融大厦的峥嵘岁月,但表示乐视将搬新家。乐视
只拿51%股权!Intel联合财团投资300
成立50多年的Intel公司以往建造晶圆厂都是自己投资,自己掌握工厂生产,然而日前Intel宣布了一种新的模式——联合Brookfield资产管理集团投
咋回事?Chrome新版标签页被指存在广告
近日,有用户发现,在新版本的Chrome中,开启新标签页,在搜索框的下方出现了视频广告的链接。事实上,此前Chrome就曾经在新标签页的搜索框
第二季度:全球市场智能手机和中国市
根据IDC数据,过去的第二季度,全球市场智能手机和中国市场智能手机出货均出现下滑,而在TOP5中唯一双双保持增长的厂商就是苹果。如果这还
Intel确认:将逐步结束Optane存储业
当年把闪存业务卖给SK海力士时,Intel保留了Optane(傲腾)业务的火种,甚至在与美光结束3D Xpoint存储芯片研发和生产时,依然表示会继续开