论，AI的胡说八道

如果你在这一年里热衷于跟随潮流，把玩过各种大模型AI对话产品，那十有八九，你的乐趣和吐槽都会集中在一个现象：它怎么总是这么能胡说八道！

关羽会点穴，宋江字武松，八戒黛玉结拜兄弟……你觉得还算逗吧；可要是这毛病要是出现在严肃的专业领域呢？一则胡编的安眠药服用指南？一条杜撰的恐怖袭击新闻？（是的，这些例子都曾真的出现过）

大模型满嘴跑火车（应该是“满屏”？），这有个学名，叫“幻觉（Hallucination）”。

“幻觉”不是AI的专利——鲁迅没说过

作为人类，挺容易理解这个词：年入千万迎娶白富美；别人问身高永远一米九；对面工位的小姐姐总冲着你飞眼儿……（我有一个朋友，他就经常出现这些幻觉）

基本上，AI的幻觉和人的幻觉成因差不多，无非：

1. 本性流露

2. 不懂装懂

3. 自我认知偏差

4. 喝多了

“您丫贵姓？”

一个普遍的共识是：“幻觉”来自（至少是这一代）大模型原理本身。

想象你有一个从未接受过中文学习的朋友，没有任何资料为他解释任何词义和背景——哥们唯一认知中文的方法就是不借助任何意义的生硬模仿和自我猜测。

有一天，闲得难受的你去挑战这个哥们：请你用一句地道的老北京话来跟我打招呼问好。（是不是很像你平日里调戏大模型聊天机器的嘴脸？）

于是，这哥们开始了认真的计算和思索：首先，老北京是吧，打招呼得用“您”开头，客气嘛；然后他开始满脑子搜索遇到的胡同大爷语录，既然不知道意义，就从“打招呼”这个场景下随机找一个吧，在“吃了么您内？”和“溜达去啊？”等等之中，他选择了“贵姓”，简短而有节奏感；这时候反过来再读一遍，似乎差点什么能加强语气、显得更自然的东西，那就在“您”后面润色个“丫”吧，他谦卑又得意地想到，“我在大街上经常听他们这么说”，肯定地道！

再于是……

基本可以这么粗暴地理解大模型生成自然语言的原理：按照被训练数据集，权衡概率和各种场景（通常由你提问中击中的提示词来决定），一个接一个的猜字（没错，就是你看到的各种GPT对话框里一个一个蹦字的样子），同步也会有一些交叉比对和优化——AI们并不真的“懂”文字背后的意义，它们只是模仿。

因此，“幻觉”就是这一代大模型不可分的一部分。被称为“AI三巨头”之一的Meta首席科学家Yann LeCun就曾说过“‘幻觉’可能是大语言模型的固有特性……它们没有真实世界的经历，而这才正是语言的根基……”

换而言之，很多人会将“幻觉”与“创造性”当作当前大模型的一体双面。

“大明白”们错在了哪？

在一些关于大模型“幻觉”问题的论文当中，普遍会将“幻觉”划分为“信息冲突（Intrinsic Hallucination）”和“无中生有（Extrinsic Hallucination）”两类——根据腾讯混元大模型相关技术负责人的介绍：一种可以理解为“有源”，就是大模型输出的东西和你输入给他的信息不符；另一种可理解为“无源”，就是大模型编造了一些和事实不符、和现实世界不符的胡话。

这里面，导致“大明白”养成的，主要集中在了训练集里的“数据清洗”，以及一个名为“对齐（Alignment）”的环节。

还是说回你那位不懂中文、刚被你一顿暴锤的朋友。他终于学会了中文，代价除了鼻青脸肿，还有多了个“信心爆棚”新毛病。他开始喜欢跟你用流利的中文吹嘘自己的博学，各种知识信手拈来，你问他什么他都懂，从二战风云到隋唐演义，从室温超导到抗癌新药……直到你发现，他的这些知识都来自于各种社交媒体短视频和相亲相爱一家群。

这就是在原始数据集出了问题，修正办法有两种，一是让他多看果壳，增大这部分靠谱信息来源的比例；二是同时降低他之前那些不良信息渠道的比重，并且“标注”或“清洗”掉其中可疑和完全不可信的成分。

相比数据清洗，“对齐”是一个更加宽泛的概念。你也许曾在很多“互联网黑话词典”中频繁地看到过这个词，但这里的意义有所不同。技术专家给出了一个更浅显易懂的解释：所谓“对齐”，就是让大模型能够理解人的指令，能够和人的认知和需求对应起来，“对齐”就是这一系列技术动作的总称。

“对齐”几乎是目前大模型开发和调试中最决定成败的一环。低质量的对齐，轻者会诞生越来越多“人工智障”段子；严重的，则会出现输出的暴力、偏见、歧视，和失实。

你也许听过一类无聊至极的相声段子模板，叫“答非所问”：面对甲提的问题，乙必须给出一个毫不相干的答案，天上一脚地上一脚那种，比如“您贵庚？”“我吃的炸酱面。”想象一下你那个刚学会中文的“大明白”朋友，要是他在学习中文时主要依靠这样的段子来模仿，结果就是你不能说他中文不流利，但学成了一个“烦人精”。

再举个例子，阿西莫夫大名鼎鼎的“机器人三定律”，就是一种对齐。

喝多了，大家都一样

还记得去年夏天，谷歌工程师Blake Lemoine宣称LaMDA模型具有自我意识，和他掏心窝子谈论宇宙人生的故事么？

还有今年年初，纽约时报专栏作家Kevin Roose宣称，微软一款代号为Sydney的聊天机器人向他表白，并且企图拆散他的婚姻。

这是“幻觉”的另一个重要成因——人为的引诱和误导。

对于大模型，每一次的提问，可能都会成为一次引诱。这些AI产品以回答为目的，因此当数据库中不存在“现成且确切”的答案时，它仍然无法抗拒人类的问题指令，而必须生成一则答案。当这种使命遇到了有意或无意“偏颇诱惑”时，那些胡说八道就应运而生了。“林黛玉倒拔垂杨柳”和“隧道上为何总建一座山”，都是此类。

这和你身边的“大明白”心理活动一个意思：“既然你诚心发问了，我就大发慈悲地告诉你！”

既然机器只是现实语言的模仿者，它并不知道自己的边界，诱导性的提问就像酒精，让它更迷糊，却也更“想”侃侃而谈了。有一个更简单的例子，也许你看过一则曾经火爆的短视频，一个中国幼儿正在接受父母的英语考察：

问：“爸爸怎么说？”

答：“Father！”

问：“妈妈怎么说？”

答：“Mother！”

问：“爷爷奶奶呢？姥姥呢？怎么说？”

答：“爷ther！奶ther！姥姥ther！”

对于身为初级模仿者的孩子，前面正确答案的后缀，就成为诱导出后面“幻觉”答案的线索了。

回到前面说的两个认为自己与AI产生情感交流的案例，后来都被发现他们在与AI对话中，都有意或无意做了人为的强干扰和误导引诱——他们的话引发了AI的“幻觉”，而这种结果又让人本身也跟着“幻觉”了起来。

但的确，都喝多的两个人的确更容易擦出火花。

幻觉必须死么？

首先是不可能，至少是这一代不可能。但是，去无限接近于“零幻觉”的每一次努力都弥足珍贵，也价值连城。

因为抛开那些哈哈一笑便置之脑后的段子，“幻觉”严重地限制了大模型在各个专业领域的应用，阻碍了各种“专家系统”的搭建和普及。如果人们对于每一则答案都要人为地二次确认，这将成为这场技术革命的灾难。

如果去查一查今年的AI行业新闻，就会发现，对于“低幻觉”的追求几乎伴随着大模型火爆的全程。

从春到秋，OpenAI每隔一段时间就会发布一些降低幻觉的内容和新突破：优化数据源、引入人工干预和监督、增强外部知识检索、增加模型透明度（似乎这点也只是说说），他们还公布过一种叫做“过程监督”的办法，即在模型计算过程中，奖励每一步正确的推理，从而保证结果的确切。

春末夏初，马斯克也曾宣称，自己的AI公司要搞一个TruthGPT——“一种诚实的语言模型，最大的求真人工智能，能理解宇宙本质”。（当然，这谁都不说不好，是不是马斯克本人的另一种幻觉）

秋季，腾讯混元大模型亮相，实现幻觉比例降低30%。根据介绍，这是使用了一种名为“探真”的技术，在预训练阶段就开始做干预，可以通俗地理解成动用了一种“分类器”，将模型内部推理过程中可能出现“幻觉”的“隐状态”识别出来，并在过程中就实施干预。

而其他林林总总的各种国内外大模型，也几乎都把“低幻觉”用作发布会和每一次版本更新上的字号最大的那页PPT。

很多专业人士也都表示，也许，只是也许，下一代大模型才能够在技术基础层面实现“零幻觉”的可能，也许三五年，也许十年八年。

说到这你大概也能感受到了：“幻觉”这东西，真是一个奇妙的隐喻——无论是对于我们这个时代的人机关系，还是技术浪潮。它让每一个技术人员抓破头，却也让技术冲破壁垒，成为每一个普通人都跃跃欲试的饭后餐点。

几乎每一部美剧喜剧中，都会出现一句台词“No one like know-it-all”。对于我们这些普通使用者，有时候应付“幻觉”的方式也很简单：严肃点，别瞎逗，它胡说的时候别把它当“人”——就像你对待身边的那些恼人“大明白”一样。

本文来自微信公众号：果壳 （ID：Guokr42），作者：睿悦，编辑：卧虫

相关推荐

论，AI的胡说八道
为AI清君侧：为什么鼓吹“寒冬论”的都是AI学者？
当代年轻人，用“胡说八道”拿捏无效社交
马化腾的AI百年论
就喜欢看中关村在线一本正经地胡说八道……
最前线 | 传蔚来汽车裁员、计划回科创板，李斌回应：“胡说八道”
“AI 寒冬论”作者再发声：人工智能行业就是一个马戏团
AI迎来觉醒时刻，中国遭遇最严峻的封锁
理想增程式技术再引争议，究竟谁在“胡说八道”？
xx年未有之大变局

网址: 论，AI的胡说八道 http://www.xishuta.com/newsview96959.html