首页科技快讯清华教授邓志东：大模型评测，能不能也建个L0-L5分级？

清华教授邓志东：大模型评测，能不能也建个L0-L5分级？

来源：晰数塔互联网快讯时间：2023年12月31日 12:28

两周前，Reddit上一个爆料GPT-4.5的帖子火了，其中提到GPT-4.5将具备更强的多模态能力，文本、语音、图片以及视频都能一并处理，还具备复杂的推理以及跨模态理解能力。

消息一出，网友就热闹起来了，有好事者去Sam Altman的帖子下询问GPT-4.5是否泄露，得到了一个轻飘飘的“nah”。

网友们又转去问ChatGPT，结果还真问出了一个模型说自己是4.5版本的回答。不过很快OpenAI的员工回应，这是大模型产生了幻觉。随后ChatGPT官方账号发推，配了“脑”和“雾”的表情，大概是委婉地承认大模型幻觉问题。

大模型的幻象迷航

大模型幻觉，通俗地说就是一本正经的胡说八道，看似很有道理，其实是在骗你。在过去这一年，大模型赛道风起云涌，无数国内外科技巨头、AI创业公司涌入，形成了“千模大战”的盛景，与此同时，幻觉现象频出，并且由于大模型的强大，生成的幻觉有时看上去非常合理，难以分辨，已经成为大模型产品落地的拦路虎。

清华大学计算机系长聘教授、清华大学人工智能研究院视觉智能研究中心主任邓志东在接受至顶科技采访时表示，大模型幻觉，可以分为事实性幻觉和上下文不一致幻觉，前者是大模型生成的内容不符合常识，甚至出现了捏造或者杜撰。后者则是大模型生成的回复或下文与用户上文的指令不一致，也就是答非所问，驴唇不对马嘴。

事实性幻觉是目前大模型幻觉研究的热点，这一类幻觉对用户的影响更大，还可能产生安全问题。例如，大模型在生成医疗建议时可能会捏造错误的药品剂量，在具身智能中可能会带来时空错乱，这些都会给用户带来安全风险。但是，幻觉问题是客观存在的，它的成因涉及到数据、模型结构、预训练、微调甚至推理各个部分。

从训练数据的角度来看，由于互联网上的信息是非均衡的，有的数据特别丰富，有的数据很少甚至缺失，也可能存在偏见或根本是错误信息，还有些数据的时效性不够等。大模型通过互联网采集的数据较容易出现这类缺陷。

从训练本身来看，主流的大模型是自回归生成式模型，没有纠错机制，也就是说前面发生的错误会传递到后面，导致错上加错，像滚雪球一样。此外，如果问题超出了大模型的知识边界，也可能由于大模型的对齐策略产生幻觉。

有什么方法能缓解这种幻觉？邓志东从四个层面进行了解说。

一是提高训练数据的质量。在预训练和微调阶段通过数据清洗减少偏见，增加多元性和均衡性。例如，针对不同质量的预训练样本集采用打分加权，给高质量数据集，比如程序代码、专业论文和正式出版的书籍以更高的权重。而对于网页上抓取的信息，通过大量清洗，筛除其错误和冗余数据，这方面特别需要时间和资源的投入。

二是知识增强。利用外部工具检索，跟常识性知识源进行对比。对于专用模型，则可增加更多的专业知识库喂养。还可以借助于数字孪生，将数字孪生系统与大模型结合起来进行交叉验证，帮助其消除幻觉。

三是增强一致性。包括逻辑一致性、知识一致性，通过一致性来判断是否出现了幻觉，尤其是对上下文不一致的幻觉，有较好的效果。

最后是给大模型增加电子水印。未来互联网上AI生成的内容会越来越多，甚至超过人类产生的数据。清楚数据来源就显得很重要，我们要知道它是由人类产生的，还是由AI大模型产生的，具体是哪个大模型，加水印是比较简单的一个低成本鉴别方法。

另外，幻觉问题也与用户如何跟模型交互相关。若巧妙地提问，采用一步一步拆解的策略，通过思维链方式将一个复杂问题分解为多个子问题，或者将一个大任务拆解成若干子任务，也能缓解幻觉问题。

揭秘大模型评测机制

如今，大模型之争是整个科技界的焦点。市场上不乏声称自己产品超越GPT-3.5，甚至对标GPT-4的团队，在各个榜单上刷脸。如何客观评测大模型能力成为一个公众和业界共同关注的议题。

最近，由工信部中国电子技术标准化研究院发起的国内首个官方“大模型标准符合性评测”结果揭晓，有四家大模型通过了这一评测：360智脑、百度文心一言、腾讯混元、阿里云通义千问，这也标志着大模型的官方认证进程已经开启。

邓志东表示，尽管业界已形成多个评测基准，如NLP领域的MMLU、BIG-Bench、C-Eval、GSM8K等，但大模型的跨领域特性使得每个细分领域都有其独特的评测指标，例如在计算机视觉领域中的视觉目标检测通常使用mAP进行评测，图像与视频分类任务则用准确率、召回率等指标进行性能评估。总体上，目前还没有形成完整统一的跨领域多任务的评测体系，很多厂商因此钻了空子，仅展示自己表现最好的方面。

大模型评测，需要构建一个统一、客观的第三方评测机构，不能由企业或者研究机构自说自话。邓志东认为，评测体系的建设应遵循定性与定量相结合、评测大模型与人类专家相结合的原则，既有客观又有主观。评测体系可以分为安全性、准确性、涌现能力和泛化能力四个维度，综合评估大模型在各项任务中的表现。评测模式包括做题打分、模型间PK，还包括对模型各项单一能力的评估等。

他进一步提出了一个想法，类似于自动驾驶技术的L0-L5分级，大模型评测体系是否也可以采用这样划分？在这种框架下，L0至L2级可能代表的是大模型的基础感知与生成能力，而L3级及以上则标志着模型具备更高级的理解认知与多模态生成能力，从初级认知到中级认知，L5级则是宽度接近甚至超越人类的高级认知能力。

从发展路径上看，人工智能可分成弱人工智能-通用人工智能-强人工智能-超级人工智能这几个演化阶段。我们现在正处于通用人工智能的早期阶段，当它的认知能力与完成复杂任务的宽度和人类差不多，就是强人工智能时代到了。

在这一大尺度发展路径上，既有巨头企业推动的基础、基座通用大模型，也有针对垂域或特定应用场景的专用模型。毕竟大模型的价值在于实际应用和产品落地，这样才能形成一个可持续发展的商业闭环，因此更多初创企业应转向垂域专用模型的产业落地。在这一过程中，中国在商业模式构建、应用落地速度以及应用场景多样性上的优势可能也会体现出来，以此重建我们在AI大模型时代的新优势。

从单模态到多模态，从简单任务执行到复杂的认知功能，比如智能涌现，零样本泛化等，通用人工智能这一年的发展超出了很多人的预期。在大模型不断演化过程中，完善的评测体系和标准构建尤为重要，这不仅仅是技术的竞合，更意味着话语权，和对未来行业趋势的引领。

发布于：北京