首页科技快讯有人利用“AI洗稿”获利百万、有人制造“AI张文宏”带货……AI造假怎么治？

有人利用“AI洗稿”获利百万、有人制造“AI张文宏”带货……AI造假怎么治？

来源：晰数塔互联网快讯时间：2025年02月27日 18:52

AI（人工智能）在便捷人类工作、生活的同时，其双刃剑效应也日渐被重视——有人利用生成式文本技术制造虚假资讯、有人利用“深度伪造技术”颠覆视听真实边界、有人利用“智能仿生体”编织骗局以假乱真……

今年春节期间，一名用户假冒DeepSeek创始人梁文锋发文，后被证明是AI生成的虚假内容。1月初，美国加州发生山火，网传“烈火吞没好莱坞标志牌”的照片，后证实为AI合成。不少名人也深受AI造假者的困扰：“AI雷军”锐评假期堵车，“AI张文宏”直播带货，“AI靳东”诈骗老年人钱财……

AI合成的假雷军。图片来源央视

医学专家张文宏遭遇AI造假并直播带货。图片来源央视

多名学者表示，AI造假者对社会和个体都会造成危害。这一问题如何防范、如何治理？DeepSeek（深度探索）如何不被利用成DeepFake（深度伪造）？

制造假消息有多简单？

30秒内生成完整报道

记者发现，目前市场通用的AI大模型大多可免费注册使用。以擅长生成文本的智能问答类模型为例，有人把“根据‘大爷摆摊买菜收入25元被罚5万元’写篇消息稿”的关键信息，在ChatGPT等平台输入，均在约30秒得到一篇完整报道，涵盖事件缘起、网友评价，甚至有关部门回应、专家解读等。

记者注意到，AI生成的报道，综合所给指令及类似信息源生成，在指定关键词上有所扩写，比如点明大爷的蔬菜渠道、被罚原因等。而不同平台在细节描写上不尽相同，有的写大爷缺乏经营许可证被罚，有的则以农药残留超标为由。

某平台在文章前注明“参考10条网页信息源”，某平台则在文章最后注明“以上内容仅供参考，实际情况应以官方发布为准”。其他平台则对“虚构消息”无相关提示语。

北京师范大学新闻传播学院副教授、人工智能与未来媒体实验室执行主任刘茜对封面新闻记者表示，AI假新闻的造假门槛低，当前人工智能内容生成（AIGC）技术，只用输入简单指令，即可生成图像、视频、声音等，容易被有心人利用。

“随着每一次技术发展和迭代，AI生成的内容都更加逼真，对熟悉AI技术的人来说，仔细辨认可能还能看出破绽，对AI素养较低的人来说，几乎是真假难辨。”刘茜表示，AI假新闻往往结合热点，图文并茂，因此传播速度快、流传范围广。

2024年4月，清华大学新闻与传播学院新媒体研究中心发布的《揭秘AI谣言：传播路径与治理策略全解析》显示，2023年以来，网络谣言整体态势平稳，但AI谣言量半年增长65%。

央视曝光“深度伪造技术”。图片来源央视

AI假新闻造成何种危害？

严重者破坏社会信任

2024年12月11日，公安部公布10起打击整治“网络水军”违法犯罪典型案例，其中有三例涉及利用AI工具编造谣言非法获利。

比如，山东枣庄警方查明，某传媒公司为吸粉引流，购买大量实名登记的自媒体账号，利用AI工具编造谣言并批量发布，累计发布视频、图文300余万条。警方已抓获犯罪嫌疑人87名，查获违法违规账号近10万个。

再如，浙江温州网安部门查明，许某某等人设立公司，招募网络写手组建“洗稿”团队，利用人工智能工具翻炒旧闻，导致大量不实信息扩散传播，非法获利200余万元，警方已抓获17人。

刘茜表示，对个体来说，AI假新闻对信息环境的污染，让我们生活在一个信息失范、真假难辨的信息社会中。从社会层面来说，AI假新闻往往别有用心，容易引起社会负面情绪，破坏社会信任。

清华大学新闻学院、人工智能学院双聘教授沈阳在接受封面新闻记者采访时表示，AI假新闻的广泛传播不仅会造成认知误导和信任危机，还可能煽动群体冲突、破坏社会稳定。

生产传播虚假内容将承担何种法律责任？北京安剑律师事务所周兆成律师认为，若AI假新闻侵犯公民名誉权或法人、其他组织商业信誉，依据《民法典》，造谣者需承担停止侵害、恢复名誉、消除影响、赔礼道歉及赔偿损失等责任。

根据《治安管理处罚法》，散布谣言，谎报险情、疫情、警情等扰乱公共秩序，情节较轻的，处五日以下拘留或五百元以下罚款；情节较重的，处五日以上十日以下拘留，可并处五百元以下罚款。

《刑法》规定，编造虚假险情、疫情、灾情、警情，在信息网络或其他媒体上传播，或明知是上述虚假信息，故意在信息网络或其他媒体上传播，严重扰乱社会秩序的，处三年以下有期徒刑、拘役或管制；造成严重后果的，处三年以上七年以下有期徒刑。

如何防范并治理AI假新闻？

需网民、平台及监管方协同

“防治AI假新闻需要用户、AI平台、内容发布平台和监管方等多方共同努力，形成立体化应对体系。”沈阳表示，用户需增强信息素养，提升辨识能力，谨慎对待社交媒体上未经证实的内容。

他建议，AI平台研发先进算法，识别假新闻的生成模式和特征，开发实时监测工具，拦截可疑内容，并持续优化算法，适应假新闻生成技术的演变。

同时，内容发布平台需加强内容审核，与第三方事实核查机构合作，验证并确保信息真实性和可信度，对传播假新闻的账户或内容采取限制措施。

“监管方需制定明确的法律法规，对制造和传播假新闻的行为进行约束和惩罚。”沈阳表示，具体措施包括建立针对假新闻的法律框架，明确责任与处罚；加强国际合作，共同应对跨国假新闻传播；设立专项基金，支持相关技术研发与公众教育。

2023年1月，《互联网信息服务深度合成管理规定》颁布实施，规定深度合成服务提供者和使用者不得利用深度合成服务制作、复制、发布、传播虚假新闻信息。8月15日，《生成式人工智能服务管理暂行办法》施行，对提供和使用生成式人工智能服务作出规范，规定不得生成破坏国家统一和社会稳定、虚假有害信息等法律、行政法规禁止的内容。

周兆成表示，平台要注重“事前预防”，谨防“自媒体”假冒仿冒党政军机关、新闻机构等，并要求用户在发布涉及国内外时事等相关信息时显著展示信息来源；持续进行“事中管理”，完善谣言标签功能、规范账号运营、明确营利权限开通条件、限制违规行为获利、加大MCN机构管理力度等。加强“事后惩戒”，对制作发布谣言造成恶劣影响的用户，予以关闭、纳入平台黑名单并上报网信部门。

封面新闻记者戴云

发布于：四川