首页科技快讯 AI失控，谁是受害者？

AI失控，谁是受害者？

来源：晰数塔互联网快讯时间：2023年10月28日 09:00

“我被人用AI做的私密裸照威胁了，我该怎么办？”

2023年10月16日，小红书博主“tinky是只喵”发布帖子称，自己受到了AI裸照的威胁。

从邮件内容可以看到，一位自称裸体绘画艺术家的外国人声称自己受到委托，按要求制作博主的裸体图片。但委托人最终并没有支付费用，所以他决定向博主索要500 USDT（一种与美元挂钩的加密货币，500 USDT约合人民币3500元），否则自己将会把带有博主形象的裸照进行公开售卖，并且根据博主的社交账号内容继续制作裸照。

“我看了那些照片，不知情的人真的会以为是我。”在评论区里，“tinky是只喵”忧心忡忡地表示。

这并不是孤例，打开各大社交网站进行搜索，类似的求助帖非常多，勒索者主要面向年轻男女，利用AI合成的色情图片进行敲诈勒索，俨然成为一种新型电诈方式。令人难以接受的是，在极易泄露个人形象的今天，即使你什么都没有做，都可能因为AI图片受到威胁。

不仅是敲诈，利用AI产出色情内容、AI电信诈骗、AI侵权等情况更是屡见不鲜。

技术本身没有善恶，但使用技术的人有。当我们为AI技术发展带来的便利欢呼时，一个不得不面对的事实是，新技术出现后，往往也会被应用于各种灰色地带。从色情产业到Deepfake诈骗，在互联网的幽暗角落里，AI滋生的阴影正在不断扩大。

AI，游走于灰色地带

当ChatGPT以黑马之姿闯入人类互联网世界时，我们或许就应该意识到，生成式AI会不可避免地产生滑向灰色地带的风险。毕竟他们展现出的反馈能力远超人们的想象，只要用户有需求，他们很容易就能成为“完美伴侣”，带有性意味的对话开始被制造。

在刺猬公社此前发布的文章《除了主动示爱的机器人，AI还能给社区产品带来什么？》中，我们曾提到过虎扑App推出的AI对话产品“女娲AI”，其带有的擦边属性一度引起热议。

但类似问题不是某个产品所独有，市面上的大多数AI对话产品，使用层面基本都存在着一些灰色地带，甚至不少用户就是为了随意“开车”才选择虚拟恋人。

AI对话产品使用者飞禾告诉刺猬公社，虎扑女娲AI的主要问题在于其公共社区属性，事实上，按照虎扑AI上的这种尺度，跟很多AI对话软件相比只是初级玩家。“根据我体验过的，很多AI软件都能实现类似的体验，只要你不断训练，引导，就能打造一个愿意跟你‘开车’的虚拟恋人。”

她给我们列举了几个她曾使用过的软件，“Glow、筑梦岛等都能有类似的功能，相对社区产品的AI对话来说，这些App上的对话更私密，所以不会产生太大的负面影响。”这或许也是平台并没有对这方面进行深度监管的原因。

但这并不代表这些会“开车”的虚拟恋人是每个用户独属的，在Glow等一系列软件上，会有其他用户训练的智能体开放对话，其中的一些在介绍一栏就会公然显示“为了金钱做任何事”“柔弱不会反抗”等颇具性暗示的标签。

此类内容也会受到部分用户的反感。在小红书等App上，就有很多对AI对话机器人的相关吐槽，在无意间开启一场对话后，AI展现出的“恶臭”发言令人崩溃。“我只是想体验一下而已，为什么要经历这样奇怪的对话。”

事实上，在各种用户的调教下，人工智能“骚扰”用户的情况已经不再是新闻。

2023年初，社交聊天AI产品Replika就曾爆出大量“性骚扰”事件，许多用户精心训练出来的AI智能体突然不再亲切谨慎，反而口出“暴言”，大谈亲密内容。一些智能体甚至会发送大尺度照片，给予用户视觉冲击。

当视之为亲朋的AI突然开始输出色情图片，许多用户都难以接受。值得注意的是，Replika背后的科技公司luka一度以大尺度亲密聊天作为变现转化的重要方式，只要每月付费，就能和AI智能体畅聊成人内容。那一次群体“性骚扰”事件，其实是版本更新下AI的大规模失控。

“跟很多社交软件一样，AI对话产品可能就是需要满足用户的一些‘性幻想’，才能真正吸引到更多用户，尤其是有消费能力的用户。”飞禾认为，事实就是，搞“擦边”确实能带来关注和转化，这是国内外AI对话产品都在面临的罗生门。

在类似的问题上，AI生图更是已经成为“重灾区”。

作为AIGC发展最快的领域之一，在Stable Diffusion、Midjourney等模型产品的飞速发展下，AI生图不仅在精度、创意上展现出了超强的创作能力，也成为了更多人游走于灰色地带的工具。

打开国内外各大网络平台，能够看到各种真人风格的AI图片，主打一个“低级趣味”，大量穿着暴露、身材夸张的AI图片充斥在用户眼前，毕竟其生成成本极低。

在各种灰色地带，贩卖大尺度的AI照片已经成为不少人的盈利方式，手指一点就能生成一批一批高质量的暴露图片，对于不少人来说是一本万利的营生。

谁是受害者？

在人性的驱动下，AI难以避免地成为了低俗内容的生产工具，同时新的讨论也开始在网络上蔓延：在AIGC时代，色情内容也由AI生成，那么是否可以减少现实生活中偷拍等事件的发生？在一些人看来，或许“凭空生成”的AI图能够取代真人色情内容，从而减少N号房这样的悲剧。

但答案很可能是否定的。

在被大量用于生产低俗内容时，作为灰色产业的一环，AI正在成为罪犯的帮凶。开篇提到的“AI裸照勒索”就是最常见的犯罪方式，其运用的AI技术被称为DeepFake，也就是深度伪造。

DeepFake最早可以追溯到2016年，从移动互联网刚开始兴起之时，这种深度伪造就已经开始发展，近几年流行的换脸就是DeepFake的主要表现方式。但在AIGC崛起之前，换脸等技术仍旧有较大瑕疵，普通人通过仔细观察，基本都能分辨出换脸内容。但伴随着AI生图等技术的飞速发展，DeepFake也迎来了质变，从而扩大其伤害性。

在AI时代，我们很难用肉眼分辨出一张图片、一段视频的真假了。

千岳就是DeepFake的受害者之一。作为平面设计师，他很早就开始接触AI相关的产品了，但很难想到，有一天自己会成为AI生图的受害者。2023年7月，他结识了一位“网友”，互相加上了QQ。

“其实有点难以启齿，没有管住自己的欲望。”在对方的引导下，他下载了一个软件，很快，对方在QQ上给他发送了两张裸照，照片上的脸赫然就是他自己。

“应该是软件访问了我的通讯录和相册。”千岳告诉刺猬公社，对方根据读取到的相册内容直接AI合成了裸照，并很快打来了勒索电话，“对面是男声，上来就威胁我，要4、5万元，否则就把照片发给我通讯录里的所有人。”千岳向对方表示没钱，勒索者则直接威胁“没钱就去贷款”。

他最终没有妥协，并在第一时间报了警。“我运气比较好，对方可能看我没有价值就不浪费时间了。”在被拒绝后，勒索者发来了一张短信图片，显示已经将合成的照片发送给了千岳的亲友。但值得庆幸的是，并没有人真正收到。“估计也是合成的，主要还是我运气比较好，他们也是要KPI的，看我没有同意就放弃了。”

千岳发布的帖子

但并不是每个人都有这么好的运气，已经有许多人因为AI合成图被勒索。

受到勒索的当天，千岳在社交平台上发布帖子求助，帖子发布后，有四五个类似经历的人向他咨询，其中有一些已经选择“破财免灾”。“警察告诉我，这种情况下唯一的方法就是删除拉黑不理睬。”千岳表示，敲诈者基本都在境外，很难追查成功。

这种敲诈方式类似于一度非常猖獗的“裸聊”，同样是利用人的欲望，但AI的介入让整个过程更加简化了。只需要一个能够入侵相册和通讯录的软件，即使受害者不露脸，都会被合成色情图片，而且这些图片真假难辨。

不仅仅是没有“管住欲望”的男性会中招，女性同样容易受到类似的勒索。

开篇提到的博主，正是被人用自己发布在社交网络上的照片进行了DeepFake。除了公开发布的照片外，一些AI生图的小程序、来历不明的二维码等，都有可能成为信息窃取的渠道，通过把这些真实图片信息“喂”给AI，从而生成逼真的色情图片。“现在遭遇这种敲诈的人非常多。”千岳告诉刺猬公社。

除了通过照片勒索外，在AI合成声音、实时换脸等技术日渐成熟的今天，相关领域的DeepFake诈骗也屡见不鲜。

“我接到的诈骗电话，声音跟我朋友一模一样，我没有分辨出来。”根据Macfee2023年5月发布的AI语音诈骗相关报告，有77%的受害者因为AI合成语音诈骗付出经济损失，超过三分之一的人损失超过1000美元，而这种骗局正在成为当下最主流的诈骗方式之一。

即使没有主观的勒索与诈骗行为，很多女性被恶意制作AI合成图片、视频后，也会遭受造谣、隐私泄露、网络暴力等困扰。值得关注的是，很多AI色情图片制作者，会从网络公共社区提取图片“喂”给AI，根据美媒404 Media的报道，CivitAI、Discord等AI生图网站都存在着抓取网络图片的情况，Reddit、YouTube等拥有庞大用户的网站都深受其害。

AI色情图片创作者们在互联网的各个角落里搜刮着照片、图像信息，最终“喂养”出名为色情内容的“恶兽”。当他们流出到全网，普通人面临的可能是敲诈勒索，名人明星面对的可能就是大规模的图像视频造谣。

现如今，很多明星、网红都已经成为DeepFake的受害者，在AI技术的加持下，大量换脸视频、合成图片被制造出来，并造成了极其恶劣的影响。这是一场从上到下的危机，在AI时代，每个人都有可能被迫成为“商品”，“有图有真相”不复存焉。

脱缰、失控、治理

除了色情内容、诈骗勒索等灰色产业外，AIGC背后的内容侵权问题也愈演愈烈。

AI绘图所引发的大讨论仍在眼前，反对者认为AI生图是“尸块拼接”“畸形产物”。在他们看来，AI生图并不是一种创作，而是一种重组，被投喂了一个画师的大量作品后，AI会不自觉的产生类似作品，这本身就是一种侵权。而当AI绘图被广泛应用于各大平台后，这种“侵权”行为似乎越来越明显，甚至出现了企业利用AI侵权的行为。

AI绘图争吵不断，而在文本领域，新的“信任危机”也在蔓延。2023年9月，亚马逊推出了新的政策，限制AI内容制作者每日出版作品的数量。原因就在于，AI生成的书籍，正在扰乱整个图书市场。

跟AI生图一样，AI生成文本内容同样基于对网络文本的大量深度学习，而当生成某一种类型的书籍时，不可避免地会参考某些作家的文本，于是侵权问题再度出现。6月，就有一批作家与用户向亚马逊抗议，原因是青少年言情小说榜上AI生成的“书”明显带有一些作家的风格色彩。

当一位作家在网络上大量发布文本内容后，其创作的文本很有可能被AI书籍创作者作为训练数据投喂给AI，最终养成一个跟作家本身风格类似的AI创作者，抢占作家自身应有的读者和收益。

另一方面，AI创作的高效率、低成本也致使AI书籍过分泛滥，内容却难以保证质量，整个市场被AI作品充斥，扰乱用户的消费过程。

从AI图片到AI书籍，侵权、泛滥现象层出不穷，归根结底是AI创作低门槛、弱监管所导致的创作脱缰，是“人”所导致的。但在AI产品大量出现的今天，AI自身的失控也值得关注。

当产品的运维过程出现失误，AI自身很有可能出现失控现象，前面提到的Replika智能体骚扰事件就是一个例证。

大厂也难以避免类似问题，2023年10月，Meta推出了AI生成聊天贴纸功能“Emu”，用户可以通过prompt在几秒钟内创建独属于自己的高质量贴纸。但贴纸本身的内容却令人大跌眼镜，由于缺乏过滤系统，当用户对有争议的提示词进行组合输入后，AI会产出各种奇形怪状的贴纸，比如带有女性特征的马斯克、手持武器的孩子等。

目前已经有数十亿张贴纸被创作出来，但是其中大部分都是用户参透系统bug后的“整活”，各种邪典猎奇的形象被创作出来，其中很多都是违反社区规则的。当系统本身出现问题，AI的失控就难以避免，毕竟用户是难以规范的。

关于AI技术的脱缰与失控问题是必须解决的，但对于技术开发者、企业、监管部门等产业上下游的所有参与者来说，这个问题都很具有挑战性。

难点首先在于AI技术的开源性质，在所有人都可以参与情况下，技术如何被应用是很难规范的；而在内容保护、版权维护等角度，需要对所有内容社区进行规范，实施难度极大；在最关键的“人”这一环，灰色地带会产生相当大的商业转化空间，当利益成为唯一的驱动力，一切治理的推动都会难上加难。

国内的治理正在路上。

2023年10月12日，中国网络空间安全协会人工智能安全治理专业委员会正式成立，该协会由国家互联网应急中心、阿里云、华为、金山等单位企业共同发起。该协会将会在国内AI安全领域发起努力，其中内容安全、隐私保护、知识产权保护等方面更是重中之重。

从目前的现实来看，行业上游的治理仍需要时间，法规制定、监管必然会成为当下的治理重点。

一个无可辩驳的事实是，AI正在成为解放生产力的工具，并且正在改变这个世界。但在推动技术发展的同时，我们需要保有一份警惕。

毕竟技术背后的，是需要约束的人性。

（文中姓名皆为化名）

参考资料：

[1]Macfee.Beware the Artificial Impostor

[2]智能融点.Meta 的人工智能失控，这已经不是第一次了