首页科技快讯终于有办法搞定“万恶”的马赛克了？

终于有办法搞定“万恶”的马赛克了？

来源：晰数塔互联网快讯时间：2020年10月09日 12:01

编者按：本文来自微信公众号“雷科技”（ID:leitech），作者：雷科技互联网组，编辑：MoFirLee，36氪经授权发布。

马赛克本身是无罪的，只是它将世界上无数美好的画面给遮住了，所以人们才会对它抱有恶感。近段时间，网上流行的去马赛克软件，玩一玩可以，因为他们都无法做到真正意义上的去码。

AI说白了就是一种通过机器代替人力的技术，离我们最近并且常用到的应该是美图这类软件吧。众所周知，在美颜相机、美图秀秀等软件诞生之前，照片的美化需要专业美工设计师通过PS进行调整。现在与以往不同，很多美图App都加入了“一键AI修图”功能，省去了传统PS修图复杂的操作流程。

随着5G时代的到来，推动了AI技术的进一步发展，近些年网上出现了“Ai换脸”的技术，令人目瞪口呆。AI能够直接捕捉一个人的面部动作形态，再换算到另一个人的脸上，这样一来，即使在直播，也可以在视频中达到以假乱真的地步。

这不是最厉害的，近日有网友利用AI技术开发了一款“一键去除马赛克”的软件，发布没多久，这款软件便迅速蹿红网络。如此神奇的技术，它到底是怎么实现的呢？

反马赛克技术解析

在科普这种技术之前，我们先要搞清楚马赛克这个概念。早期的马赛克指的是古希腊的拼贴镶嵌工艺，现在指将影像特定区域的色阶细节劣化并造成色块打乱的效果，让人看不清具体的画面。

马赛克就像一把双刃剑，对于那些需要用到马赛克的影片来说，它通过模糊或遮挡敏感信息，不仅能够保护个人隐私，还可以去除某些暴力、恐怖等不适画面。而对于观影者来说，可能就不那么友好了，这就好比手机上的刘海屏一样，一部分内容被遮住的感觉实属难受。

目前，比较火的反马赛克软件有两款，分别是JavPlayer和PULSE。

JavPlayer利用深度学习的视频超分变率算法，针对视频中的每一帧图进行采样，然后通过AI算法还原马赛克的像素点。可能会有小伙伴表示疑惑，那还原后的图像会不会是假的？

答案：不是。因为这款软件还原图像是通过大量CPU和GPU的AI运算，把马赛克模糊再锐化，然后插值补偿损失得到的源图像。不过，需要注意的是，JavPlayer只能修复薄码视频，这也就意味着马赛克格子比较大，丢失的像素相对较少，这样插值补偿出来图像误差也会较小。

杜克大学去马赛克的方法有所不同，他们开发了一种名为PULSE的算法，虽然也是用的视频超分辨率算法，可以将低分辨率图像变高清，但它填补的不是像素，而是先生成高清大图，然后降低图片分辨率与原始图进行对比，从中找出匹配度最高的图像。

只需几秒钟，PULSE算法便可将一张16×16像素的低分辨率图像提升到1024×1024级别，效果确实很好。只不过还原后的图像与原图误差很大，比如下面这张打了马赛克的奥巴马，使用PULSE算法后却变成了一个白人。

简单点来讲，PULSE算法就是通过AI算法合成一张与原图匹配度最高的照片，而非在原图之上进行修复还原，这点还是与JavPlayer有很大区别的。

当然，反马赛克技术不仅限于修复图片或视频，其他领域也得到了广泛的运用。

为了在光线追踪技术中提升高质量图像的输出速度，也需要对图像做降噪处理，英伟达在这方面就做得很好。此前，英伟达与麻省理工学院，以及阿尔托大学的人工智能研究人员一起创建了名为Noise2Noise的项目。

该项目团队从mageNet数据库中获取500000张图像，对它们做增噪处理。然后利用这些图像做降噪处理，以此来训练AI的降噪能力。

Noise2Noise在医疗领域非常适用，例如对核磁共振图像扫描，它能够用于图像的降噪，方便医生查看更清晰的图像。

另外，英伟达的DLSS 2.0技术与Noise2Noise类似，都可以利用AI对图像进行修复。加入了DLSS 2.0技术后，显卡便可以将1080P的画面模拟到4K显示。

除英伟达外，Adobe在反马赛克技术上也颇有研究。

去年6月，Adobe正式宣布了PS反向还原技术，利用AI算法和机器学习，可判断出图片是否被修改过，确认图像变化后，该技术会将图像还原到修改前的模样。也就是说，哪怕图像打了马赛克，也可以把它还原回来。

其实，去马赛克就是一种图像增强技术。这就好比vivo X50系列配备的超清修复功能，可以将老照片修复，同时在vivo相册中实现文档去影和照片去路人功能。

就目前来看，市面上没有任何一种可以完全有效去除马赛克的技术。现阶段的技术都是通过AI在数据库中模拟比对相似的图像，虽然有些技术是在原图基础之上进行修复，但实质上那并不是原图，AI能做到的只是无限接近，修复后的图像并不能与原图划等号。

总的来说，打了马赛克的图像，你可以将它理解为删除了图像的子像素。一旦子像素丢失，即便是AI也无法计算出它的原样。因此，没有哪款工具可以做到真正意义上的去马赛克。

不过，有一说一，除了网友开发的反马赛克工具外，其实很少有科技公司关心AI技术是否真的能够去码，它们的最终目的是让低分辨率的图像变高清，反马赛克只不过是顺带完成的任务罢了。