首页科技快讯 AI透明化，面临着一个悖论

AI透明化，面临着一个悖论

来源：晰数塔互联网快讯时间：2020年02月13日 11:32

编者按：本文来自微信公众号“哈佛商业评论”（ID：hbrchinese），作者安德鲁·伯特（Andrew Burt），36氪经授权转载。

近年来，学者和业内人士一致呼吁，要提高人工智能模型内部运作过程的透明度，而且提出许多充分的理由。透明度有助于缓解公平、歧视和信任方面的难题——对这几个方面的关注正在不断提升。举例而言，苹果公司新的信用卡业务被指出贷款模式中存在性别歧视，而亚马逊在发现一款人工智能招聘工具歧视女性后就将之废弃。

然而，与此同时，人们越来越清楚地意识到，人工智能的透明披露本身也会带来风险：解释过程可能遭到黑客入侵，公布更多信息可能会让人工智能更容易受到攻击，而且披露信息有可能让企业更容易遭到起诉或引来监管行动。

我们可以称之为人工智能的“透明度悖论”——虽然生成更多有关人工智能的信息可能会带来切实的好处，但也有可能带来新风险。要解决这一悖论，各机构需要对管理人工智能风险的方式、风险相关信息以及分享和保护这些信息的方式，进行仔细思考。

AI透明化，面临着一个悖论

近来的一些研究显示出了这种趋势。我们先来看看哈佛大学和加州大学欧文分校的学者于2019年12月发表的一篇研究论文。这篇论文重点探讨了用于解释黑箱算法的两大技术LIME和SHAP的变体如何有可能遭到黑客入侵。

关于LIME的功能，2016年该工具发布之初的论文做了解释。这个图像分类工具可以识别出其他工具难以处理的图像：通过琴桥和指板部分识别出木吉他，通过狗脸右侧的具体脸部特征识别出拉布拉多犬。

LIME，以及更广泛意义上的可解释人工智能运动，被赞誉为一项能够让不透明的算法变得更加透明的重大突破。可解释人工智能的益处已被广泛认可，得到学者和技术专业人士的交口称赞，我本人也是如此。

但是，LIME和SHAP受到新攻击的潜在可能性，暴露出一个被忽视的缺陷。正如研究所示，AI做出的解释可能被蓄意篡改，导致人们对模型及其给出的解释失去信任。

而且，阐述人工智能透明度方面存在潜在危险的研究论文并不止这一篇。2019年早些时候，雷扎·肖克里（Reza Shokri）等研究者阐述了披露机器学习算法信息会如何导致算法更易受到攻击。与此同时，加州大学伯克利分校的研究人员证明，只需利用算法给出的解释，就有可能窃取全部算法。

随着安全和隐私研究人员把更多的精力集中于人工智能方面，这些研究和其他许多研究都得出了相同的结论：模型创造者公开的算法信息越多，居心不良者所能造成的损害就越大。这意味着，发布一项模型内部运作过程的信息，实际上会导致其安全性能下降，或者有可能让一家公司面临更多不利因素。简而言之，所有数据均带来风险。

好消息呢？各组织机构长久以来都在隐私、安全及其他领域面临透明度悖论，现在只需要再加上针对人工智能的处理方式就可以了。

首先，试图运用人工智能的企业需要认识到透明度的代价。当然，这并不是说透明度不值得追求，只是说明透明度也有不利的一面，需要企业进行全面了解。企业应当考虑这些代价，建立更完善的风险模型，借以确定如何使用可解释的模型，以及公开多少相关信息。

其次，各组织也必须认识到，人工智能领域的安全问题日益受到关注。正如我和我的同事最近在隐私权未来论坛（Futureof Privacy Forum）上所说的那样，随着人工智能的应用范围增加，人们肯定会发现更多的安全缺陷和漏洞。实际上，安全有可能是人工智能应用方面最大的长期障碍之一。

最后一点，在创建并开发人工智能时，应尽早而且尽可能频繁地咨询律师，这一点非常重要。纳入法务部门，能够创造一个公开且受法律保护的环境，使得企业能够在不造成更多不利因素的情况下，彻查自己的模型，找出可以想到的每一个漏洞。

实际上，这正是律师在法律特权下工作的原因，他们收集的信息得到保护，鼓励当事人去全面了解自己的风险，而不是隐瞒任何潜在的错误行为。比如在网络安全领域，律师的参与度很高，法务部门经常参与管理风险评估，甚至会在安全事故发生后参与后续处理。人工智能领域也应该采取同样的做法。

在数据分析领域，人们通常认为数据越多越好。但就风险管理而言，数据本身常常就是风险的来源。如今这一点也开始适用于人工智能领域。

作者：安德鲁·伯特是Immuta公司首席法务。