首页科技快讯自动驾驶汽车，困于算法监管？

自动驾驶汽车，困于算法监管？

来源：晰数塔互联网快讯时间：2023年04月11日 21:06

本文来自微信公众号：腾讯研究院（ID：cyberlawrc），原标题《自动驾驶汽车的算法安全规制》，作者：曹建峰（腾讯研究院高级研究员），头图来自：《回到未来》

汽车自动驾驶技术的发展应用使汽车的核心日益从传统硬件转向赖以实现自动驾驶功能的人工智能算法系统。这意味着自动驾驶算法安全将成为自动驾驶汽车商业化应用的最大掣肘，涉及自动驾驶算法的技术安全、网络安全和伦理安全三个层面。

为此，自动驾驶汽车的法律规制迫切需要革新针对传统汽车和人类司机的立法和监管框架，构建一个统一的自动驾驶算法安全框架，将自动驾驶算法的技术安全、网络安全和伦理安全纳入统一的安全标准。新的自动驾驶算法安全框架需要考虑安全与创新之间的平衡，保持技术中立性，推动自动驾驶汽车从研发测试阶段加快转向商业化应用阶段。

一、技术发展与法律规制现状

在概念上，界定自动驾驶汽车需要考虑驾驶自动化技术分级标准。目前通行的国际标准是国际汽车工程师学会（SAE International）提出的“驾驶自动化技术分级标准”，其将驾驶自动化技术分为五个级别，其中1级和2级统称为“驾驶员辅助系统”（Driver Support System），3～5级统称为“自动驾驶系统”（Autonomous Driving System）。

2021年5月，SAE和ISO（国际标准化组织）联合发布的最新版分级标准进一步明确了3级、4级和5级的区别。就3级（有条件自动驾驶）而言，当自动驾驶系统发出接管请求时，驾驶员必须接管；但就4级（高度自动驾驶）而言，自动驾驶系统在驾驶过程中不会要求驾驶员进行接管。4级和5级的核心差别在于运行条件的范围，4级在特定条件下，即在其设计运行条件（Operational Design Domain）内驾驶汽车；5级（完全自动驾驶）在任何条件下都可驾驶汽车，即执行所有的动态驾驶任务和动态驾驶任务接管。

就我国而言，2021年8月发布的推荐性国家标准《汽车驾驶自动化分级（GB/T 40429-2021）》基本采纳了SAE的分级标准，体现出在自动驾驶汽车领域与国际接轨的思路。本文所称自动驾驶汽车，是指搭载3级以上自动驾驶系统的智能汽车。

在产业发展上，自动驾驶汽车已从研究阶段进入加速部署和应用阶段。自动驾驶汽车正在加速融入道路交通系统，催生出全新的商业模式和服务策略，无人驾驶的出租车、巴士、物流车等新模式正在加速涌现，但完全自动驾驶的交通系统可能还需数十年才能实现。

就目前而言，关于自动驾驶汽车发展进程的预测，业内普遍认同的观点是：自动驾驶汽车将在2025年前后迎来一轮爆发式增长；到2035年，道路上行驶的车辆中将有一半可以实现自动驾驶。例如，美国国家公路交通安全管理局（NHTSA）预计，完全自动驾驶功能和高速公路自动驾驶将在2025年后实现。英国提出到2025年在英国实现自动驾驶汽车的商业落地。我国于2020年2月发布的《智能汽车创新发展战略》也将2025年作为自动驾驶汽车商业落地的重要时间节点。

面对迅猛发展的自动驾驶汽车产业，只有加快建立行之有效的、面向未来的自动驾驶算法安全监管框架，才能支持、促进创新，加速实现将自动驾驶汽车融入人类社会交通的宏大愿景。但在当前，我国对自动驾驶算法的安全监管仍较为滞后，尚未形成整体的、统一的监管路径。

根据毕马威（KPMG）2020年发布的报告《自动驾驶汽车成熟度指数》（Autonomous Vehicles Readiness Index），我国在被统计的30个国家中排在第20位，我国排名较为落后的一大原因是立法相对滞后和监管相对保守。现实情况是，自2018年以来，国家和地方的政策制定者积极推进自动驾驶汽车立法，但相关立法层级低、内容分散、前瞻性不足，没有深入且系统性地回应自动驾驶算法的全新安全问题。整体而言，目前监管呈现以下三个特点。

第一，重在规范自动驾驶汽车道路测试。从2018年4月的《智能网联汽车道路测试管理规范（试行）》，到2021年7月取而代之的《智能网联汽车道路测试与示范应用管理规范（试行）》，国家着重通过牌照发放、牌照异地互认等机制，规范自动驾驶汽车的道路测试、示范应用等使用场景，解决各地的碎片化监管和重复监管等问题。

第二，尝试建立自动驾驶汽车的合法性框架。鉴于现行立法没有规定自动驾驶汽车的合法地位，2021年4月公安部公布的《道路交通安全法（修订建议稿）》尝试填补这一立法空白，其第155条对自动驾驶汽车作出了专门规定，为自动驾驶汽车（建议稿称为“具有自动驾驶功能且具备人工直接操作模式的汽车”）的生产、进口、销售和道路通行奠定了合法性基础。但建议稿回避了“自动驾驶专用汽车”的合法性问题，仅规定“由国务院有关部门另行规定”。

第三，开始重视汽车数据安全和网络安全问题。2021年以来，随着特斯拉车主维权、滴滴美股上市等舆论事件的发酵，监管部门开始回应与车联网、自动驾驶相关的汽车数据安全和网络安全问题。例如，互联网信息办公室等五部委联合发布的《汽车数据安全管理若干规定（试行）》，以及工信部发布的规范性文件《关于加强智能网联汽车生产企业及产品准入管理的意见》和《关于加强车联网网络安全和数据安全工作的通知》，从不同角度对汽车相关的个人数据保护、重要数据跨境、数据安全和网络安全防护等提出了若干要求，但主要是将网络安全和数据安全领域的既有立法所确立的规定延伸适用于车联网、自动驾驶领域，基本没有触及自动驾驶算法所独有的网络安全问题。

从以上分析可以看出，我国当前的自动驾驶汽车立法主要侧重在道路测试、示范应用、汽车数据安全等三个方面，尚未针对以人工智能算法为核心的自动驾驶系统形成完整、统一的安全监管框架。因此，从支持、促进自动驾驶汽车商业化应用的目的出发，我国下一阶段的自动驾驶汽车法律规制亟须推进监管创新，提高立法层级，加快构建统一的自动驾驶算法安全监管框架，妥善应对自动驾驶算法的安全挑战，确保在发展应用自动驾驶汽车过程中，把安全摆在最优先的位置。

二、自动驾驶汽车的算法安全挑战

1. 自动驾驶算法的技术安全挑战

国内外的政策制定者已在探索建立适应自动驾驶汽车发展的新的安全标准和审批机制。美国是这方面的典型代表。2017年美国NHTSA发布的《自动驾驶汽车政策指南2.0》提出了12项自动驾驶系统安全要素，包括系统安全、设计运行条件、目标和事故探测与响应（Object and Event Detection and Response）、后备计划（最小风险状态）、验证方法、人机交互界面、汽车网络安全、耐撞性、碰撞后自动驾驶系统行为、数据记录、消费者教育和培训，以及联邦、州和地方法律，并鼓励制造商开展自愿性的安全自我评估。

在此基础上，NHTSA于2020年12月发布《自动驾驶系统安全框架》（Framework for Automated Driving System Safety），推动建立自动驾驶系统的安全框架，涵盖自动驾驶系统安全性能、安全风险最小化、自愿性机制、监管机制等层面。而且美国交通部强调将依靠自我认证机制（Self-Certification）而非型号审批机制（Type-Approval）来平衡创新与安全。与美国的监管倾向不同的是，2021年出台的德国自动驾驶法案更加强调强制性技术要求和型号审批程序。

就我国而言，2021年8月工信部发布的《关于加强智能网联汽车生产企业及产品准入管理的意见》开始借鉴国外经验，针对自动驾驶系统初步提出了一些具体的安全要求，包括设计运行条件、达到最小风险状态的后备措施、人机交互功能、数据记录、功能安全、网络安全等。但是，相关的安全要求仍较为笼统、欠缺体系化，尚未形成完整、统一的安全框架，还不足以表明自动驾驶系统的一般性技术安全。

在笔者看来，面向自动驾驶汽车的未来发展，在制定、落实自动驾驶系统的安全标准和审批认证程序规定的过程中，政策制定者还需要重点考虑并解决以下三个层面的技术安全问题。

第一，自动驾驶算法的安全门槛。自动驾驶汽车的安全规制首先需要明确的问题就是安全门槛，即从保护用户和公众安全的目的出发，自动驾驶系统的安全性需要达到何种程度。在笔者看来，自动驾驶算法的安全门槛不应是基于绝对目标（如零事故、零伤亡）的自动驾驶水平，而应以一般人类驾驶水平为衡量之基准，来确定科学合理的安全门槛。

例如，2017年6月德国发布的自动驾驶汽车伦理报告指出，只要自动驾驶相比人类驾驶能够降低安全风险，就不应阻碍自动驾驶技术的引入。2022年8月英国发布的自动驾驶政策文件《互联和自动出行2025：在英国释放自动驾驶汽车的效益》明确提出了自动驾驶汽车的安全门槛，即自动驾驶汽车应当达到与“胜任且谨慎的人类司机”（Competent and Careful Human driver）同等水平的安全性，这一标准高于一般人类司机。

第二，自动驾驶算法安全性能的测试、检测与验证。自动驾驶汽车的安全监管框架，无论是采取型号审批、自我认证，还是豁免机制，都依赖于一定的测量方法来衡量自动驾驶系统的安全性。但决定自动驾驶汽车是否达到可接受的或者可预期的安全性并非易事，因为自动驾驶算法的不可解释性、不确定性本质（即算法产出的是不可重复的、概率性的结果）、自我学习能力和持续的技术改进增加了复杂性，这些因素导致很难评估自动驾驶汽车的测试结果是否准确、可靠。

根据美国智库兰德公司的研究，如果想要通过测试驾驶来证明自动驾驶算法在避免致命事故上，比一般人类司机安全20%，则100辆自动驾驶汽车组成的测试车队需要行驶50亿英里，这需要昼夜不息地驾驶225年才能完成。十多年来，自动驾驶领域的领头羊、谷歌旗下的Waymo公司积累的自动驾驶测试里程才只有2000万英里。显然，在自动驾驶算法安全性的验证上，测试驾驶所需要的里程对于自动驾驶算法而言是一个天文数字，如果单纯依靠这样的测量方法，自动驾驶汽车的实现将遥遥无期。

因此，行业和政策制定者需要结合自动驾驶算法的自主学习、持续进化等技术特征，研究寻找多元化的安全性测试与验证方法，诸如仿真测试、封闭场景测试、实际道路驾驶测试、基于道路驾驶技术（roadmanship）的测量路径以及基于事故结果的事后测量方式等，这些方法必须是有效的、可行的、可靠的和不被操纵的。

例如，仿真测试容量大、效率高，可以涵盖不同场景，尤其是算法模型训练开发过程可能没有涵盖边缘案例或极端案例，这意味着仿真测试可以很好地适应自动驾驶算法的技术特征，未来将能发挥更大的作用。例如，Waymo公司的仿真测试里程已达到200亿英里，和发生在实际道路上的测试驾驶里程相比可谓天壤之别。封闭场景测试主要用来评估关键性场景。此外，在道路测试方面，基于道路驾驶技术的测量方法的重要性也在提升，简单来说，该测量方法就是自动驾驶系统这一“虚拟司机”的驾照考试，旨在全面评估自动驾驶算法的整体能力、行为和道路驾驶水平。最后，虚拟现实、生成性人工智能等技术的发展，能够将更加真实的环境和行为融入仿真和封闭场景的测试，进一步增强这些测试方法的有效性。

第三，人机交互中的技术安全风险。对于3级自动驾驶汽车和从3级向4级过渡的自动驾驶汽车而言，存在一个影响驾驶安全的至关重要的因素，就是接管问题。在自动驾驶系统和人类司机共同负责驾驶任务的情况下，当自动驾驶系统发出请求时，人类驾驶员必须及时接管车辆。但认知科学领域关于分心驾驶的研究表明，这可能是一个重大的安全挑战。

具体而言，两个主要因素影响着从自动驾驶系统到人类司机的驾驶活动接管的安全性。一是通信方式，关于接管请求的信息可以以视觉的、震动的、听觉的等方式传递，如一个数字化的交互界面。但人类司机可能来不及处理此类信息，从而导致危险情况的发生。这意味着单纯依靠一个数字化的交互界面向人类司机提供信息可能是不充分的。二是人类司机的反应时间，可能受到多种因素的影响，包括司机的分心程度、与驾驶无关的任务的类型、通信方式、先前接管经验等。这意味着对接管请求的反应时间不仅可能因人而异，而且可能因接管请求作出时的具体情境而异。

一个可行的思路是采取基于个人表现的路径，即根据司机的行为发出定制化的接管请求。总之，为自动驾驶汽车中的人机交互，尤其是人类司机接管驾驶活动开发一个考虑人类心理、认知等因素的心理模型，是汽车自动驾驶技术走向大众化之前必须面对并且需要妥善解决的一个挑战。

2. 自动驾驶算法的网络安全挑战

网络安全作为影响自动驾驶汽车发展应用的关键性因素，与之相关的风险与威胁将成为自动驾驶汽车最复杂、最难解决的威胁。整体而言，自动驾驶汽车的网络安全挑战主要呈现以下四个特征。

第一，自动驾驶汽车比传统汽车更容易遭受网络安全风险与攻击。自动驾驶汽车是“车轮上的机器人”，兼具网络化与智能化特征，与网络安全风险相伴而来。具体而言，自动驾驶汽车除了需要面对传统意义上的网络安全风险，还将面对自动驾驶算法所带来的全新的网络安全挑战、风险和威胁。这些挑战虽然有因系统本身的故障而导致的无意的威胁，但更多是来自黑客等恶意分子的有意的威胁。而且自动驾驶系统对汽车的运动具有更大的控制权限，这一算法系统的复杂性意味着系统失灵、网络安全攻击等新类型的事故将是无法避免的。此外，由于自动驾驶汽车旨在实现从人控制汽车到算法控制汽车的转变，在发生网络攻击和安全威胁的时候，司机、乘客等人类主体进行介入和干预的能力将大大降低。

第二，自动驾驶汽车的网络安全风险来源主体更加多元化。在生产制造、运营、维修、智能基础设施、保险、监管等多个环节，不同主体对自动驾驶汽车的访问或控制，都可能带来网络攻击风险。例如，在运营和维修环节，接入自动驾驶汽车网络的智能手机、由云服务厂商运营的汽车云服务、远程控制中心等中心化的控制台等参与方，都可能带来网络安全风险与隐患，自动驾驶汽车软件、硬件的维修方也是潜在的风险来源方。在车路协同方面，智能道路基础设施的运营方也可能带来新的网络安全隐患。在保险和监管环节，保险公司需要访问自动驾驶汽车，以便于监测汽车位置、驾驶员行为等情况，监管部门和执法部门也可能要求连接到自动驾驶汽车（例如，国内的相关法规要求自动驾驶汽车接入政府监管平台），这些参与方对自动驾驶汽车的访问都可能制造出新的网络安全隐患。总之，可以访问或控制自动驾驶汽车的参与方广泛且众多，相关参与方都可能在无意中为网络攻击大开方便之门，这使得自动驾驶汽车需要面对比传统汽车更广泛、更严峻、更复杂的网络安全风险。

第三，自动驾驶汽车面临的网络攻击方式更加多样化。例如，黑客可以针对软件漏洞发起攻击，可以通过连接恶意设备对自动驾驶汽车发起物理攻击，也可以攻击智能道路基础设施等自动驾驶汽车生态系统的组成部分。此外，就攻击效果而言，黑客可以采取多种类型的攻击，包括失效攻击、操作攻击、数据操纵攻击、数据窃取等，这些攻击的影响可大可小，不容小觑。在实践中，针对自动驾驶算法的网络攻击主要分为外部攻击和内部攻击两大类。

其一，外部攻击，攻击者试图利用算法的漏洞，从汽车外发起攻击。此类攻击可以针对摄像头、激光雷达、GNSS传感器、超声波雷达等传感器作出，这些传感器可能被干扰、欺骗，或被黑客操纵来侵入汽车的内部系统。也可以针对V2X信息作出，车联网在自动驾驶汽车上扮演关键角色，汽车通过V2X从基础设施接收基础信息，包括数字地图、交通和天气情况、交通信号灯状态、其他对象（如其他车辆）的当前和将来状态信息等。V2X信息可能被干扰、欺骗、污染，或无法提供，进而影响自动驾驶算法的决策。

针对自动驾驶算法的对抗攻击可以归纳为两类。一是躲避攻击（Evasion Attack），即操纵自动驾驶系统的输入，进而让系统的输出能够实现攻击者所期望的目标。经典的例子包括在道路上添加图画以误导汽车导航，在停止标志上添加贴纸以阻止其被自动驾驶系统识别出来，在路面上放置3D打印的对抗样本等。二是投毒攻击（Poisoning Attack），即进行数据投毒以污染算法训练过程，从而导致系统出现黑客所期望的故障。针对自动驾驶算法的对抗攻击，将导致系统作出错误的、危险的决策，进而可能造成严重的安全事故。

其二，内部攻击，攻击者试图获取自动驾驶汽车内部系统的访问权限。此类攻击既可以针对有线入口，包括USB、充电接口、车上诊断系统等；也可以针对无线入口，包括专用短程通信连接、基于移动网络的V2X、蓝牙系统等。一旦攻击者获得内部系统权限，就可以对车内网络、电子控制器等进行破坏，或者控制引擎、刹车等关键部件。

第四，自动驾驶汽车的网络安全风险同时呈现广度和深度特征，带来全方位、多层次的危害后果。在广度上，自动驾驶汽车的软件和硬件漏洞可能是广泛的，这意味着网络攻击会被放大，例如，黑客可以侵入并控制搭载了同一自动驾驶系统的所有智能汽车。对此，2017年7月，特斯拉CEO马斯克警告说，对于自动驾驶汽车的最大忧虑是“黑客可以实现车队规模的攻击”。在深度上，自动驾驶汽车被入侵、控制后，可能造成不同层次的不利后果。最直接的损害后果是人员伤亡和财产损害。例如，路面上或停车场的自动驾驶汽车可能被黑客或恐怖分子控制来威胁车上人员或社会公众的人身安全，或者破坏关键基础设施等公共财产。

再者，近年来以索要赎金为主要目的的勒索软件攻击愈演愈烈，自然不会放过自动驾驶汽车。例如，黑客可能侵入自动驾驶汽车网络，植入勒索软件，将汽车锁定，然后向车主索要赎金。此外，针对自动驾驶汽车的网络攻击也可能带来数据被窃取的损害后果。自动驾驶汽车能够收集到的数据不仅范围广（如涉及汽车自身、车主、乘客、周围环境等对象的大量信息）、类型多（如司机、乘客的位置和行程数据，以及指纹、人脸、虹膜等生物识别数据，各类传感器数据，交易数据，第三方收集使用的数据等）、数量大（一辆无人驾驶汽车平均每天生产约4TB数据）、质量高，而且蕴含着巨大的经济和社会价值，对车企、系统开发商、服务提供者、保险公司、执法部门等主体都有巨大价值。正因如此，自动驾驶汽车的大量个人数据和商业数据，将是黑客攻击的理想目标，在黑市交易这些数据可以获得大量的非法收入。

因此，可以毫不夸张地说，网络安全风险将是以自动驾驶、车联网为核心的未来交通的最大安全威胁。各国已在积极研究、应对自动驾驶汽车的网络安全挑战。例如，美国交通部将网络安全列为汽车自动驾驶技术的10项监管原则之一和自动驾驶系统安全标准的重要组成要素，美国国会提出的《自动驾驶法案》要求制造商落实自动驾驶系统网络安全计划。英国于2017年8月出台的《联网和自动驾驶汽车网络安全关键原则》提出了八项原则，以确保自动驾驶汽车的设计、开发、制造及售后运行过程都将网络安全纳入考虑。2021年出台的德国《自动驾驶法案》为制造商设置的安全义务包括车辆及与车辆相连的电子设备不受攻击、证明进行完整适当的风险评估以及保障网络安全等。此外，2021年联合国出台了两部新法规，分别是《汽车软件更新条例》（UN Regulation No. 156）和《汽车网络安全条例》（UN Regulation No. 155），是该领域具有里程碑意义的国际法规。

3. 自动驾驶算法的伦理安全挑战

自动驾驶算法安全挑战的第三个层面是伦理安全。理论上，自动驾驶汽车需要确保所有道路使用者都能获得同等程度的安全保障，但算法的训练或决策可能带来不公平歧视，引发伦理争议。自动驾驶算法不同于传统的自动化软件，其需要在不确定性的环境中作出不确定性的决策。这意味着，自动驾驶算法可能像人类司机一样，在遇到突发意外时，被迫在生与死之间做出选择。

人们不会因为人类司机在危难时刻作出低效的、不理性的应激反应而对其进行责难，但人们对于自动驾驶汽车不会怀抱同样的心态，因为自动驾驶汽车被编程来执行特定的行为，所以其行为不是应激反应，而是精心计算的结果。设想一个醉汉突然冲向马路，因而被一辆正在行驶的自动驾驶汽车撞死。在现有的法律框架下，人们不会苛责任何一个正常的司机，因为几乎没有可能避免这样的意外事故。但同样的判断标准可能不再适用于自动驾驶汽车，因为在未来，这个判断标准可能是合理机器人（Reasonable Robot）标准。

自动驾驶算法首要的伦理安全问题是，在面对不可避免的事故（Unavoidable Accident）时，算法该如何抉择并行动？尤其是在面对两难处境（即道德困境）时该如何抉择？是选择最小化人员伤亡，还是不惜代价地保护车乘人员，即使这可能意味着选择牺牲行人等其他道路参与者？最常讨论的一个虚拟案例是“电车困境”。但是，将电车困境与自动驾驶算法的道德抉择作对比有一些缺陷：第一，电车困境是想象的，现实中不大可能发生；第二，电车困境中只有两个选择，但自动驾驶汽车的路径规划的选择空间要大得多；第三，电车困境中当事人缺乏足够重要的事先信息，例如该情形是如何出现或形成的，因为可能还需要考虑制造了危险情形之人的道德责任的程度。

自动驾驶汽车道德困境的可能性，让技术与伦理之间的互动成了不可回避的问题。人们开始严肃对待道德代码的必要性及其实现方式，即如何将复杂的人类道德编程到自动驾驶算法的设计中。当前主要存在两种路径：自上而下的路径和自下而上的路径。前者把特定伦理理论转化为算法和代码，后者则是让算法从环境中学习并鼓励其实施道德可嘉的行为。但这可能是十分困难的，首先，伦理价值因文化、风俗和习惯而异；其次，在功利主义、道义论、罗尔斯式的正义论、整体的社会道德倾向等伦理框架中，何者应作为自动驾驶系统的道德算法的指导原则是难以形成共识的。

在这方面比较有影响的研究是麻省理工学院（MIT）针对自动驾驶汽车的道德机器实验（Moral Machine Experiment）。该实验表明，人们在大多数情况下都会倾向于采取功利主义的伦理选择，但同时也会不同程度地受到地理、经济、文化等因素的影响；虽然如此，但受访者大都表示不会购买牺牲驾驶者的自动驾驶汽车。但这个实验可能带来一些误导：第一，可能会让社会大众误以为自动驾驶汽车就是被编程来伤害特定类型的人群的，或者是危险的，这会带来负面的舆论影响，进而妨碍、减缓技术的商业部署进程；第二，可能误导行业和政策制定者在“电车困境”这类极其少见的问题上花费过多精力，他们本应将重心放在确保自动驾驶汽车部署的安全性上；第三，把关于社会价值的多数意见嵌入算法系统的思路，这本身就是有问题的。

到目前为止，学术界还没有提出行之有效的解决方案。物理的路径，如采取刹车，无法满足对伦理决策的需求。考虑到确立合适的伦理框架的异常困难性，有人提出聚焦于道德困境或碰撞最优化中的选择策略，开发一个适用于公共道路上的所有情形的伦理路径规划机制。而在算法实现层面，存在尊重驾驶者自主选择的个人化伦理设置（Personal Ethics Setting）和由立法者或生产者预先设定的强制性伦理设置（Mandatory Ethics Setting）两种模式的选择。

但是，需要警惕风险转移策略，汽车上的保险杠就是一个典型的风险转移策略，因为这增加了道路的其他使用者的风险。德国车企梅赛德斯表示，其将优先保护车乘人员的安全，这是否意味着在面对不可避免的碰撞时，可以采取风险转移策略，以自动驾驶汽车车乘人员的自我利益来证明给他人施加伤害的正当性？这显然会削弱法律自身的功能，不具有正当性。

政策制定者和汽车制造商聚焦于将伦理考量融入自动驾驶算法。梅赛德斯声称其将“致力于提高和完善技术和风险防范策略，完全避免两难情况的发生”。英特尔则提出了RSS（Responsibility Sensitive Safety）模式，旨在让自动驾驶汽车避免参与到交通事故中去，或成为交通事故中的责任方。2017年德国在全球率先针对自动驾驶算法提出了具体的伦理要求，即针对自动驾驶汽车的20项伦理准则，核心内容包括三项：

其一，明确优先选项并进行限制，优先保护人类，牺牲动物或者其他财产都是允许的；在事故不可避免时，禁止基于年龄、性别、生理或心理状况等进行歧视。其二，保留人对车辆的控制权并禁止事先编程，道德困境之下的决策依赖于现实的具体情况，不可能被清楚地标准化，因此也不可能被事先编程，具体决定应视具体情况而定。其三，强调通过技术手段防范伦理困境，汽车自动驾驶技术需要事先做出防范两难局面等风险的策略，尽可能避免事故的发生，并减少给道路的弱势使用者造成的风险；制造商或运营商有义务监督、改进自动驾驶算法，以确保和提高自动驾驶车辆防范伦理风险的能力。

三、构建自动驾驶汽车的算法安全框架

在全球范围内，自2015年以来，美国、德国、英国、荷兰、新加坡、韩国、日本等多国积极出台与自动驾驶汽车相关的政策和立法，探索建立自动驾驶汽车的监管框架，监管重心日益从规范道路测试、试点转向支持商业化应用。

各国的战略和立法无不表明，自动驾驶汽车正在引领未来交通发展。但在实然层面，自动驾驶汽车的成功取决于公众对其安全性的感知与信任。尽管在理论上，当汽车自动驾驶技术在安全性上优于一般人类驾驶员时，就应当允许其商业化应用。为了加速推动自动驾驶汽车从研发验证阶段转向商业部署阶段，一定程度的法律监管和监管创新是必要的、适当的，但也需要避免过度监管对创新的阻碍。从新的注意义务标准、责任规则到保险和赔偿机制、新的裁判机构，再到完善监管机制、防范安全风险并豁免特定责任，汽车和交通领域的技术变革与法律变革似乎正在同步进行着。

目前我国自动驾驶产业发展迅猛，尤其是L1级和L2级的智能辅助驾驶功能日益成为乘用车的核心卖点。但到目前为止，L3级以上自动驾驶尚未实现正式商用。虽然北京、上海、广州、长沙、重庆、武汉、深圳等城市竞相出台政策和立法，推动自动驾驶落地应用，但国家层面仍存在法律和监管问题，给自动驾驶商用造成阻碍，例如，《道路交通安全法》《公路法》等法律用以规范汽车及其驾驶员，自动驾驶系统的法律地位以及自动驾驶汽车如何上路通行等，都处于立法空白状态；此外，目前国家层面也没有关于自动驾驶责任与保险的法律规则。

为了确保实现《智能汽车创新发展战略》提出的“到2025年实现有条件自动驾驶的智能汽车达到规模化生产，实现高度自动驾驶的智能汽车在特定环境下市场化应用”的目标，需要加快修订、革新针对传统汽车和人类司机的立法和监管框架，为自动驾驶汽车融入现行道路交通体系建立新的法律制度和监管框架。其中的一个核心层面是，构建以自动驾驶算法为核心的安全监管框架，需要涵盖技术安全标准与审批认证、网络安全认证、伦理风险管理三大维度。

1. 新的自动驾驶系统安全标准和审批认证机制

作为深刻影响公众安全的新兴技术，汽车自动驾驶技术的发展应用应始终坚持“安全第一”这一最高原则。因此，国家亟须为自动驾驶汽车建立新的、统一的安全标准，从传统上以汽车硬件和人类司机为核心的安全标准，转向以自动驾驶算法为核心的安全标准，这意味着允许创新性的汽车设计——无须驾驶舱、方向盘、脚踏板、后视镜的自动驾驶汽车。例如，2022年3月美国NHTSA针对没有方向盘等手动控制装置的自动驾驶汽车，更新了“联邦机动车安全标准”（FMVSS）中的乘员保护标准，迈出了从传统汽车安全标准转向自动驾驶算法的新安全标准的第一步。此外，考虑到汽车自动驾驶技术仍在快速演进之中，新的安全标准应保持技术中立，聚焦于安全性能，避免提出特定的强制性设计特征。

在自动驾驶汽车的准入认证（包括豁免程序）上，中国、欧盟、日本等采取审批机制，美国NHTSA则强调通过制造商的自我认证机制来平衡保障安全与促进创新。而且我国对销售后的自动驾驶算法的OTA更新升级，也采取较为严格的审批制度。我国将来是否需要采取审批与自我认证相结合的准入认证机制，从促进创新、增强国际竞争力的角度看，是值得认真考虑的。

此外，在准入与豁免方面，目前主要应用于金融、个人数据保护等领域的“监管沙盒”机制，在自动驾驶汽车领域也能很好地平衡落后标准与创新技术之间的冲突和紧张关系。例如，2022年2月市场监管总局等五部委联合发布的《关于试行汽车安全沙盒监管制度的通知》，将沙盒监管引入汽车安全领域，鼓励对已经应用在上市车辆上的前沿技术进行安全测试，以填补标准滞后带来的监管缺失。面向未来，在更好地支持汽车自动驾驶技术创新发展方面，监管沙盒机制将能发挥更大作用。为此，政策制定者需要探索制定可落地执行的具体监管规则。

安全标准与准入认证的落地实施，依赖于有效的测试、检测、验证方法。在这方面，仿真测试、封闭场景测试、公共道路测试的有效结合，能够对自动驾驶算法的交通法律违反情况、道路驾驶技术水平、脱离（Disengagement）情况、碰撞和伤亡情况等作出综合的评估。面向未来，为了更加准确可靠地评估、验证自动驾驶系统的安全性，将来立法和政策需要为自动驾驶系统设定科学合理的安全门槛与基准，可以考虑要求自动驾驶汽车至少达到与“胜任且谨慎的人类司机”同等水平的安全性，并确立一套基于道路驾驶技术水平的科学合理的检测方法。

2. 自动驾驶汽车网络安全认证机制

网络安全既是自动驾驶算法安全的必要组成部分，也是自动驾驶汽车整体安全的重要维度。为此，政策制定者需要考虑融入传统的网络安全原则，从整体上保障自动驾驶汽车的网络安全。要言之，自动驾驶汽车需要新的网络安全框架。

第一，建立自动驾驶汽车的网络安全认证机制，只有通过网络安全认证的自动驾驶汽车才允许销售、使用。而且该机制需要延伸到软硬件供应链，因为复杂的、不透明的机器学习算法、专用的AI模型、第三方的预训练模型等日益成为汽车供应链的一部分。

第二，新的网络安全框架需要明确自动驾驶汽车的网络安全防护能力和要求。具体而言，将来立法可以要求制造商采取多种网络安全防护措施，包括加密方法、入侵、异常和漏洞检测、对抗攻击的反制措施（如冗余设计、对抗样本耐受性）等技术措施，以及安全嵌入设计（Security by Design）、风险管理、网络安全事故管理等非技术措施。

第三，汽车自动驾驶技术安全性的提升，需要在行业与政府之间实现B2B、B2G、G2B等形式的数据共享，尤其是与安全事故、网络安全、自动驾驶系统脱离等安全事件相关的数据。建立事故数据报告与分享机制，对于提升整个自动驾驶行业的发展水平意义重大。

3. 自动驾驶算法的伦理风险管理机制

毋庸置疑，自动驾驶算法需要伦理原则；问题是这些原则如何转变为具体的监管规则，获得广泛认可并予以执行。在技术层面，需要一个可执行的解决方案来帮助自动驾驶算法作出有效的、可接受的决策，尤其是在面对不可避免的事故或其他道德困境时。在这个问题上，完全让企业自己来设定标准并执行是不可取的，因为制造商的创新自由和对商业利益的追求可能与一般的公共安全考量背道而驰。因此政府需要介入，为自动驾驶算法设定最低程度的道德标准。“伦理先行”的治理理念在自动驾驶汽车领域显得尤为必要且迫切。

在这方面，德国的相关立法和伦理原则已做出了表率，但效果还有待观察。英国数据伦理与创新中心（CDEI）建议英国的监管者建立“自动驾驶汽车伦理与安全委员会”（Committee on AV Ethics and Safety），以更好地支持自动驾驶汽车的治理。考虑到自动驾驶汽车的购买者可能倾向于让自动驾驶汽车优先考虑其个人的安全，市场竞争给制造商带来的压力可能导致最终的结果并不符合社会公共利益的最大化。因此，需要明确的政府监管来给自动驾驶算法设计中的伦理选择设定标准，以确保自动驾驶算法在伦理上符合一般的社会公共利益，并在公众的接受度和道德要求之间实现某种平衡。

除了自动驾驶算法的抽象道德标准，政策制定者还应当重点关注更为具体的科技伦理治理和算法伦理风险管理。2022年3月，《关于加强科技伦理治理的意见》的印发，表明国家对科技伦理治理高度重视，将其作为科技创新的重要支撑。在此背景下，自动驾驶汽车企业需要加强汽车自动驾驶技术的科技伦理治理，积极履行科技伦理管理主体责任，坚守科技伦理底线，针对汽车自动驾驶技术开展科技伦理风险评估审查、建立科技伦理风险监测预警机制、强化科技人员的伦理培训等。

自动驾驶算法的伦理治理应侧重通过企业和行业的自律管理来落实，但立法和监管的适当介入也是必要的。在算法伦理自律管理方面，自动驾驶汽车企业和行业可以通过伦理委员会、行业自律公约、伦理标准与认证、伦理嵌入设计（Ethics by Design）、算法伦理的技术和管理工具、算法伦理奖励（Ethics Bounty）等多元化的举措，将相关伦理要求嵌入自动驾驶算法全生命周期，防范、应对算法歧视等伦理安全风险，提升自动驾驶算法的安全性、公平性、透明性、可解释性等。尤其是需要在数据收集阶段识别、移除不公平歧视，打造更加公平的自动驾驶算法。

在监管方面，为了更好落实“伦理先行”的治理理念，及时防范自动驾驶算法的伦理安全风险，一个可行的监管路径是：将来立法可以要求自动驾驶汽车企业在自动驾驶算法的全生命周期建立算法伦理风险管理机制，以便主动识别、分析评估、管理、治理自动驾驶算法的伦理风险。当然，算法伦理风险管理机制的落地实施，除了需要立法的明确规定，还需要监管部门出台实施细则和具体标准，对如何有效管理安全可靠、隐私、公平性、透明性和可解释性、人机协作、技术滥用等方面的伦理风险，给企业和行业提供具体的指南和引导。

四、结语

自动驾驶汽车的广泛部署和使用，是实现其诸多正向效益的必要条件。其广泛部署和使用的必要条件是建立合适的安全框架，加快实现自动驾驶汽车从测试到商用的飞跃。

但任何合理的法律政策都不能对公众的接受度视而不见。换句话说，自动驾驶汽车要想成为最优选的交通方式，就必须考虑其使用者和社会整体的预期，这些预期包括使用者的满意和安全，以及信任、责任、透明等设计价值。对自动驾驶汽车的安全规制也必须考虑这些预期，甚至调和其中的过高预期。

基于这些考虑，本文创新性地提出了一个全新的自动驾驶算法安全监管框架，来应对自动驾驶汽车迈向商业化应用之前必须直面的算法安全挑战。因为如果不能妥善地解决自动驾驶算法的安全挑战，自动驾驶汽车的商业落地将遥遥无期。希冀本文提出的监管和治理思路能够给政策制定者提供有益的启发。

当然，作为题外话，从长远来看，自动驾驶汽车的商用只是未来交通法治的起点，而非终点，汽车设计、交通法规、责任承担、保险赔偿、驾驶习惯等一系列变革将纷至沓来。甚至如特斯拉CEO马斯克所言，汽车技术的进步有朝一日可能使人类操作汽车成为非法。这并非无稽之谈，如果将来汽车自动驾驶技术的安全性可以达到非常高的水平，在所有的驾驶环境中都能够作出比人类更优的决策和判断，使自动驾驶汽车场景下的交通事故成为小概率事件，法律政策又该作何选择？届时，考虑到人类驾驶所附带的显著的负外部性，政策制定者是否需要立法禁止人类驾驶？

虽然我们无法准确预知未来，但可以选择对自动驾驶汽车的未来发展路径保持开放，在推进自动驾驶算法的安全规制的时候，可以选择不把人类驾驶员这一紧箍咒加诸其上，让技术和市场来决定是谁或什么将会主宰未来交通。

本文来自微信公众号：腾讯研究院（ID：cyberlawrc），作者：曹建峰（腾讯研究院高级研究员）