解读欧盟人工智能法案：四种AI系统风险类型的划分及监管措施

6月14日，欧洲议会（European Parliament）以499票赞成、28票反对、93票弃权的结果通过了《关于“欧洲议会和理事会条例：制定人工智能的统一规则（人工智能法案）并修订某些联盟立法”的提案》（以下简称“欧盟人工智能法案”）。

人工智能已成为全球科技行业的一个关键战场，各家科技公司都在争夺技术开发方面的主导地位。欧洲议会批准了全球首个针对人工智能行业的综合性法规，迈出了欧盟人工智能法案正式生效的重要一步。

该法案采用风险分级的规制路径，将人工智能系统的风险划分成不可接受的风险、高风险、有限风险和轻微风险四种类型，并针对不同类型施加了不同的监管措施。本文将进一步展开解读欧盟人工智能法案的监管框架及监管措施。

图源：欧洲政策研究中心（Centre for European Policy Studies，CEPS）

一、禁用不可接受的风险类型的人工智能系统

根据欧盟人工智能法案，部分人工智能系统因严重侵犯基本人权或违反欧盟价值观，故而被归类为不可接受的风险类型的人工智能系统，无论是其投放市场，或是投入服务或使用的行为均应被禁止。

在被禁用的人工智能系统中，有一类是涉及该人工智能系统可能会通过潜意识操纵用户，或利用特定用户在年龄、身体或精神残疾或其他方面的弱点，实质性地改变用户的行为，并可能给该用户造成身体或心理伤害。

举例而言，当前市场上面向青少年如同的语音集成类玩具，若其使用的人工智能系统与用户进行游戏或交互过程中，会鼓励未成年人进行一些危险的行为或挑战，则是利用儿童在年龄、心智方面的不成熟影响其安全。再如，对于通过声音频率潜意识影响用户行为的人工智能系统，如果该系统用于让卡车司机长时间驾驶，就属于通过潜意识操控司机，影响了司机的健康和安全，故而被禁用。

另一类被禁止的人工智能系统，则涉及不当的数据评估。这类人工智能系统可根据采集/提供的个人信息、数据、资料等，对相关个人进行评估、分类或行为预测，若该人工智能系统的评估或预测结果会导致某些人受到不合理的待遇或不公允的评价，则该人工智能系统属于不可接受的风险类型。

此外，为执法目的在公共场所使用实时远程生物识别系统也被列入不可接受的风险类型，例如在公共场所使用该系统以抓取生物识别数据来创建面部识别数据库的行为，就是法案所禁止的。

但是，不同于前述两类，在公共场所使用实时远程生物识别系统有例外许可情形。当使用该系统的执法目的为有针对性地寻找特定的潜在犯罪受害者；或预防对人身安全的重大威胁或恐怖主义威胁；或侦查、定位、识别或起诉刑事犯罪嫌疑人时，若事先得到司法机关的授权，并在时间、地理和范围上符合最小必要原则，则在公共场所使用实时远程生物识别系统是被允许的。

二、重点监管高风险类型的人工智能系统

高风险类型的人工智能系统是欧盟法案的监管重点，具体包括应用于自然人生物识别和分类、关键基础设施的管理和运营、教育和职业培训、就业和员工管理、获得和享受基本公共服务及福利资格的评估、执法、移民、庇护和边境管制、司法程序和民主程序等领域的人工智能系统。

法案针对该类型的人工智能系统，规定了从入市前到入市后的全流程风险管理措施，以预防并控制高风险类型人工智能系统对人类安全或基本人权产生负面影响。该等义务的承担主体主要是为人工智能系统的服务提供者。

所谓提供者，系指开发人工智能系统或以自身名义/商标将人工智能系统投入市场或投入使用(无论是收费还是免费)的自然人、法人、机构或其他团体。也就是说，无论是开发、发行、还是仅仅作为经销商或中间授权方，只要是提供高风险类型的人工智能系统服务的主体，都属于受监管的对象。

在人工智能系统投入市场前，提供者应建立和维持风险管理系统，识别已知的和可预见的投入使用后可能存在的风险，并确保人工可对人工智能系统进行监督，能通过对系统输出的存在“自动化偏见”的结果进行人为干预，以调整或终止其结果输出。此外，对于利用数据训练模式的人工智能系统，提供者还应确保其数据训练、验证和测试均符合欧盟数据立法的相关要求。

人工智能系统在投放入市时，应当进行合格评估，提供者应向主管机关提供AI系统及其开发过程的描述、关于AI系统检测、运作和控制的描述等系统相关必要信息，确保Al系统的性能始终符合其预期目的及各项管理要求，并贴上欧洲共同市场安全标志（“CE标志”），附有CE标志的人工智能系统产品方可在欧盟成员国内自由流通。

人工智能系统在投入使用后，提供者应当建立入市后检测系统，收集、记录和分析人工智能系统在整个生命周期的可靠性、性能和安全性的相关数据，并评估人工智能系统对法规的持续遵守情况。当人工智能系统发生严重故障或侵犯人类基本权利的事件时，提供者应当在发现该事件后的72小时内向国家监督机构报告。

三、有限风险或轻微风险类型的人工智能系统

有限风险类型的人工智能系统，是指使用者在应用系统时能够意识到在与人工智能互动，且使用者仍然能以自己的判断做出明智的决定。该风险类型的人工智能系统在欧盟法案的监管框架下有较高的自由度，投放市场或投入使用前无需取得特殊的牌照、认证或履行繁杂的报告、监督、记录留存等义务。当前市场上常见的聊天机器人、文字和图片识别及生成软件、AI伴侣等大多属于此一风险类型。

而未归类在不可接受的风险、高风险或有限风险类型的其他人工智能系统，都属于轻微风险类型。该风险类型的人工智能系统没有特殊的干预和审查制度，但提供者可自愿建立各行业的行为准则。

当然，与人类交互的人工智能系统仍需要符合透明度规则，即提供者应当告知用户的交互对象是AI而非真人，告知的内容根据人工智能系统的类型有所差异：（1）对于情感识别系统或生物识别分类系统，提供者应当将系统的运作情况和结果告知使用者；（2）对于生成或操纵图像、音频或视频内容的人工智能系统，如果该种深度伪造会让人误以为是真实内容的，提供者应当就深度伪造内容进行披露和提示，以帮助用户区分深度伪造信息和真实信息。