姚前：警惕算法经济的隐含风险及作恶的可能

“算法经济大幅改善市场经济的匹配效率和交易成本。人们一方面欢迎和享受智能算法带来的便利，另一方面却担心被智能算法替代，导致个人价值丧失。不仅如此，随着算法经济的快速发展，算法的渗透力和影响力越趋强大，其背后隐含的风险以及作恶的可能引起了关注。”2021年9月3日，中国证监会科技监管局局长姚前在2021年服贸会金融服务专题展期间举行的“2021中国国际金融科技论坛”上表示。

姚前称，首先是算法滥用。算法规则的背后是商业利益。为了追求利益最大化，算法有可能违背社会公平、道德和人性，比如大数据杀熟，同样的商品或服务，老客户的价格反而比新客户要贵。只推荐给人们能潜在带来商业利益的东西，而不是最适合、最恰当的东西。可能滥用人性弱点，过度激发、劝服、诱导客户，使人习惯于被喂养，不自觉地对算法投放的产品沉迷上瘾。只有算法逻辑，没有考虑人性，将人“异化”为简单的数据、商品和工具。算法的具体原理和参数只有运营企业的少部分人才能知道，有可能产生利益侵占问题。有的企业可能利用算法作恶，比如为了扩大流量，推送耸人听闻的虚假信息；推荐虚假产品。

其次是算法偏见。算法的数据可能不一定全面，片面的数据得到的结果必然导致某种偏见。算法的设计者是人，算法设计师乃至企业管理者、价值观的偏见可能被嵌入算法。算法的“技术光环”容易让人盲从所谓的“科学”，但实质上有些算法却存在很大程度的不可解释性，比如类似“黑箱子”的机器学习算法；机器学习算法侧重于相关性分析，而不是因果分析，可能产生错误的勾连与判断；基于历史数据的机器学习算法隐含着“过去决定未来”逻辑，以历史宿命论定义和标签每个人，某种程度上也是一种偏见。

另外，算法鸿沟也值得重视。算法通常是隐秘的，或是专利，或是商业秘密。即便公开，也因技术门槛，也不是每个人都能看懂。这就形成新的数字鸿沟。不懂算法的人群在利益受损时有可能并不知情，即便知情，也可能无力举证和对抗。

姚前还表示，在特定领域，算法还可能引致特定风险。比如在金融领域，智能算法给出的资产配置建议有可能是推荐了与金融机构自身利益高度攸关的产品，涉嫌利益侵占；智能算法形成信息茧房，强化投资者偏见，容易掩盖金融风险复杂性，引诱过度消费和负债，甚至误导投资者；智能算法若存在歧视，则损害投资者公平性；智能算法趋同导致“羊群效应”，加大金融顺周期风险等。

因算法背后有一些风险，各国的监管部门高度关注算法隐含的风险。例如，欧盟《一般数据保护条例》（GDPR）第22条对自动化决策加以限制，如果某种包括数据分析在内的自动化决策会对数据主体产生法律效力或对其造成类似的重大影响，数据主体有权不受上述决策的限制。又例如，针对智能算法在投资顾问中的应用，美国证券交易委员会（SEC）、英国金融业监管局（FINRA）、澳大利亚证券和投资委员会（ASIC）出台了具体的智能投顾监管指引。

对于中国而言，也采取也一些措施。2018年发布的《关于规范金融机构资产管理业务的指导意见》也提出，要避免智能算法顺周期性风险、羊群效应等相关规定。2020年12月，中共中央印发《法治社会建设实施纲要（2020-2025年）》，提出要制定完善算法推荐、深度伪造等新技术应用的规范管理办法，要加强对大数据、云计算和人工智能等新技术研发应用的规范引导。网信办就《互联网信息服务算法推荐管理规定》向社会公开征求意见指出，算法推荐服务提供者应当落实算法安全主体责任，建立健全相应管理制度，制定并公开算法推荐相关服务规则，配备与算法推荐服务规模相适应的专业人员和技术支撑。应当坚持主流价值导向，加强信息内容管理，同时，算法推荐服务提供者不得利用算法实施自我优待、不正当竞争、影响网络舆论或者规避监管。

“总的来说，智能算法已在很多行业大量采用，考虑到其生态规模巨大、潜在风险和社会影响不容忽视。而我国算法监管制度正逐步完善和健全，但具体内容有待细化完善。从机理看，算法监管的具体内容至少包括以下内容。”姚前表示。

一是信息披露，即作为算法的设计者和控制方，相关主体及利益相关者应该披露算法设计、执行、使用过程中可能存在的偏见和漏洞、数据来源以及可能对个人和社会造成的潜在危害。

二是解释，即作为采用算法自动化决策的机构，相关主体及利益相关者有义务解释算法运行原理以及算法具体决策结果。

三是留痕与可审计，即算法系统的设计、测试、运行表现及变动留有记录，全程监测，并可审计。

四是质询和申诉，即确保受到算法决策负面影响的个人或组织享有对算法进行质疑并申诉的权力。

五是内部治理。相关主体应建立清晰、有效的内部治理框架、内部控制机制和责任体系，防止算法滥用，防范算法风险，并提高算法对抗性，避免算法攻击。

六是加强行业自律。通过行业自律机制，加强算法道德和算法伦理建设。

姚前表示，不可否认，算法催生了新的经济模式，带来社会整体效益的提升，有其独特优势，但“有一利必有一弊”，近年来算法滥用、算法作恶、算法道德、算法伦理等问题已引起广泛关注。马克思曾在《1844年经济学哲学手稿》中对机器工业化时代人类“异化”现象提出警示，就像机器流水线凌驾于工人之上，算法亦有可能凌驾于芸芸众生之上，其中风险同样值得关注与警惕。为此，加强算法监管，以监管科技应对新型科技，既是顺应之策，又是必然之举。