第三章|构建面向可持续发展的人工智能技术体系《人工智能 ...

金瑜

阿里巴巴集团联合中国信通院编写了《人工智能治理与可持续发展实践白皮书》，全面总结了阿里巴巴在人工智能治理与可持续发展领域的实践，重点针对当前人工智能应用中的热点问题，从数据、技术、管理及多元协同等方面，系统性介绍了我们的实践思路和方法，同时辅以若干专题进行阐释，期待为社会各界提供有益参考。
现分章节陆续分享。往期章节回顾请点击 ：
<hr/>  以下为第三章内容：
人工智能仍是一项新技术，回顾其发展历程，真正大范围地从实验室走向产业实践、广泛应用于我们的生产和生活之中，不过是最近十年的事情。持续探寻更健壮的技术以及科学管控现有技术的“缺陷”，构建面向可持续发展的人工智能技术体系，致力于推动人工智能技术可用、可靠、可信，其内涵包括提升技术安全和构建技术管理机制两个层面工作。

3.1提升人工智能抗风险的技术能力
落实人工智能治理的各项要求，需要从基础技术层面，不断提升人工智能鲁棒性、可解释性、公平性等方面的基础能力。

1.鲁棒性增强技术及实践
人工智能鲁棒性通常用于描述，当输入信息因外部干扰或环境条件发生变化时，人工智能系统仍保持其性能水平的能力。鲁棒性一般可以分为对抗鲁棒性和分布外鲁棒性。其中，对抗鲁棒性指模型防御对抗样本的能力；分布外鲁棒性指模型的泛化能力，即当待识别数据的分布特性与训练数据不同时的识别能力。

增强人工智能系统鲁棒性，一般可以从数据、模型、系统等多个维度开展工作。提升数据质量，进行数据质检确保标注数据的基本质量；采用聚类、主动学习等策略选择更有价值的数据；使用数据增强技术模拟未知输入。提升模型能力，引入对抗样本训练，确保技术安全；尽量复用经过行业广泛验证的最佳模型结构；探索研究自监督学习、半监督学习等技术，充分挖掘无标签数据，提升模型泛化性。系统策略层面，采用模型解耦或者模型集成的方式，同时对模型实施在线更新，全面提升整个系统的鲁棒性。

针对鲁棒性问题，阿里从对抗攻击技术的角度构建了模型鲁棒性评测系统。在鲁棒增强技术方面，阿里从对抗样本检测、弱对抗训练以及网络结构探索等多个方面开展积极的探索与实践，沉淀了丰富的鲁棒防御技术。

除了内部实践外，针对鲁棒性评测，阿里联合清华大学、瑞莱智慧一起推出模型对抗鲁棒性和分布外鲁棒性基准平台ARES（Adversarial Robustness Evaluation for Safety）, 评测了ImageNet上49个模型的对抗鲁棒性和分布外鲁棒性性能。此外，阿里开源了业界首个针对视觉模型的鲁棒学习框架EasyRobust。

EasyRobust可以便捷地实现数据增强、模型预训练、模型结构设计与选择等，帮助业界快速实施鲁棒性技术研发工作。基于此框架，阿里重新思考Vision Transformer的鲁棒性设计原理，对网络组成单元进行了鲁棒性分析（包括对抗鲁棒、通用噪声、分布漂移等），通过组合各个鲁棒单元，创新性地构造了鲁棒视觉网络结构RVT，相关研究工作已被计算机视觉顶会CVPR2022录用。

2.公平性保障技术及实践
人工智能在自动化决策中存在不公平决策行为，呈现出有意识或无意识偏见。产生这些偏见的原因可能存在于数据采集、算法构建、模型应用的各个环节，因此需要构建公平性评估指标加以约束。

根据现有研究，公平性评估指标总体可以分为个体公平性（individual fairness）和群体公平性（group fairness）两大类，前者强调对于任何相似的个体，都能给出一致的决策结果；后者侧重于衡量人工智能系统对基于敏感属性（如性别、种族、宗教、信仰等）划分的不同群体之间的偏见程度。

算法去偏（bias mitigation）技术是预防和消除人工智能算法偏见，实现决策公平的核心手段，可以按照介入阶段分为以下三类。其中，预处理公平性技术通过优化算法训练数据来解决训练数据中的偏见问题，例如将训练数据进行映射转换以生成公平的训练数据集。过程中公平性技术主要通过在训练阶段增加公平性指标约束，从而改进和优化智能算法，以在模型学习阶段消除偏见。后处理公平性技术通过直接修改算法的决策结果以使其满足公平性要求。

值得注意的是，公平的概念是抽象的、发展的，公平性指标也随场景的不同而拥有不同的含义和表现形式。阿里针对公平性问题开展了积极的探索，在电商场景下不断实践算法去偏技术。

例如，在用户侧，通过过程中约束相关性和发现性等指标并对推荐结果进行重排、打散以减少推荐匹配错误和信息茧房现象的产生，保障各个消费群体使用推荐产品的体验；在商家侧，通过对有潜力的长尾商家和高品质商品进行孵化，缓解平台上头部聚集的马太效应，同时依托各种反作弊技术打击“蹭热点”式的软性流量劫持，保障流量资源分配的公平。

3.可解释增强技术及实践
研究可解释性更强的人工智能算法，对于预防和减少用户担忧，提升人工智能可信度具有十分重要的意义。近年来，可解释人工智能的研究备受关注，相关方法可以分为模型自解释、模型事后解释和因果机制解释等三类。

模型自解释指从模型自身在理论层面上具有解释性，决策逻辑能被直接理解，例如在深度学习领域，Joel Vaughan等通过对岭函数和投影系数的展示，解释输入特征与复杂神经网络输出之间的关系，相关研究还在不断探索中。模型事后解释是针对已训练好的人工智能模型进行解释，包括全局解释和局部解释方法。

其中，局部解释方法通过分析样本特征对模型决策结果的影响程度，来帮助人们理解和学习模型针对特定输入样本的决策过程和决策依据。全局解释方法以人们可理解的方式从整体上解释模型背后的决策逻辑和内部机制，将模型的结果进行可视化。因果机制解释是针对由不可观测变量导致的因果倒置等问题，帮助发现和理解背后的因果机制，从而提升决策合理性和可预测性。

可简单分为结构因果模型和潜在结果框架两大体系，其中结构因果模型通过建立因果图和一系列结构方程，直观地展示变量之间的因果关系；潜在结果框架旨在估计不同干预（即变量取值）下的潜在结果，以评估变量对目标的因果效应。

总体上来看，人工智能可解释性相关的技术和理论研究工作还处于探索阶段。阿里十分重视相关研究工作，围绕可解释的深度学习模型、因果推理等前沿方向发表多篇学术论文。同时在风险策略智能化、推荐算法自评估等场景中，积极探索模型解释技术的多样化应用，如规则可解释、风险异动归因、关键信息可视化等，为相关工作的优化提供了有力支撑。

3.2构建全生命周期的可信技术应用规范

应对人工智能技术在实际应用中引发的风险，除了积极推动人工智能技术可信能力的提升，不断减少技术本身的脆弱性，还应该构建更为积极的技术应用规范，规避现阶段人工智能技术“缺陷”带来的问题。
1.人工智能产品不同阶段的风险挑战
人工智能产品研发中规划设计、研发部署、运营使用环节的风险挑战识别十分重要，对于构建可信研发的实践范式具有重要意义。

在规划设计阶段，难以在初始阶段形成完备的风险分析，与此同时，确保相关理念贯彻执行存在挑战，在设计理念、规范传达给个层级实施人员过程中，存在非正确传达、误解等风险，尤其机器学习场景中固有的不可预测性，传达实施偏差会进一步加剧。

在研发部署阶段，一方面，数据层面可能会遇到数据缺失、重复、不一致、来源不明等问题；另一方面，模型技术层面存在着技术选型不恰当，模型尚未完备训练即开始上线服务，以及模型运行之后的动态更新缺乏足够验证等挑战。

在运营使用阶段，一方面，在人类和人工智能交互时可能出现误用、过度依赖等问题；另一方面，人工智能相关技术存在着被恶意使用的风险。

2.构建可信人工智能研发管理机制
正是由于人工智能技术在一定程度上的不可预测性，以及其通常是持续更新、持续服务的特性，使得人工智能技术规范与传统技术存在差异。结合人工智能在不同阶段的风险，总体上看需要从三个方面构建可信的技术规范。

01
构建充分的容错机制和溯源机制。对人工智能软件和硬件等进行冗余设计，同时增加不同层级的人工控制点，确保使用者在最终决策过程中具有决定权和自主权。此外，应留存人工智能系统各项相关记录，确保全过程的可溯源。
02
强化全生命周期的评估测试工作。在人工智能技术系统研发的全生命周期，设计严谨、准确、全面的人工智能测试与评估流程。围绕人工智能系统的可信要求，设计具体的测试指标与测试方法，以量化的方式评估相应技术系统的性能优劣，确保设计的理念得到明确的贯彻执行。
03
开展持续的动态监测工作。对人工智能技术和系统在实际应用过程中，进行全方位的监测，确保及时发现、并处置相应的风险问题。
<hr/> 下期预告<br/>专题：《筑牢深度合成全链条治理基石》



我们将持续更新，敬请期待 ～
更多人工智能治理新技术、新风向、新观点，请关注【阿里巴巴人工智能治理与可持续发展研究中心AAIG】公众号