今天旷视正式成立了人工智能治理研究院。作为一家在发展人工智能过程中同时关注人工智能风险、伦理与治理，并采取实际行动的企业，值得点赞。旷视总结的全球十大AI伦理与治理热点事件具有一定的代表性，涉及到人工智能的权利与义务、个人数据与隐私、合理的知情同意、对人类能动性的侵犯、人工智能的内部与外部安全、人工智能对人类职业的影响等诸多主题。每个案例进行一定的延申，都会引发更深刻的思考。我在这里就每一个案例表达一些个人不成熟的看法，抛砖引玉。一方面希望通过这样的讨论支持像旷视这样的人工智能企业深刻思考人工智能伦理与治理的问题，另一方面期待企业、学术界、政府深度协同，将人工智能治理通过技术与社会等不同途径进行扎实的落地。

1. 欧盟专利局拒绝AI发明专利申请

评论：人工智能在某种受限的领域和场景下确实有可能进行一定程度的发明创造，未来人工智能最重要的探索方向之一就应当是使人工智能真正具备发明和创造的能力。然而人工智能是否可以作为专利申请者却是一个看似关联，却要思考相当不同的问题。如果人工智能可以作为专利申请者，需要做一系列决策，以萨里大学开发的DABUS为例，专利申请是由研究人员代替DABUS做出的决策，即使这是被允许的，那么获得的专利权是属于DABUS还是DABUS的研究人员，DABUS是否具有使用和处理该专利的权利呢？如果DABUS享有专利权，权力和义务是共存的，是否也应当承担相应的义务呢？例如人工智能设计的专利，就此研发的产品如果存在缺陷、风险和安全隐患（如人工智能用于制药），若发生事故，责任如何分担？既然DABUS不是自主提出申请专利的，那么DABUS是否需要承担责任？又如何承担责任？DABUS可以是一个责任主体吗？还是风险以及其他类型的义务应当由代替其做申请决策的DABUS的研发人员、甚至是大学来承担？这些问题都还需要更深入的探讨。

2. 中国人脸识别第一案：浙理工教授状告杭州野生动物世界

评论：一方面，上述案件双方之前的协议并没有合理的中止，进一步收集更多的个人信息的同意与否与用户原有应享有的服务进行强制关联存在不妥之处。另一方面，采用人脸识别服务的应用方以及人脸识别服务的提供方是否能够确保数据在用户知情同意的基础上进行合理使用，并保护数据的隐私与安全是每一个人工智能服务提供方和应用方都应当深切关注并采取行动的，2019年年初深网视界的个人隐私数据泄露事件几乎可以肯定不会是个案，如没有引起人工智能研发与应用各个相关方对个人数据隐私与安全基础设施的足够重视，将有发生类似甚至更严重事件的风险。基于实际行动提升人工智能服务方和应用方与用户之间的信任关系是人工智能技术是否能够更广泛的造福于人类的前提。

3. 某智能音箱劝主人自杀

评论：目前的人工智能系统对其输出是否符合人类道德伦理并没有自主的判断能力，这是为什么人工智能系统需要学习人类价值观，实现价值观校准的原因。此外，目前的自然语言处理技术仍然停留在模式匹配和基于统计的处理，而不是像人一样对语言及其实际含义的深度理解。因此“智能音箱”给出的建议其本身并不是真正理解。未来非常需要技术的发展为人工智能模型及其应用构建自动化的道德与伦理评估框架，尽可能避免系统利用数据中隐含的人类负面情绪、偏见、成见，对用户产生的负面影响。

4. “监测头环”进校园惹争议

评论：对个人生物特征数据进行收集与分析必须建立在非被动同意的基础上。无论是类似于脑机接口这样的增强智能技术还是更广义的人工智能技术，对下一代的影响绝对不仅仅是理想化设想中的“益处”，更应当关注此类技术对下一代的长期影响。在被迫同意的基础上，我们甚至无法避免下一代对于人工智能及其服务产生敌视情绪，甚至可以想象很快会有人热衷于研发反监测手段与技术。这将与技术发展的初衷背道而驰。

5. 加州议会通过议案：禁止警方在人体摄像头上使用面部识别技术

评论：一方面，应当鼓励人脸识别等技术在十分必要的场景进行合理的使用，例如在追踪嫌疑人和寻找失联儿童等类似应用中。另一方面应当指出，人脸识别存在的潜在风险，如潜在的性别偏见、种族偏见、在对抗攻击面前表现出的脆弱性和安全隐患等，广泛的存在于其他类型的生物特征识别技术中，例如步态识别、指纹识别、虹膜识别、甚至是声纹识别。禁用某一项或某几项技术并不能规避可能的潜在风险，而是应采用技术和非技术手段改善现有技术存在的问题，积极避免可能存在的风险，并善用相关技术为人类造福。

6. AI 换脸应用引发隐私争议

评论：不合理的用户协议是AI换脸应用事件问题最严重的方面。相关的文字与诸多个人数据保护条例、人工智能伦理原则等都是相违背的。而用户为了“尝鲜”很可能选择不理性的决定，同意了相关协议，可能带来的后果有可能是用户始料未及的。这个事件对人工智能服务的用户最大的警示就是充分重视用户协议并作出合理的知情同意决定。另一方面，工信部在4天内对相关企业的约谈，要求自查整改并取得及时与积极的成效，是中国人工智能敏捷治理的典型案例。

7. 自动驾驶安全事故频出

评论：自动驾驶存在的安全隐患不仅仅是感知技术处理常规场景的成熟与否，还包括如何应对对抗攻击等。未来更大的挑战可能还来自于外部的安全隐患，即对自动驾驶控制系统的入侵，甚至是恶意操作。相关的隐患不仅仅会危及到个人安全，甚至会影响到社会安全。此外，自动驾驶系统如果能够对周围其他车辆和行人做出明显的告知，则可能避免一些潜在隐患。未来急需对自动驾驶建立更全面的安全评估和保障框架。

8. AI编写假新闻足以乱真

评论：采用生成模型自动制造假文本与视频新闻是人工智能滥用和恶用的典型案例。这是中国网信办发布《网络音视频信息服务管理规定》，以及美国加州相关法规严格禁止其应用的原因。我们首先要认识到人工智能造假技术对人类尊严、社会稳定与安全等方面潜在的不可估量的负面影响，而对于技术的研发者，应当付出的努力还包括通过反造假等技术尽可能避免相关技术被恶用的可能性。

9. 斯坦福大学AI算法识别性取向准确率超过人类

评论：一方面，人类隐私的诸多方面在对他人不造成伤害的前提下都应当得到合理、合法的尊重。并且算法的识别准确率基于以偏概全的统计结果，即使实践中正确率至今为止是100%，也无法断定对一个新个案的判断是否绝对准确。而由自动识别与预测的结果产生的后果却是这种不确定性无法承担的。这类应用在一定程度上侵犯了人类的能动性(Agency)，与普适人类价值观也存在冲突。还可以想到一些已经发生的类似案例，同样具有潜在风险的应用，如通过面部识别判断健康状况，通过人脸视频识别心跳等。诸如上述案例相关的发展和应用应当特别谨慎。

10. BBC 发布 10 年后 365 种职业被淘汰概率：打字员、会计、保险业位居前三

评论：人工智能替代人类一部分工作是发展的必然。未来一方面应当在此过程中努力推动人机协作的未来工作。另一方面，应当鼓励人们重新审视对自身、职业及生活意义的定义，发掘人类的优势与真正应当由人类专注的工作。例如布鲁金斯研究所Darrell M. West的著作《The Future of Work》就指出：必须扩大“就业”、“工作”的概念，应当接受 “工作” 不再定义人们的个人意义感这个趋势。

类似于上述的案例引发国际科技、政策等领域以及全社会的广泛关注，政府、政府间组织、学术界、产业界、非营利性、非政府组织在近三年来陆续发布了近70份人工智能的伦理、治理原则（具体见我课题组的另一项研究）。人工智能伦理与治理原则的发布及实施目的是保障人工智能的稳健发展。各个国家人工智能伦理与治理原则的提出都是对人工智能进行负责任创新的重要尝试，而未来的重点一定是伦理与治理原则如何进行技术与社会落地。此外，原则的提出一定不是一成不变的，针对人工智能的发展需要采取敏捷治理。自适应人工智能日新月异的变革并确保其健康发展方向是各个国家、科研机构、企业开展人工智能治理研究与实施面临的机遇与挑战。