首页 | 资讯 | 家电 | 科技 | 产业 | 技术 | 生活 | 理财 | 探索 | 智能 | 滚动 |

 

天天速递！防范人工智能安全风险
发布时间：2022-09-28 15:32:40 文章来源：青瞳视角
将一张“神奇贴纸”贴在脸上，就能让人脸识别门禁系统出现误判，毫无防备地为陌生人打开大门;把这张“贴纸”放在眼镜上对准手机，就能解锁其人


(资料图片仅供参考)

将一张“神奇贴纸”贴在脸上，就能让人脸识别门禁系统出现误判，毫无防备地为陌生人打开大门;把这张“贴纸”放在眼镜上对准手机，就能解锁其人脸识别系统，获取用户信息如入无人之境……这曾经只出现在科幻电影中的场景，如今已经在现实生活中发生。日前，首届人工智能安全大赛在北京举办，上述攻防场景在大赛中令不少观众直呼惊讶。

近年来，我国人工智能产业规模快速增长。据工信部发布数据显示，人工智能核心产业规模超过4000亿元，比2019年同期增长6倍多，企业数量超过3000家，比2019年同期增加15%，在制造、交通、医疗、金融等重点行业形成一批典型应用场景。“伴随应用场景日益广泛以及使用频次快速增长，人工智能安全风险发生的范围和可能性持续提高。”中国科学院院士、清华大学人工智能研究院名誉院长张钹认为，以深度学习为代表的算法爆发拉开了人工智能浪潮序幕，在计算机视觉、智能语音、自然语言处理等众多领域取得长足发展。但以数据驱动的第二代人工智能在可解释性、稳健性方面的缺陷也逐渐暴露出来，导致安全事件频发。如何实现高质量发展和高水平安全良性互动，是当前人工智能产业面临的最为重要命题。

中国信息通信研究院发布的《人工智能白皮书(2022年)》同样指出，随着人工智能应用暴露出各种风险和挑战，以及人们对人工智能认识的不断深入，人工智能治理已经成为全球各界高度关注的议题，对可信安全的呼声不断增多。

“人工智能安全风险主要从‘人’与‘系统’两个角度剖析。从人的视角看，人工智能安全风险存在技术滥用甚至‘武器化’问题。”北京瑞莱智慧科技有限公司CEO田天以深度合成技术为例解释，该技术能够大幅提升内容制作效率与质量，但其负向应用——深度伪造的风险正持续加剧且已产生实质危害。比如，通过“AI换脸”捏造虚假讲话视频等引导公众舆论。对此，清华大学人工智能研究院基础理论研究中心主任朱军认为，技术是中性的，应加强对应用场景、使用者的监管，防止技术滥用等衍生风险发生，保障其应用可控。

大赛现场演示的人脸识别破解则展示了人工智能系统层面风险，它来自深度学习模型本身存在脆弱和易受攻击的缺陷，通过输入数据添加扰动，使系统作出错误判断，导致其可靠性难以得到信任。这一漏洞在自动驾驶感知系统同样存在：正常情况下，自动驾驶系统识别到路障、指示牌、行人等目标后，会立即制动车辆，但对目标物体添加干扰图案后，车辆感知系统就会出错，引发碰撞危险。“与传统信息系统不同，人工智能系统存在高度不确定性，技术漏洞更为复杂。”朱军建议，在算法模型外部署安全防护组件，利用算法安全检测与防御加固等措施，抵御模型窃取、对抗样本等新型攻击，提高攻击门槛与防御成本，让攻击者无利可图，从而在源头上实现安全。

北京航空航天大学软件开发环境国家重点实验室副主任刘祥龙则认为，构建科学评测手段是提高人工智能系统防御能力的另一项有效解决方案。人工智能算法不仅种类众多，还包含数据集、模型等众多要素，涉及训练、测试、验证等多个环节，这使得人工智能算法安全性评测成为一项复杂命题。因此，应配备从测试、分析到加固的完整技术手段，形成标准化测试流程。人工智能安全评估不仅局限于算法，未来还应拓展至数据、应用等多个层面，形成全面测评，保障人工智能全周期安全。

从长远看，人工智能安全问题需要从算法模型原理上寻找突破口。张钹提出构建第三代人工智能，即在第二代人工智能具有的数据、算法、算力3个要素基础上，再融合知识要素，建立新的可解释、稳健的人工智能方法。

筑牢人工智能安全屏障需要不断在攻防演练中升级对抗能力。大赛聚焦人脸识别、自动驾驶等场景中的典型漏洞及风险，通过考核漏洞发现、挖掘等能力，寻找新型安全需求场景，推动人工智能安全攻防技术创新，为强化人工智能治理体系与安全评估能力建设提供支撑。

作为人工智能产业发展重要基石，算力基础设施的加快建设将满足人工智能爆发式增长的算力需求。国家工业信息安全发展研究中心日前发布的《人工智能算力基础设施安全发展白皮书》指出，安全的算力基础设施应保护数据模型不被窃取，有效防范恶意攻击，提供可信任的运行环境，保障人工智能系统安全稳定。

但人工智能算力基础设施发展仍处于初期阶段，专门的安全标准、技术体系、评估规范、监测和检查手段仍在建设中。为进一步推动人工智能算力基础设施安全发展，国家工业信息安全发展研究中心副主任何小龙认为，算力基础设施与人工智能的安全问题相互交织，应构筑具有针对性的一体化、全链路标准体系，实现协同联防。同时，鼓励算力基础设施企业和算法企业加强合作，推动安全技术工具集成到人工智能算力基础设施中，降低企业应用人工智能成本，形成安全发展良好氛围。

标签： 人工智能 基础设施 清华大学

热点HOT

  • 笔记本电脑哪个牌子好 笔记本电脑怎么选
    笔记本电脑哪个牌子好 笔记本

    笔记本质量十大排名十大笔记本电脑品牌?笔记本电脑哪个牌子好?国内十大笔记本电脑排名：1、苹果apple(成立于1976年，是一家高端电脑、音视

  • 音乐学院招生选拔特点 11大音乐学院招生选拔特点
    音乐学院招生选拔特点 11大音乐

    对所有音乐艺考生来说，全国11大音乐学院(中央音乐学院、中国音乐学院、上海音乐学院、天津音乐学院、浙江音乐学院、西安音乐学院、武汉音

  • 为什么用文本来生成视频的 AI 工具也正变得越来越多
    为什么用文本来生成视频的 AI

    如同最近一年 DALL-E 2、Stable Diffusion 等文本生成图像模型发展一样，用文本来生成视频的 AI 工具也正变得越来越多。继 Meta 的

  • 保持血液中药物的最佳浓度 仍然是现代医学的主要挑战
    保持血液中药物的最佳浓度 仍然

    成功治疗疾病的关键方法之一，是在整个治疗过程中提供并维持体内药物的适当剂量。过少会降低治疗效率、导致耐药性，而过量则会增加副作用。

  • 卡内基梅隆大学成功开发出一款多功能、可更换、持久耐用的触感皮肤
    卡内基梅隆大学成功开发出一款多

    如今，人工智能逐渐与声音、视觉等人类感官融合，使人们之间的交流更便捷。但是，将人工智能与人类的触觉融合仍具有挑战性。为解决此项难题

  • Rubius采取了一系列节约成本的措施 包括裁员 75%
    Rubius采取了一系列节约成本的措

    今年 9 月 14 日，(NASDAQ: RUBY，以下简称为Rubius)宣布进行重组和调整资源，称接下来将重点集中在下一代红细胞偶联平台上。官方通稿

  • 为什么马斯克要重启短视频应用Vine
    为什么马斯克要重启短视频应用Vi

    短视频平台 (有可能)即将回归。从 2012 年到 2017 年，这款备受喜爱的有趣短视频分享软件在聚光灯下昙花一现，在鼎盛时期被关闭了服务

  • 基于阳离子脂质的高效纳米疫苗递送系统 细胞因子产量增加约100倍！
    基于阳离子脂质的高效纳米疫苗递

    近年来，免疫检查点抑制疗法等作为治疗癌症的新方法备受关注。然而，当前的免疫检查点抑制疗法仅对约 20%~30% 的癌症患者有效。部分原因

  • 打造一棵人类百年“科技树” 腾讯新总部将建永久科技馆
    打造一棵人类百年“科技树” 腾

    11月6日，2022腾讯科学WE大会十周年如期举行。"十年前，马化腾在首届WE大会上种下一颗种子，希望助力基础科学普及。WE大会历经十年，展现了

  • iOS 16又出新Bug：Face ID无法正常工作
    iOS 16又出新Bug：Face ID无法

    在数个版本的更迭之后，iOS 16的稳定性已经有了相当明显的提升，但仍有部分用户遇到了新的Bug。近日，有部分iPhone用户反馈称，自己的手机

新闻LOVE