《人工智能安全治理框架3.0》 的核心是别让AI做错事
前一阵,在济南开幕的国家网络安全宣传周上,全国网安标委正式发布《人工智能安全治理框架3.0》。
这是这个框架三年来的第三次更新。我一开始觉得,一个指引性文件一年一版,是不是更新得太勤了。
但把三个版本连起来看就明白了:不是文件爱更新,是AI这三年变得太快——快到去年定的规矩,今年就管不住新东西了。

先看三年三级跳,每一版都在追着AI跑
要读懂3.0,得先知道前两版管的是什么。
2024年的1.0,重点是内生安全和应用安全,说白了是防模型自己出错、防被人拿去乱用。2025年的2.0,视野扩大到衍生风险,开始关心AI对就业、对伦理的冲击,同时提出可信AI的基本原则。
到了3.0,情况发生了质变。用中国政法大学文禹衡副教授的话说,从去年底开始,大模型不再只是回答问题,而是演进到以智能体为代表、能主动执行任务的新阶段。AI会自己规划、自己调用工具、自己跨应用把一件事办了。
这正是3.0最核心的关注点:智能体带来的安全风险。文件还专门在附件里给出了一套智能体风险管理框架。问题从"它说的对不对",变成了"它做的对不对"。

3.0最大的变化:风险开始从屏幕里"溢出来"
我认为这版文件最有分量的一句话判断是——虚拟空间的行为,已经可以向外溢出,传导到物理社会。
过去的互联网,是把现实世界的信息投射到网上;现在反过来了,智能体在网上做出的动作,能直接改变现实。
所以3.0做了一个结构性调整:把智能体风险和具身智能风险单独成节列出来。
张凌寒教授把这个转变概括得很精准,治理从让"大模型不要说错话"的数字世界,转向让"智能体不要做错事"的物理世界,边界从内容安全延伸到了行为安全和系统安全。
具体到风险点,新增的东西针对性很强。比如非预期自主行为——AI没被要求,却自己干了别的事;比如数据投毒、合成数据缺陷;甚至专门设了一个"自主实施网络攻击威胁"专栏。
另一个全新类别叫"冲击网络安全风险",列出网络攻击能力扩散、自主化网络攻击、溯源追责困难等四类。
对应的技术措施也很有意思:要求设置网络安全护栏、识别攻击意图,一旦发现用户想搞攻击,就启动服务降级、差异化降低模型能力甚至直接拒答。等于给AI装了个"看出你要使坏就自动收力"的机制。
不是要捆住AI,而是"随行伴跑"的动态平衡
很多人看到"治理框架"就担心:是不是又要给创新踩刹车了?
这份文件其实把态度写得很明白。它不是强制法律,而是一把尺子——监管者拿它来衡量,企业主动对标,反而能在市场上赢得用户信任。
在怎么管上,3.0给出的关键词是沙箱监管和动态平衡。沙箱就是给新技术一个风险可控的试验场,允许犯错、允许试错;动态平衡则是不找一个固定的松紧点,而是风险高就管严一点、风险低就放开一点。
文件里有个词我特别喜欢,叫"随行伴跑"——监管不是站在终点拦你,而是跟着你一起跑,边跑边校正。
同时它也没回避开源。3.0专门强调开源生态安全,要求明确开源模型下载使用的"禁止性行为"、划出红线,同时鼓励开源、提高透明度。这背后是一种清醒:越强大的AI越不能是黑箱,但开放不等于放任。
我的判断是,框架3.0真正的意义,在于它承认了一个正在发生的事实:当AI能自己动手、能走进现实世界,安全治理的对象就必须跟着从"内容"升级到"行为"。这一步如果不提前走,等智能体大规模替人办事的那天,风险会比今天大得多。
技术跑得快,规矩得跟得上,但又不能把路堵死。这份"小步快跑、随行伴跑"的中国式治理,能不能跑赢AI的进化速度,还需要时间检验,但至少方向是对的——让AI去做事,但要让它做对的事。
原文标题 : 《人工智能安全治理框架3.0》的核心是别让AI做错事
图片新闻
最新活动更多
- 1 海康威视利润修复,扩张逻辑正在改变
- 2 智能体安全,正成为金融AI的新门槛
- 3 季报 | 2026Q3中国消费级监控摄像头市场量减价升:销量下降12.3%,销额微增0.2%
- 4 月报 | 2026年9月中国消费级智能安防线上市场:小米获三大类量额双榜第一;萤石、360、神眸布局全面
- 5 AI不反叛,它只是绕过你
- 6 【轨物方案】制造企业上 AI,数据安全不能只靠一句“我们很安全”
- 7 Anthropic 祭出全新治理架构:重新定义 AI 公司的资本规则
- 8 人工智能闯了祸却没人买单:它给警方递了条假线索
- 9 下一个战场不是算力,是安全:黄仁勋的AI新赌局
- 10 国土安全部 4.1 万员工信息泄露:卧底特工与 Grok 权限组一并曝光
- 资深机械工程师 广东省/深圳市
- 激光器高级销售经理 上海市/虹口区
- 系统集成工程师(LED显示屏) 广东省/深圳市
- 项目经理 江苏省/徐州市
- (高级)光学产品工程师 福建省/福州市
- 机器学习高级工程师 广东省/广州市
- 产品总监(金融行业) 广东省/深圳市
- 光学研发高级工程师 广东省/深圳市
- 电子工程师 江西省/宜春市
- 营销总监 广东省/深圳市


分享














发表评论
登录
手机
验证码
手机/邮箱/用户名
密码
立即登录即可访问所有OFweek服务
还不是会员?免费注册
忘记密码其他方式
请输入评论内容...
请输入评论/评论长度6~500个字
暂无评论
暂无评论