点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:潘剑锋:智能体安全的核心,是驾驭AI不确定性
首页> 网安频道> 要闻 > 正文

潘剑锋:智能体安全的核心,是驾驭AI不确定性

来源:光明网2026-06-26 15:16

  “去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角。”在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋在接受采访时这样形容AI给网络安全行业带来的变化。

  在他看来,这并非安全人员的淘汰危机,而是整个行业加速升级的信号,并针对智能体的天然安全短板,提出了“驾驭AI不确定性”的全新安全治理范式。

  AI天生具备不确定性

  潘剑锋认为,传统安全面临的挑战,并不只是攻击手段增多、攻击速度加快,更深层的原因是计算逻辑发生了变化。

  传统软件建立在确定性计算之上,人把不确定的世界抽象、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定,模型能够直接处理模糊、开放、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源。即便输入相同的任务,智能体也可能产生不同的理解、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面。

  一面来自外部。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂”隐藏指令,进而实现模型注入、指令覆盖等。

  另一面来自内部。大模型依赖统计规律生成结果,不具备对现实世界的完整、稳定认知,因此无法彻底避免幻觉,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时,当智能体开始连续推理、调用工具,甚至与其他智能体协同工作时,一个看似微小的判断错误,可能沿着任务链不断传递和放大。过去,AI产生幻觉,可能只是“答错一道题”;今天,拥有系统权限和工具调用能力的智能体一旦判断错误,可能直接执行错误操作。

  因此,潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性”。

  不会AI的安全公司或先出局

  对于未来的市场格局,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断。“它可能更像手机行业,几家大型厂商占据主要市场,同时不同细分领域仍然存在大量专业化空间。”

  他同时强调,AI厂商并不会因为模型能力增强,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域。但AI的发展,已经开始重新划定安全行业的门槛。

  从识别确定威胁,到驾驭AI的不确定性,智能体安全的竞争已不只是增加一款产品,而是谁能率先建立一套与智能体能力相匹配的安全体系。(文/刘吉东)

[ 责编:杨经国 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 探访北京市密云区新农村中学安置点

  • 走进智利港口之城——瓦尔帕莱索

独家策划

推荐阅读
第二十七届"飞向北京·飞向太空"全国青少年航空航天模型教育竞赛活动(新疆赛区)选拔赛与2026年新疆青少年航空模型公开赛在新疆巴里坤哈萨克自治县盛大开赛
2026-07-12 15:26
天津师范大学组织英国 "中文培优" 项目学员、巴西及俄罗斯来华留学生团组136人走进天津京剧院,开展专项文化参访研学活动
2026-07-12 15:24
重庆市垫江县桂东街道长龙村,梯田里陆续抽穗的水稻绘就一幅丰收在望的画卷
2026-07-12 15:22
许多大学生来到江苏省徐州市云龙区图书馆参加图书整理、前台咨询、借阅管理等岗位的志愿服务,在社会实践中长才干、做贡献,丰富假期生活
2026-07-12 15:21
广西岑溪市安平镇富宁村,田园、青山、道路、民居相映成景,生态乡村景美如画。
2026-07-12 15:19