点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:潘剑锋:智能体安全的核心,是驾驭AI不确定性
首页> 网安频道> 要闻 > 正文

潘剑锋:智能体安全的核心,是驾驭AI不确定性

来源:光明网2026-06-26 15:16

  “去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角。”在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋在接受采访时这样形容AI给网络安全行业带来的变化。

  在他看来,这并非安全人员的淘汰危机,而是整个行业加速升级的信号,并针对智能体的天然安全短板,提出了“驾驭AI不确定性”的全新安全治理范式。

  AI天生具备不确定性

  潘剑锋认为,传统安全面临的挑战,并不只是攻击手段增多、攻击速度加快,更深层的原因是计算逻辑发生了变化。

  传统软件建立在确定性计算之上,人把不确定的世界抽象、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定,模型能够直接处理模糊、开放、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源。即便输入相同的任务,智能体也可能产生不同的理解、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面。

  一面来自外部。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂”隐藏指令,进而实现模型注入、指令覆盖等。

  另一面来自内部。大模型依赖统计规律生成结果,不具备对现实世界的完整、稳定认知,因此无法彻底避免幻觉,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时,当智能体开始连续推理、调用工具,甚至与其他智能体协同工作时,一个看似微小的判断错误,可能沿着任务链不断传递和放大。过去,AI产生幻觉,可能只是“答错一道题”;今天,拥有系统权限和工具调用能力的智能体一旦判断错误,可能直接执行错误操作。

  因此,潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性”。

  不会AI的安全公司或先出局

  对于未来的市场格局,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断。“它可能更像手机行业,几家大型厂商占据主要市场,同时不同细分领域仍然存在大量专业化空间。”

  他同时强调,AI厂商并不会因为模型能力增强,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域。但AI的发展,已经开始重新划定安全行业的门槛。

  从识别确定威胁,到驾驭AI的不确定性,智能体安全的竞争已不只是增加一款产品,而是谁能率先建立一套与智能体能力相匹配的安全体系。(文/刘吉东)

[ 责编:杨经国 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平会见柬埔寨人民党主席、参议院主席洪森

  • AI漫剧 | 拒绝毒品!人生不像游戏,没有可以重来的关卡

独家策划

推荐阅读
不同的时代,拥有着不同的童年乐趣。昔日简单的传统小游戏,装点了无忧无虑的年少时光;如今丰富多彩的科创活动,让孩子们在动手实践中收获成长。
2026-06-26 17:43
湖北省武汉市东湖风景区绿意盎然,美景如画,引得众多游客前来游玩,感受秀美风光
2026-06-26 14:51
近年来,黔西市铁石苗族彝族乡铁石小学积极落实"健康第一"的教育理念,以赛促练、以体育人,通过开展篮球、足球等多样化校园体育赛事,促进学生身心健康,增添校园活力,让学生在运动中感受快乐,健康成长
2026-06-26 14:51
在内蒙古兴安盟一处光伏发电场,鳞次栉比的光伏板与乡村、田野、山峦共同构成一幅美丽的图画
2026-06-26 14:51
以"黄河启新程出海新引擎"为主题的2026黄河流域跨境电商博览会在青岛西海岸新区开幕。展会开设多类专业展区,展览面积2.3万平方米,汇聚19个省市(区)60余个产业集群及近40家跨境电商平台
2026-06-26 14:50