点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:潘剑锋:智能体安全的核心,是驾驭AI不确定性
首页> 网安频道> 要闻 > 正文

潘剑锋:智能体安全的核心,是驾驭AI不确定性

来源:光明网2026-06-26 15:16

  “去年大家还在怀疑,AI能不能干好漏洞挖掘的活儿;今年,AI漏洞挖掘已经把安全人员逼到了墙角。”在ISC.AI 2026大会期间,360集团首席科学家、集团高级副总裁潘剑锋在接受采访时这样形容AI给网络安全行业带来的变化。

  在他看来,这并非安全人员的淘汰危机,而是整个行业加速升级的信号,并针对智能体的天然安全短板,提出了“驾驭AI不确定性”的全新安全治理范式。

  AI天生具备不确定性

  潘剑锋认为,传统安全面临的挑战,并不只是攻击手段增多、攻击速度加快,更深层的原因是计算逻辑发生了变化。

  传统软件建立在确定性计算之上,人把不确定的世界抽象、建模为确定的计算,这是人适应机器。但大模型出现之后,计算从确定走向了不确定,模型能够直接处理模糊、开放、充满变化的真实世界任务,机器可以理解人类意图、反过来去适应人了。

  这种不确定性赋予了AI推理、创造和处理复杂任务的能力,也成为智能体新型安全风险的根源。即便输入相同的任务,智能体也可能产生不同的理解、推理路径和行动结果。

  潘剑锋将这种不确定性分为一体两面。

  一面来自外部。攻击者不再需要直接下达明显的恶意指令,而可以把恶意意图隐藏在用户输入、系统提示、工具返回等内容中。人未必能看出其中的危险,大模型却可能“读懂”隐藏指令,进而实现模型注入、指令覆盖等。

  另一面来自内部。大模型依赖统计规律生成结果,不具备对现实世界的完整、稳定认知,因此无法彻底避免幻觉,比如编造不存在的实体、对事件顺序和持续时间的认知错误等。同时,当智能体开始连续推理、调用工具,甚至与其他智能体协同工作时,一个看似微小的判断错误,可能沿着任务链不断传递和放大。过去,AI产生幻觉,可能只是“答错一道题”;今天,拥有系统权限和工具调用能力的智能体一旦判断错误,可能直接执行错误操作。

  因此,潘剑锋认为,智能体时代的安全目标需要从“防御确定威胁”,转向“管控不确定性”。

  不会AI的安全公司或先出局

  对于未来的市场格局,潘剑锋判断,智能体安全将成为每个智能体的标配基础设施。

  但这一市场不会被一家厂商完全垄断。“它可能更像手机行业,几家大型厂商占据主要市场,同时不同细分领域仍然存在大量专业化空间。”

  他同时强调,AI厂商并不会因为模型能力增强,就直接取代安全公司。安全仍然是一个高度垂直、依赖攻防经验和行业知识的专业领域。但AI的发展,已经开始重新划定安全行业的门槛。

  从识别确定威胁,到驾驭AI的不确定性,智能体安全的竞争已不只是增加一款产品,而是谁能率先建立一套与智能体能力相匹配的安全体系。(文/刘吉东)

[ 责编:杨经国 ]
阅读剩余全文()

相关阅读

您此时的心情

光明云投
新闻表情排行 日/周
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 第十届上海国际木偶艺术周启幕

  • 城市作舞台 众客入戏来

独家策划

推荐阅读
2026年中秋国庆双节假期,金秋各地花海竞相绽放,从南国广西的五彩花田,到苏皖豫冀的粉黛菊海,再到东北沈阳的菊花展,缤纷花海成为假日文旅消费的亮眼风景线。
2026-10-06 17:03
游客在安徽省池州市九华山风景区登山游览。国庆假期,九华山风景区旖旎的自然风光,吸引不少游客慕名而来。
2026-10-06 16:55
游人在江苏南通洲际梦幻岛梯田花海中游览。经过多年的生态修复,这里从一片荒芜滩涂蝶变为长江畔的生态绿洲,成为各地游客亲近自然、休闲度假的好去处。
2026-10-06 16:53
陕西省西安市,夜色中的钟楼景区灯火璀璨,流光溢彩,吸引众多游人前来游玩,纷纷驻足钟楼打卡拍照留念,定格迷人夜景,现场人山人海十分热闹,钟楼迎来客流高峰
2026-10-06 16:51
农机手正在驾驶机械翻晒玉米,加快秋粮晾晒进度,助力颗粒归仓。
2026-10-06 16:48