点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:齐向东:用标准迎战大模型时代的安全挑战
首页> 网安频道> 技术前沿 > 正文

齐向东:用标准迎战大模型时代的安全挑战

来源:光明网2024-12-09 19:05

  12月8日至11日,全国网络安全标准化技术委员会2024年第二次“标准周”活动在海南海口举行。全国政协委员、全国工商联副主席、奇安信集团董事长齐向东,理想汽车副总裁、信息安全负责人赵东,海康威视副总裁、首席安全官王滨等代表,分别分享了新理念新格局下的网络安全政策、技术、产业发展新思路,探讨新技术新应用新业态的标准需求。

齐向东:用标准迎战大模型时代的安全挑战

  齐向东在以“网络安全大模型与安全协同能力的思考——用标准迎战大模型时代的安全挑战”为主题的演讲中表示,针对大模型时代安全防护面临的各种挑战,可用强制性合规标准进行应对。当前,大模型在各行业广泛应用,须加快制定并落实针对大模型的强制性合规标准,确保其研发、训练、部署全流程的安全要求与最佳实践得以严格遵循。

  齐向东提到,大模型时代对安全防护提出的三大挑战。

  一是对安全设备的日志和告警提出挑战。人工智能大幅降低了网络攻击门槛,让不懂代码、不懂技术的普通人也能成为黑客,网络攻击数量大幅增加。专业的黑客组织还能利用人工智能对攻击进行改造升级,“饱和式”攻击成为可能,原有的网络安全运营体系能被轻松打垮。人力不足使得大量告警被忽视,成为网络安全的一大漏洞。同时,日志和告警数据信息量有限,颗粒度不细、缺乏上下文关联和过程展现,难以被安全大模型理解,影响安全防护效果。

  二是对安全事件分析知识提出挑战。大模型时代,安全事件分析的机制发生了变化。传统的安全事件分析依赖人的个体知识,难以实现经验的有效传承与复用。而大模型可以吸收人的经验和知识,在学习所有已知做题方式的基础上,继续打破人的认知局限,快速分析研判安全事件。但安全专家的经验多存在于脑海,书面表达缺失、质量参差不齐,难以转变为安全大模型需要的精准“知识”。

  三是对安全设备的协同标准提出挑战。在大模型时代,如何让安全设备和安全大模型实现充分对话、无缝衔接,成为接下来的核心任务。然而,许多安全设备没有告诉安全大模型自己能做什么,导致大模型无法调动这些设备进行有效的安全防护。

  面对大模型的安全挑战,我们还需关注大模型自身在基础设施、数据安全和输出接口方面的安全问题。

  在大模型IT基础设施方面,算力资源环节若出现防护纰漏,可能导致整个算力网络出现安全隐患,造成严重损失。同时,大模型基础环境可能存在漏洞或后门,主流AI算力框架也曾出现漏洞被利用的情况。

  在大模型数据安全方面,窃取大模型数据的手段多样,如劫持攻击、提示词注入攻击、员工不当操作、爬虫技术等屡见不鲜。更令人担忧的是,投毒攻击和数据污染事件频发,不仅扰乱输出内容,甚至会影响社会认知。

  在大模型输出接口安全方面,API作为常见的开放方式,其接口数量多带来漏洞和后门隐患,身份验证和授权机制不完善,容易导致数据被窃取、篡改或破坏,直接影响大模型自身安全。

  “面对这些安全挑战,完善大模型强制性合规标准迫在眉睫。”齐向东强调,大模型实践先行的局面已经形成,各行业大型机构都在积极开展大模型应用。但运用越广泛,安全威胁也越大,必须加快跟进针对大模型的强制性合规标准,确保研发、训练、部署过程的安全要求和最佳实践得到遵守。

  比如,在大模型审计方面,强化知识产权合规、数据合规、算法合规等标准;在专业安全评估方面,明确评估范围和目标、建立适用于大模型的评估流程和管理制度、协助制定整改计划等;专业安全产品保障方面,强化全生命周期安全、完善整体应对方案、用好安全检测工具。(孔繁鑫)

[ 责编:李政葳 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 2025腾冲科学家论坛开幕

  • 沪渝蓉高铁通泰扬特大桥跨太平河桥精准合龙

独家策划

推荐阅读
民族文化宫里珍宝千千万,但说到“镇馆之宝”,首先想到的便是1300多年前文成公主带到西藏的长鼓,许多观众慕名而来只为一睹它的“芳容”。
2025-11-28 13:02
为庆祝新疆维吾尔自治区成立70周年,“异元汽车杯”首届新疆国际摄影大赛9月28日正式启动。
2025-09-29 14:31
2025年4月10日,安徽省芜湖市无为市昆山镇三公山茶叶种植基地,千亩高山野生杜鹃在翠绿的茶园之间绚丽绽放,美轮美奂,美不胜收
2025-04-10 15:13
2025年4月1日,北京怀柔慕田峪长城内外山花盛开,美丽的春花把古长城打扮的多姿多娇,犹如春天里一幅壮美的风景画
2025-04-02 15:44