4月29日，第八届数字中国建设峰会数字经济分论坛在福建福州举行。全国政协委员、全国工商联副主席、奇安信集团董事长齐向东在会上表示，大模型应用一端连着机遇、一端连着挑战，面对大模型应用的三重挑战，需抓住“接入放心用”“权限强管控”“严把内容关”“杜绝新隐患”“运营可闭环”五个关键，筑牢人工智能的安全底线。

　　齐向东认为，大模型应用面对着三大安全挑战。

　　一是“小数据”一失万无，“小数据安全”成为数字经济时代的核心关切。在数字经济时代，数据如同驱动发展的“石油”。借助人工智能大模型，企业通过对设计、生产等数据进行加工处理，形成精华“小数据”，这些“小数据”成为企业核心竞争力所在。一旦“小数据”被窃取、泄露或篡改，企业业务将面临危机。

　　二是大模型“裸奔”上线有可能引发业务停摆的链式危机。当大模型深度融入智慧城市、工控系统、智慧政务等关键领域时，会将风险串联成网。如果Ollama大模型服务器缺乏防护，任何人无需认证即可随意调用、访问服务，甚至能删除重要模型文件，可能导致与大模型关联的应用业务中断。

　　三是一旦大模型决策失准会引发“蝴蝶效应”。随着人工智能的深入应用，人们对人工智能辅助决策依赖日益加深，这给了不法分子可乘之机。从外部攻击视角看，黑客可以通过漏洞利用、数据投毒等方式，干扰大模型的决策，披着大模型的外衣作恶；从内部运营视角看，如果内部员工在更新知识库时，引入错误信息会污染模型学习环境，使其输出错误结论。

　　面对这些挑战，齐向东提出筑牢AI安全的“五个关键”。

　　“接入放心用”，构建大模型安全“红域”形成多维度边界隔离。奇安信创新提出安全“红域”概念，将大模型应用涉及的数据、算力、平台、应用以及域内管理的终端及人员划归专属安全空间中进行防护，并在每个与大模型交互的接入点设置安全空间控制单元，通过多维度的边界隔离，为大模型应用落地“强基础、控权限、审数据、拦攻击、清风险”。

　　“权限强管控”，以用户身份为新边界开展网络和数据安全防护。通过堡垒机、“零信任”等技术措施，对开发、训练等相关特殊人员和终端进行增强式安全管控。其中，“零信任”架构能在认证主体角色基础上，叠加IP、设备、安全环境和时间、位置及其上网行为基线等属性，确保合适的人在合适的时间、以合适的方式，访问合适的数据，杜绝“内鬼”隐患。

　　“严把内容关”，构建贯穿大模型全生命周期的内容安全治理机制。通过强化监测审计，实现对大模型的核心数据管控。包括对用户使用大模型过程中的不良内容、异常访问行为进行监测、审计、拦截和预警，及时优化管控策略。

　　“杜绝新隐患”，以实战为导向加强大模型应用安全评估。通过实战化评估方法，对大模型安全、大模型内容安全、智能体安全、大模型组件安全以及大模型运行环境安全等方向进行全面检测评估，验证安全策略有效性。并构建纵深防御与监测技术能力，降低大模型应用的数据泄露风险与业务中断风险。

　　“运营可闭环”，做到对安全威胁的实时监测和应急处置。面对人工智能落地应用带来的多重安全挑战，要用AI对抗AI，增补面向大模型攻击及异常行为的检测手段，实时监测针对大模型的攻击行为，并实现高效拦截，形成安全运营的闭环。（孔繁鑫）