点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:防范“野蛮生长”,规范引导AIGC向上向善
首页> 网安频道> 技术前沿 > 正文

防范“野蛮生长”,规范引导AIGC向上向善

来源:文汇报2023-08-11 10:13

  怎样判定生成式语言大模型会否“一本正经地胡说八道”?如何知道自动驾驶系统能够抵抗得住外界恶意攻击?功能强大的AI(人工智能)大模型也需要“健康检测”,以确保其准确性、抗攻击性及安全性。

  近日,上海首家生成式人工智能(AIGC)质量检验检测中心挂牌批筹,为AI大模型等智能软件提供专业化“体检”。挂牌两个月来,这家AI质检中心已出具75份“体检报告”。

  在AI质检火爆的背后,折射出整个产业对于行业质量规范的渴求。尽管目前AI检测尚属于企业自主行为,但未来对于大模型安全性、可解释性、伦理风险的检测检验,将会形成国家强制标准。上海这一探索将在检测与标准同步发展的新模式下,对生成式AI产业的规范与引领产生积极影响。

  给ChatGPT做测评,为AI系统“质量保障”探路

  走进上海市北高新区区块链谷,筹建中的上海生成式人工智能质检中心里,一台台电脑中正奔跑着AI“体检”软件。

  今年,ChatGPT带动了生成式人工智能应用的火爆。我国迄今已推出上百个大模型,如何客观地评价、比较大语言模型及其他AIGC模型的性能,成为大模型应用的关键一环。

  上海计算机软件技术开发中心主任蔡立志介绍,软件中心是上海科学院的直属单位,作为一家长期以为网络安全保驾护航为使命的研究机构,从2016年起就关注人工智能的安全问题,迄今已开展了2000多项AI检测业务。

  在多年技术与行业经验积累的基础上,经过近两年的准备,上海市生成式人工智能质检中心于两个月前在软件中心正式挂牌批筹。“挂牌后不久,我们就给ChatGPT做了一次测评。”上海计算机软件技术开发中心软件工程研究所副所长陈敏刚博士透露,测评的确可以对生成式语言大模型的推理、抗幻觉、理解用户意图等能力,进行客观评价。

  蔡立志介绍,质检中心主要面向生成式人工智能所涉及的计算机视觉、自然语言处理、内容生成等领域,聚焦人工智能生成内容语义表达能力、逻辑推理能力、合成内容鉴别,以及功能、性能、安全性评估等,“通过提供全方位的测评服务,以保障人工智能系统或应用的质量”。

  AI“体检”火爆,“守底线”更要引领产业

  随着大模型技术的快速进步,在人工智能应用不断深入的同时,利用AI换脸、合成语音进行传播虚假信息、行骗等危害社会的现象也不断发生。

  7月10日,国家网信办等七部委联合发文《生成式人工智能服务管理暂行办法》,明确了AIGC服务提供者的责任,包括信息源可信责任、生成内容合法合规责任、申报安全评估及算法备案责任。

  “管理办法的落地,需要专业的第三方机构提供AI质量检验检测服务。”蔡立志透露,质检中心去年筹建期间已完成300多个AI质检项目,“正式挂牌仅两个月,就已出具75份相关检测报告”。

  由此可见,为AI做“体检”的需求有多火爆。事实上,这项工作本身就是一项含金量极高的技术活儿。上海计算机软件技术开发中心副主任宋俊典告诉记者,对于一些大型复杂AI系统的检测,甚至需要根据应用场景专门搭建检测检验系统,耗时可能长达半年,同时还需要研发大量相关技术与标准。近三年来,上海软件中心为上海乃至长三角地区人工智能企业与应用方提供专业的第三方测评服务数年均超过500项,累计发布AI检测相关标准30余项。

  “对于AI的质量检测,只有好与差之分,没有对与错的判断。”宋俊典解释,通过质检,厂商能更清晰地了解AI软件的性能,对产品的迭代与优化更有针对性。

  检测检验是行业话语权的重要标志,检测标准往往是一个行业的发展风向标。然而,对于人工智能这个飞速发展的领域,蔡立志认为,不能简单套用传统产业“先立标准后检测”的“守底线”模式,而应采用检测与标准同步发展的新型模式,以起到规范、引领产业的作用。

  据悉,目前AI检测尚属于企业自主行为,未来对于大模型的安全性、可解释性、伦理风险的检测检验,可能会形成国家强制标准。(文汇报记者 许琦敏)

[ 责编:雷渺鑫 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  •  

  •  

独家策划

推荐阅读
奔跑吧·少年2024年内蒙古自治区棒垒球邀请赛在鄂尔多斯市康巴什区开赛。
2024-04-20 17:03
4月2日,随着57652次检测车从南充北站5道缓缓驶出,标志着新建汉中至巴中至南充铁路南充至巴中段(以下称"巴南高铁")启动联调联试,进入工程验收关键阶段,为全线早日开通奠定了坚实基础
2024-04-03 15:11
为切实织密森林“防火网”各地组织人员巡查防火。
2024-04-03 15:11
2024年3月31日,“知音湖北 遇见浪漫孝感”春赏花活动在湖北省孝感市金卉庄园景区启动。金卉庄园花团锦簇,五彩斑斓花卉竞相绽放。人们穿梭在花海之间,享受明媚春光。
2024-04-02 15:40
2024年3月23日,由中国服装设计师协会主办的2024秋冬中国国际时装周在北京开幕。
2024-03-26 21:07
3月17日,原创独立设计师品牌SHANG1 BY SHANGYI 2024秋冬系列时装发布会在北京举行。
2024-03-18 16:39
2024年2月28日,新疆维吾尔自治区巴音郭楞蒙古自治州博湖县境内的博斯腾湖出现推冰景观。
2024-02-29 18:59
云南省曲靖市罗平县马街镇钻天坡,盛开的油菜花梯田在初升太阳映照下,勾勒出一幅田园春景图
2024-02-23 10:59
美丽的三亚湾
2024-01-20 17:42
2024年1月12日,江西省吉安市吉州区庐陵文化生态园层林尽染,色彩斑斓,市民徜徉其间,尽享生态之乐。
2024-01-13 19:43
2023年12月26日,在云南省红河哈尼族彝族自治州元阳县新街镇黄草岭村附近,游客在冬樱花与梯田边游览。
2023-12-26 15:39
2023年12月12日,新疆哈密市巴里坤县第十九届冰雪文化旅游节采冰仪式在高家湖二渠水库进行。仪式主要展示了"头冰"的开采上岸过程。开幕式上还举行迎风旗、祈福词、喝出征酒等仪式。
2023-12-13 16:08
2023年12月13日,河北省正定古城迎来降雪,古城内外银装素裹,犹如一幅淡雅的水墨画,美如画卷。
2023-12-13 15:59
2023年11月28日,贵州省六盘水市明湖国家湿地公园层林尽染,景色迷人。
2023-11-29 15:42
2023年11月28日,江西吉安长塘镇中心小学,老师指导学生剪纸。
2023-11-29 15:42
三角梅原产于巴西,现主要分布在中国、秘鲁、阿根廷、日本、赞比亚等国家和地区。其中,以海南三角梅最为出名。
2023-11-29 11:13
2023年11月23日清晨,朝霞初现,三峡库区湖北省宜昌市秭归县沿江公路G348国道的绝壁岩体上,工人们正在铺设防护网,以防止岩崩和落石。
2023-11-24 15:15
2023年11月23日,黑龙江哈尔滨,哈尔滨站工作人员正在清理站台积雪。
2023-11-23 16:02
2023年11月21日,甘肃敦煌,首趟"敦煌号"铁海联运国际货运班列装载1000吨石棉驶出,经天津港通过铁海联运发往泰国曼谷。
2023-11-21 16:55
2023年11月21日,江苏省如皋市龙游河生态公园,色彩斑斓的树木与一河碧水相应成趣。
2023-11-21 16:55
加载更多