点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:防范“野蛮生长”,规范引导AIGC向上向善
首页> 网安频道> 技术前沿 > 正文

防范“野蛮生长”,规范引导AIGC向上向善

来源:文汇报2023-08-11 10:13

  怎样判定生成式语言大模型会否“一本正经地胡说八道”?如何知道自动驾驶系统能够抵抗得住外界恶意攻击?功能强大的AI(人工智能)大模型也需要“健康检测”,以确保其准确性、抗攻击性及安全性。

  近日,上海首家生成式人工智能(AIGC)质量检验检测中心挂牌批筹,为AI大模型等智能软件提供专业化“体检”。挂牌两个月来,这家AI质检中心已出具75份“体检报告”。

  在AI质检火爆的背后,折射出整个产业对于行业质量规范的渴求。尽管目前AI检测尚属于企业自主行为,但未来对于大模型安全性、可解释性、伦理风险的检测检验,将会形成国家强制标准。上海这一探索将在检测与标准同步发展的新模式下,对生成式AI产业的规范与引领产生积极影响。

  给ChatGPT做测评,为AI系统“质量保障”探路

  走进上海市北高新区区块链谷,筹建中的上海生成式人工智能质检中心里,一台台电脑中正奔跑着AI“体检”软件。

  今年,ChatGPT带动了生成式人工智能应用的火爆。我国迄今已推出上百个大模型,如何客观地评价、比较大语言模型及其他AIGC模型的性能,成为大模型应用的关键一环。

  上海计算机软件技术开发中心主任蔡立志介绍,软件中心是上海科学院的直属单位,作为一家长期以为网络安全保驾护航为使命的研究机构,从2016年起就关注人工智能的安全问题,迄今已开展了2000多项AI检测业务。

  在多年技术与行业经验积累的基础上,经过近两年的准备,上海市生成式人工智能质检中心于两个月前在软件中心正式挂牌批筹。“挂牌后不久,我们就给ChatGPT做了一次测评。”上海计算机软件技术开发中心软件工程研究所副所长陈敏刚博士透露,测评的确可以对生成式语言大模型的推理、抗幻觉、理解用户意图等能力,进行客观评价。

  蔡立志介绍,质检中心主要面向生成式人工智能所涉及的计算机视觉、自然语言处理、内容生成等领域,聚焦人工智能生成内容语义表达能力、逻辑推理能力、合成内容鉴别,以及功能、性能、安全性评估等,“通过提供全方位的测评服务,以保障人工智能系统或应用的质量”。

  AI“体检”火爆,“守底线”更要引领产业

  随着大模型技术的快速进步,在人工智能应用不断深入的同时,利用AI换脸、合成语音进行传播虚假信息、行骗等危害社会的现象也不断发生。

  7月10日,国家网信办等七部委联合发文《生成式人工智能服务管理暂行办法》,明确了AIGC服务提供者的责任,包括信息源可信责任、生成内容合法合规责任、申报安全评估及算法备案责任。

  “管理办法的落地,需要专业的第三方机构提供AI质量检验检测服务。”蔡立志透露,质检中心去年筹建期间已完成300多个AI质检项目,“正式挂牌仅两个月,就已出具75份相关检测报告”。

  由此可见,为AI做“体检”的需求有多火爆。事实上,这项工作本身就是一项含金量极高的技术活儿。上海计算机软件技术开发中心副主任宋俊典告诉记者,对于一些大型复杂AI系统的检测,甚至需要根据应用场景专门搭建检测检验系统,耗时可能长达半年,同时还需要研发大量相关技术与标准。近三年来,上海软件中心为上海乃至长三角地区人工智能企业与应用方提供专业的第三方测评服务数年均超过500项,累计发布AI检测相关标准30余项。

  “对于AI的质量检测,只有好与差之分,没有对与错的判断。”宋俊典解释,通过质检,厂商能更清晰地了解AI软件的性能,对产品的迭代与优化更有针对性。

  检测检验是行业话语权的重要标志,检测标准往往是一个行业的发展风向标。然而,对于人工智能这个飞速发展的领域,蔡立志认为,不能简单套用传统产业“先立标准后检测”的“守底线”模式,而应采用检测与标准同步发展的新型模式,以起到规范、引领产业的作用。

  据悉,目前AI检测尚属于企业自主行为,未来对于大模型的安全性、可解释性、伦理风险的检测检验,可能会形成国家强制标准。(文汇报记者 许琦敏)

[ 责编:雷渺鑫 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 习近平同巴西总统卢拉共同签署联合声明

  • 习近平同巴西总统卢拉共见记者

独家策划

推荐阅读
11月12日至13日,浏阳市委常委、组织部部长、市家居建材产业链链长唐安石带队,市人大常委会党组副书记、副主任、市家居建材产业链副链长张葵红,市人民政府党组成员、副市长、市家居建材产业链副链长谢波等同志参加,赴广东省佛山市开展家居建材产业链招商考察活动。
2024-11-15 17:20
2024年11月12日,江苏省苏州市荷塘月色湿地公园内向日葵竞相绽放,吸引众多游客前来观赏,乐享秋日美景
2024-11-13 15:29
2024年11月12日,湖南省怀化市通道侗族自治县双江镇的烂阳村,山林色彩斑斓,红叶似火,黄叶如金,松柏常青,宛如大自然的调色盘
2024-11-13 15:28
南泥湾是中国军垦、农垦事业的发祥地,是“自力更生、艰苦奋斗”创业精神的发源地。
2024-10-27 17:37
延安地区拥有丰富的煤炭资源,在采矿井约40家,年开采量约5000万吨,但煤质坚硬、自动化程度低等难题严重制约着煤炭产业的发展。
2024-10-27 17:18
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,洛川青怡庄园生物科技有限公司副总裁肖小杰介绍,他们企业的苹果按个卖,一个可以卖到10元。
2024-10-25 18:49
堆积起来的生菌木材冒着热气儿,菌种生产厂房里机器轰鸣,滑子菇大棚里农民忙着收“金疙瘩”。
2024-10-25 18:43
你以为的农村是雨天泥泞,还是道路整洁?爬高上低,还是风景无限?高家原则将山体沟道治理作为城市有机更新和创建文明典范城市抓手,让山体沟道,环境大改善。
2024-10-24 18:11
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安大学经济与管理学院副教授、数字经济专业负责人王珊珊介绍,从卖苹果到卖服务,这是数字技术非常好的一个创新,和产业结合的非常有深度。通过消费者与大自然以及果树的亲密视觉接触,可以提升他们的体验感,增加对苹果这种产品的客户粘性和客户忠诚度。
2024-10-24 18:08
当陕北说书遇到延安美食,碰撞出延安独特的人文魅力。
2024-10-24 18:06
激昂的旋律回荡在空气中,豪迈的歌声飞扬于天地间。壮丽的情怀澎湃在心田里,不朽的精神传承于岁月中……
2024-10-24 17:59
小孩哥小孩姐把安塞腰鼓课间操跳得超燃!
2024-10-24 17:59
青山环绕、绿水蜿蜒,这是吴起南沟村给记者们留下的第一印象。谁能想到,这个位于陕西省延安市吴起县的小村庄,曾经风沙肆虐、植被稀疏。经过二十多年艰辛努力,光秃秃的黄土高坡绿意盎然。
2024-10-24 17:50
在宝塔区河庄坪镇政府的扶持下,延安菌舰生物科技有限公司采用“企业+合作社+农民”模式,带动400余人家门口就业,人均增收2000元。食用菌产业的蓬勃发展,不仅为农民带来稳定收入,更为乡村振兴注入活力。点赞延安菌舰,为农民增收,为乡村添彩!
2024-10-24 17:48
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了延安新材料产业园,亲身体验石墨烯发热背心,感受科技的温暖拥抱。
2024-10-24 11:18
近期,延安市薛张小流域水土保持项目碳汇交易成功!这不仅是一次生态保护与经济发展的双赢,更为延安乡村振兴注入了新的活力!
2024-10-24 11:16
10月22日,“弘扬延安精神 奋进伟大时代”网上主题宣传媒体团来到了位于延安市安塞区南沟村的苹果基地,在这里记者们亲身体验苹果采摘,倾听果农的心声。同时,记者团还开展了一场特别的直播带货活动,助力果农销售苹果。此次活动不仅展现了果农的辛勤付出,也让更多人了解到延安苹果的魅力,为乡村振兴贡献了一份力量。
2024-10-24 11:07
10月23日,“弘扬延安精神 奋进伟大时代”网上主题宣传“逐梦之路”媒体采访团走进延安宜川县,追寻“悬崖造林队”的故事。
2024-10-24 10:27
陕北说书最近火爆出圈,董宇辉在直播中表示向往陕北文化,想成为一个陕北说书人。这一段陕北说书,带你行走在延安的绿水青山间。
2024-10-24 10:21
近日,在陕西延安举行的“弘扬延安精神,奋进伟大时代” 网上主题宣传系列访谈中,延安数据(集团)有限责任公司董事长高延宏介绍,延安的地域特点适宜建立算力中心,要把平台搭建好,把更多的企业引到延安,建立归属在延安的算力中心,更好的服务延安、服务陕西。
2024-10-24 10:18
加载更多