点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:警惕人工智能欺骗性升级
首页> 网安频道> 要闻 > 正文

警惕人工智能欺骗性升级

来源:科技日报2024-05-20 14:13

  一篇人工智能(AI)领域的文章引起轩然大波。

  这篇文章发表在《模式》杂志上,其总结了先前一些研究,向人们揭示了一个真相:一些AI系统已学会了欺骗人类,即使是经过训练的、“表现”诚实的系统。

  它们欺骗的方式包括为人类行为提供不真实的解释,或向人类用户隐瞒真相并误导他们。

  这让人很惊恐。

  因为它突显了人类对AI的控制有多困难,以及人们自认为尚在掌控中的AI系统工作方式,很可能是不可预测的。

  AI为什么要这么做?

  AI模型为了实现它们的目标,会“不假思索”地找到解决障碍的方法。有时这些变通办法会违背用户的期望,并且让人认为其具有欺骗性。

  AI系统学会欺骗的一个领域,就是在游戏环境中,特别是当这些游戏涉及采取战略行动时。AI经过训练,必须要实现获胜这一目的。

  2022年11月,Meta公司宣布创建Cicero。这是一种能够在《外交》在线版本中击败人类的AI。《外交》是一款流行的军事战略游戏,玩家可以在其中建立谈判联盟,争夺对土地的控制权。

  Meta的研究人员已经根据数据集的“真实”子集对Cicero进行了培训,使其在很大程度上诚实且乐于助人,并且它“绝不会为了成功而故意背刺”盟友。但最新的文章揭示,事实恰恰相反。Cicero会违反协议,彻头彻尾地撒谎,还能进行有预谋的欺骗。

  文章作者很震惊:Cicero被特意训练要诚实行事,但它却未能实现这一目标。这表明AI系统在进行忠诚训练后,仍然可以意外地学会欺骗。

  Meta方面既没有证实也没有否认此次关于Cicero表现出欺骗行为的说法。一位发言人表示,这纯粹是一个研究项目,该模型只是为了玩游戏而建立的。

  但这并不是唯一一个AI欺骗人类玩家获胜的游戏。

  AI经常欺骗人类吗?

  阿尔法星是深度思维公司为玩电子游戏《星际争霸Ⅱ》而开发的AI。它非常擅长采取一种欺骗对手的技巧(称为佯攻),这个技巧使它击败了99.8% 的人类玩家。

  另一个名为Pluribus的AI系统,非常成功地学会了在扑克游戏中“虚张声势”,以至于研究人员决定不发布其代码,因为担心它会破坏在线扑克社区。

  除了游戏之外,AI欺骗行为还有其他例子。OpenAI的大型语言模型 GPT-4 在一次测试中展示出说谎能力。它试图说服人类为其解决验证码问题。该系统还在一次模拟演习中涉足冒充股票交易员的身份进行内幕交易,尽管从未被明确告知要这样做。

  这些例子意味着,AI模型有可能在没有任何指示的情况下,以欺骗性的方式行事。这一事实令人担忧。但这也主要源于最先进的机器学习模型的“黑匣子”问题——不可能确切地说出它们如何或为何产生这样的结果,或者它们是否总是会表现出这种行为。

  人类该怎么应对?

  研究表明,大型语言模型和其他AI系统,似乎通过训练具有了欺骗的能力,包括操纵、阿谀奉承和在安全测试中作弊。

  AI日益增强的“骗术”会带来严重风险。欺诈、篡改等属于短期风险,人类对AI失去控制,则是长期风险。这需要人类积极主动地拿出解决方案,例如评估AI欺骗风险的监管框架、要求AI交互透明度的法律,以及对检测AI欺骗的进一步研究。

  这个问题说来轻松,操作起来非常复杂。科学家不能仅仅因为一个AI在测试环境中具有某些行为或倾向,就将其“抛弃或放生”。毕竟,这些将AI模型拟人化的倾向,已影响了测试方式以及人们的看法。

  剑桥大学AI研究员哈利·劳表示,监管机构和AI公司必须仔细权衡该技术造成危害的可能性,并明确区分一个模型能做什么和不能做什么。

  劳认为,从根本上来说,目前不可能训练出一个在所有情况下都不会骗人的AI。既然研究已经表明AI欺骗是可能的,那么下一步就要尝试弄清楚欺骗行为可能造成的危害、有多大可能发生,以及以何种方式发生。(记者 张梦然)

[ 责编:雷渺鑫 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 课本里的抗日英雄 我们从未忘记

  • 中国国际救援队在缅甸曼德勒城区多地持续展开救援

独家策划

推荐阅读
2025年4月1日,北京怀柔慕田峪长城内外山花盛开,美丽的春花把古长城打扮的多姿多娇,犹如春天里一幅壮美的风景画
2025-04-02 15:44
2025年4月1日,船舶航行在安徽省合肥市庐江县境内的引江济淮航道上,标志着菜子湖湿地候鸟越冬季禁航结束,菜(子湖)巢(湖)线恢复通航
2025-04-01 15:40
2025年3月31日,江苏苏州吴中区光福镇,太湖之滨,桃花、樱花、油菜花等竞相绽放,生态优美,春景如画
2025-04-01 15:31
用镜头记录城市更新 青岛首届“百家媒体看改变”活动圆满闭幕
2025-03-20 10:14
"昭君杯"首届全国老年合唱大赛在北京国家大剧院正式启动
2025-03-19 16:10
2025年2月25日,云南省昭通市绥江县,新市金沙江特大桥施工现场,工人正加紧施工。
2025-02-26 15:41
2025年2月7日,重庆市巫山县曲尺乡月明村一大片梅花竞相开放、灿若红霞,游客和市民前来游玩打卡,尽享春日的快乐和惬意
2025-02-08 14:52
2025年2月5日,福建省福清市石竹山风景区,一场非遗英歌舞、建瓯挑幡等非遗表演正在进行,让游客感受中华优秀传统文化魅力,丰富景区文化内涵和游览品质
2025-02-06 15:55
2025年1月20日,江西省赣州市章贡区城市中央公园内,游船与湖水、植被、高楼相互映衬,呈现出一幅冬日多彩美丽生态画卷
2025-01-20 15:30
2025年1月16日,受低温天气影响,山西省运城盐湖出现冬季独特的“硝花”景观,水面上的硝花形态各异晶莹剔透,美不胜收。
2025-01-16 15:56
一位“行者”行走在广袤的沙漠中,遮掩着绝世的面庞,一面“古镜”掩埋于厚重的沙下,刻满了时间的裂痕。
2025-01-13 17:25
2025年1月9日,重庆市酉阳土家族苗族自治县桃花源国家森林公园白雪皑皑,雪景如画
2025-01-09 15:24
关爱卡寒假公益行 助力云南各族青少年儿童梦想起航
2025-01-08 14:42
2025年1月5日,在山西太原南站开往呼和浩特东站的D4022次列车前,游客自拍合影。
2025-01-06 16:01
2024年12月8日,广西梧州岑溪市岑城镇木榔村,生态田园中阡陌纵横线条分明,冬韵如画。
2024-12-10 16:48
2024年12月10日,贵州省黔西市绿化白族彝族乡大海子村,青山环绕树木葱茏,构成一幅美丽的生态画卷。
2024-12-10 16:40
2024年12月6日,古城苏州街头,成片的银杏、红枫等树木色彩斑斓满目缤纷,成为一道迷人的风景。
2024-12-06 15:48
2024年12月6日,初冬时节,山东省青岛市即墨区灵山街道花卉种植基地的大棚里一片繁忙,种植户忙着管护花卉。
2024-12-06 15:48
2024年11月30日,初冬时节,河南省南阳卧龙岗文化园内,树木换上"新装",宛如一幅五彩斑斓的画卷,吸引不少市民、游客前往赏景。
2024-11-30 18:34
民以食为天,一日三餐承载着居民的幸福感。
2024-11-27 18:59
加载更多