“一本正经胡说八道”:AI幻觉到底有多可怕?

0次浏览     发布时间:2025-04-01 19:51:00    

中新网北京4月1日电(记者 吴涛)在享受AI带来便捷的同时,你是否发现这个问题挥之不去——AI幻觉,一种“看似真实、实则虚构”的内容生成现象,正渗透进我们的生活。它到底是通往更强大智能的阵痛,还是技术发展的“魔性副产物”?未来,AI幻觉能否为我所用?

幻觉乱象,层出不穷

AI大模型固然“聪明”,但在“胡说八道”方面也毫不逊色。虚构引用、杜撰人物、逻辑混乱,在与AI的互动中屡见不鲜。

例如,它会引用一篇根本不存在的“2023年哈佛研究”;或者,为并不存在的“诺贝尔物理学奖得主约翰·史密斯”编织一段“量子物理贡献”的叙述。有时候,它甚至会在你一再否认其内容后“动摇立场”,反复修改说法。

中新网记者在测试中还发现,AI模型在面对较为复杂的推理问题时,可能“宕机”或自相矛盾。而当你编造出一个根本不存在的概念,比如“高数几何睡眠法”,它也会一本正经地回答:“这是一种将睡眠科学与高等数学相结合的个性化学习策略……”——说得头头是道。

某大模型截图。

当中新网记者输入自己的名字请AI大模型进行介绍,还出现了一名乍看上去完全合理,但其实完全不存在的人,可以说除了“记者”是真的,其他全是假的。

AI大模型介绍的记者身份,职业生涯背景等均为虚构。

技术问题,还是认知演进?

“AI幻觉就是生成看起来像真的一样的虚假信息。”互联网行业从业者、58同城CEO姚劲波接受中新网采访认为,它当然需要治理,但现阶段还未构成决定性风险。“互联网发展这么多年,虚假信息仍然很多,没有被彻底消除,但网友的识别能力也越来越高。我认为AI领域也一样,随着用户教育的积累,越来越多的网友自己可以分辨出AI幻觉。”

不过,并非所有从业者都如此乐观。科大讯飞董事长刘庆峰曾指出,生成式AI的幻觉问题不仅关乎内容真假,更可能形成算法偏差的恶性循环——虚假内容被AI再次学习、放大,反复再生产。

但值得注意的是,AI幻觉在部分场景中却意外成了创作“灵感来源”。游戏开发、动漫设计、小说创作等领域,恰恰欢迎那种“不合常理”的奇思妙想。比如AI生成的创意图片不少是违反自然规律的,但这不影响创意图的效果。

一位不愿具名的开源大模型社区负责人坦言:“今年的大模型比往年更好,就是因为产生了一部分想象力的创作。”

治理AI幻觉,路径几何?

如何治理AI幻觉?技术手段正在快速跟进。一方面,企业正在为大模型接入权威知识库或实时搜索能力,使其答案更具事实依据;另一方面,“标注AI生成内容”也成为监管部门推动的方向。

上述开源大模型社区负责人就表示,AI大模型如今引入联网搜索,各个平台也在用算法和工程解决一部分幻觉问题。

中国工程院院士张亚勤近日表示,幻觉在横向模型里会越来越少,但是它不会消失,这是生成式AI的特点。要消失的话,一定需要具体到某个行业时,用更精准的数据和更精准的模型结合起来,才会达到效果。

多位科技领域企业家也提出了相应对策。360集团创始人周鸿祎强调企业模型需对接专有知识库进行校正,刘庆峰则建议,要定期清理模型中的“幻觉数据”。

零一万物CEO李开复则认为,“联网搜索能力”是降低AI幻觉的关键路径,但现实操作中并不轻松。每个企业都有自己的数据库、CRM、ERP系统,联网不是难,而是难以实时、完整。这方面还需继续突破。

政策层面也已展开行动。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》)。

《办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。

国家互联网信息办公室有关负责人介绍,《办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。(完)

相关文章
总台记者探访6名学生选矿厂遇难事故涉事公司:相关负责人正配合调查工作

总台记者探访6名学生选矿厂遇难事故涉事公司:相关负责人正配合调查工作

7月23日10时20分许,东北大学6名学生在中国黄金集团内蒙古矿业有限公司乌努格吐山铜钼矿选矿厂参观学习浮选工艺过程中,因格栅板脱落坠入浮选槽后不幸遇难,另有1名老师受伤。总台记者25日下午再次来到事故企业,见到了中国黄金集团内蒙古矿业有限公司分管安全、环保、职业健康的副总经理赵春波,他告诉总台记者

2025-07-25 18:51:00

东盟媒体研学班@大湾区 他们都学了些啥?

东盟媒体研学班@大湾区 他们都学了些啥?

7月14日,来自东盟成员国和观察员东帝汶的19家媒体的20余位资深媒体人士齐聚中国香港,开启为期6日的媒体能力拓展研习班。中国日报亚太分社的资深采编国际团队为参与研习班的媒体记者量身打造了精品课程,涵盖新闻现场实战技能分享、人工智能辅助内容创作、社交媒体运营知识等方面的培训。本次东盟国家媒体能力拓展

2025-07-21 20:21:00

改革一线行| “个转企一件事” 改革:让临沂个体户转型 “一路畅通”

改革一线行| “个转企一件事” 改革:让临沂个体户转型 “一路畅通”

编者按:为凝聚全市上下支持改革、参与改革、推动改革的强大合力,营造“想改革、敢改革、善改革”的浓厚氛围,市委改革办推出“改革一线行”,深层次挖掘对改革的思考,全方位搜集推进改革的“点子”,多视角展示全市鲜活经验成果。记者手记:以往,临沂不少个体户想转型升级为企业,却被“先注销再新设”的繁琐流程拦住脚

2025-07-19 01:00:00

长沙一女顾客劝阻吸烟被怼,投诉后全部门店整改禁烟

长沙一女顾客劝阻吸烟被怼,投诉后全部门店整改禁烟

【来源:红星新闻】“劝阻吸烟却被服务员赶走……”7月3日,长沙市民关女士(化名)在长沙望城大碗先生吾悦店用餐时,因劝阻邻桌顾客吸烟反被怼,并被餐厅经理建议“换位置”后愤然离开。7月15日,记者向关女士了解到,涉事门店已撤去烟灰缸,修改了禁烟标识,“他们发布公告说所有门店都会改,勇敢发声是会有改变的。

2025-07-15 12:03:00

ETF午评 | A股三大指数早盘分化,AI硬件板块集体爆发,创业板人工智能ETF南方、云50ETF、通信设备ETF涨超4%

ETF午评 | A股三大指数早盘分化,AI硬件板块集体爆发,创业板人工智能ETF南方、云50ETF、通信设备ETF涨超4%

格隆汇7月15日|A股三大指数早盘分化,截至午盘,沪指跌0.93%,深成指跌0.26%,创业板指涨0.64%,北证50指数跌1.51%,沪深京三市半日成交额10961亿元,较上日放量1087亿元。两市近4700只个股下跌。板块题材上,算力硬件概念集体爆发,CPO、液冷服务器方向表现强势,光伏、煤炭、

2025-07-15 11:48:00

这个夏天,与高校博物馆“撞个满怀”!有趣又有益的活动,快来报名吧!

这个夏天,与高校博物馆“撞个满怀”!有趣又有益的活动,快来报名吧!

蝉鸣渐起,暑假的序曲已经奏响,这个漫长又热烈的假期,你打算怎么过?是守着空调遥控器循环播放动画片,还是想解锁一段既长见识又超有趣的特别体验?《沈阳日报》早就为你准备好了——这个夏天,跟着我们走进藏在沈阳高校里的博物馆,来一场充满惊喜的“宝藏探秘之旅”吧!即日起,沈阳日报启动“邂逅沈阳‘象牙塔’里的宝

2025-07-15 10:11:00

“都能打开!”上海多个小区门禁卡,在网上疯狂售卖,8.8元包邮

“都能打开!”上海多个小区门禁卡,在网上疯狂售卖,8.8元包邮

门禁卡是小区重要安全设施但如果它能被公开售卖无论谁都能实现你家小区的“门禁自由”你还会感到安全吗?近日,上海市民王女士在网上发现有人在售卖自家小区门禁卡引发对小区安全状况的担忧门禁卡真能说买就买吗?市民反映:二手平台上可直购门禁卡记者根据王女士提供的线索,在“闲鱼”等二手平台上,以“门禁卡”为关键词

2025-07-15 09:28:00

扔掉!扔掉!扔掉!你家可能也有!

扔掉!扔掉!扔掉!你家可能也有!

如今,“捏捏乐”玩具凭借着软萌可爱的造型和可以随意揉捏的特性,迅速在年轻人和儿童群体中流行。而随着市场热度攀升,部分消费者却不断反映这类玩具存在异味明显、容易破损等问题,有的家长担心,“捏捏乐”玩具里会不会有看不见的化学危害?可捏可压能回弹“捏捏乐”玩具成解压新宠“捏捏乐”,是一种新兴的可揉捏、挤压

2025-07-15 09:14:00