“一本正经胡说八道”:AI幻觉到底有多可怕?

0次浏览     发布时间:2025-04-01 19:51:00    

中新网北京4月1日电(记者 吴涛)在享受AI带来便捷的同时,你是否发现这个问题挥之不去——AI幻觉,一种“看似真实、实则虚构”的内容生成现象,正渗透进我们的生活。它到底是通往更强大智能的阵痛,还是技术发展的“魔性副产物”?未来,AI幻觉能否为我所用?

幻觉乱象,层出不穷

AI大模型固然“聪明”,但在“胡说八道”方面也毫不逊色。虚构引用、杜撰人物、逻辑混乱,在与AI的互动中屡见不鲜。

例如,它会引用一篇根本不存在的“2023年哈佛研究”;或者,为并不存在的“诺贝尔物理学奖得主约翰·史密斯”编织一段“量子物理贡献”的叙述。有时候,它甚至会在你一再否认其内容后“动摇立场”,反复修改说法。

中新网记者在测试中还发现,AI模型在面对较为复杂的推理问题时,可能“宕机”或自相矛盾。而当你编造出一个根本不存在的概念,比如“高数几何睡眠法”,它也会一本正经地回答:“这是一种将睡眠科学与高等数学相结合的个性化学习策略……”——说得头头是道。

某大模型截图。

当中新网记者输入自己的名字请AI大模型进行介绍,还出现了一名乍看上去完全合理,但其实完全不存在的人,可以说除了“记者”是真的,其他全是假的。

AI大模型介绍的记者身份,职业生涯背景等均为虚构。

技术问题,还是认知演进?

“AI幻觉就是生成看起来像真的一样的虚假信息。”互联网行业从业者、58同城CEO姚劲波接受中新网采访认为,它当然需要治理,但现阶段还未构成决定性风险。“互联网发展这么多年,虚假信息仍然很多,没有被彻底消除,但网友的识别能力也越来越高。我认为AI领域也一样,随着用户教育的积累,越来越多的网友自己可以分辨出AI幻觉。”

不过,并非所有从业者都如此乐观。科大讯飞董事长刘庆峰曾指出,生成式AI的幻觉问题不仅关乎内容真假,更可能形成算法偏差的恶性循环——虚假内容被AI再次学习、放大,反复再生产。

但值得注意的是,AI幻觉在部分场景中却意外成了创作“灵感来源”。游戏开发、动漫设计、小说创作等领域,恰恰欢迎那种“不合常理”的奇思妙想。比如AI生成的创意图片不少是违反自然规律的,但这不影响创意图的效果。

一位不愿具名的开源大模型社区负责人坦言:“今年的大模型比往年更好,就是因为产生了一部分想象力的创作。”

治理AI幻觉,路径几何?

如何治理AI幻觉?技术手段正在快速跟进。一方面,企业正在为大模型接入权威知识库或实时搜索能力,使其答案更具事实依据;另一方面,“标注AI生成内容”也成为监管部门推动的方向。

上述开源大模型社区负责人就表示,AI大模型如今引入联网搜索,各个平台也在用算法和工程解决一部分幻觉问题。

中国工程院院士张亚勤近日表示,幻觉在横向模型里会越来越少,但是它不会消失,这是生成式AI的特点。要消失的话,一定需要具体到某个行业时,用更精准的数据和更精准的模型结合起来,才会达到效果。

多位科技领域企业家也提出了相应对策。360集团创始人周鸿祎强调企业模型需对接专有知识库进行校正,刘庆峰则建议,要定期清理模型中的“幻觉数据”。

零一万物CEO李开复则认为,“联网搜索能力”是降低AI幻觉的关键路径,但现实操作中并不轻松。每个企业都有自己的数据库、CRM、ERP系统,联网不是难,而是难以实时、完整。这方面还需继续突破。

政策层面也已展开行动。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》)。

《办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。

国家互联网信息办公室有关负责人介绍,《办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。(完)

相关文章
猿辅导一26岁员工猝死,原定5月2日举办婚礼!前员工称1人负责400名学生

猿辅导一26岁员工猝死,原定5月2日举办婚礼!前员工称1人负责400名学生

4月23日,据媒体报道,猿辅导武汉公司一名年轻老师在办公室猝死,引发广泛关注。目前,武汉市人社局东湖新技术开发区分局已介入调查。2023年4月,封面新闻曾报道过涉事公司超长加班情况。当时,猿辅导负责人曾回应称,会考虑多招员工减轻加班压力。4月24日,去年从猿辅导离职的小王告诉记者,上次报道后,猿辅导

2025-04-25 19:37:00

占比达60%!我国成为全球人工智能专利最大拥有国

占比达60%!我国成为全球人工智能专利最大拥有国

记者从24日举行的国新办新闻发布会获悉,目前,我国人工智能领域呈现良好的发展势头。根据世界知识产权组织报告,中国已经成为全球人工智能专利的最大拥有国,在全球的占比达到60%。人工智能是新一轮科技革命和产业变革的重要驱动力量。国家知识产权局局长申长雨表示,近年来,国家知识产权局积极回应人工智能新领域、

2025-04-25 09:15:00

特朗普再提“第51个州” 加拿大总理称“保留不同意见”

特朗普再提“第51个州” 加拿大总理称“保留不同意见”

总台记者当地时间4月24日获悉,美国总统特朗普在3月28日与加拿大总理卡尼的通话中,再次提出让加拿大成为美国第51个州的想法,这与总理本人后来公开声明的说法截然相反。据加拿大媒体报道,两位了解内情的消息人士称,特朗普在通话中提出了第51个州的问题,并解释了加拿大加入美国的优势。卡尼随后表达了自己的不

2025-04-25 00:35:00

人工智能专利赛道,中国交出惊人答卷!

人工智能专利赛道,中国交出惊人答卷!

4月24日,国新办举行新闻发布会,介绍2024年中国知识产权强国建设有关情况。国家知识产权局局长申长雨在发布会上介绍,2024年,我国授权发明专利104.5万件,核准注册商标478.1万件,登记著作权1063.1万件,认定地理标志产品36个,核准地理标志作为集体商标、证明商标注册125件,授予农业植

2025-04-24 18:57:00

点火起飞!神舟二十号载人飞船发射升空

点火起飞!神舟二十号载人飞船发射升空

长征二号F遥二十运载火箭点火发射。人民网记者 黄帆摄人民网酒泉4月24日电 (记者黄帆、赵竹青)4月24日17时17分许,搭载神舟二十号载人飞船的长征二号F遥二十运载火箭在酒泉卫星发射中心点火发射。长征二号F遥二十运载火箭点火发射。人民网记者 黄帆摄长征二号F遥二十运载火箭点火发射。人民网记者 黄帆

2025-04-24 18:14:00

神舟二十号载人飞行任务航天员与记者见面

神舟二十号载人飞行任务航天员与记者见面

↑ 4月23日,神舟二十号载人飞行任务航天员陈冬(中)、陈中瑞(右)、王杰在酒泉卫星发射中心问天阁与媒体记者集体见面。新华社记者 李鑫 摄 ↑ 4月23日,神舟二十号载人飞行任务航天员陈冬(中)、陈中瑞(右)、王杰在酒泉卫星发射中心问天阁与媒体记者集体见面。新华社记者 李鑫 摄 ↑ 4月23日,神舟

2025-04-23 12:10:00

王威廉:AI满足了对“理想他者”想象,这是人之悲歌吗?

王威廉:AI满足了对“理想他者”想象,这是人之悲歌吗?

在AI时代谈论爱,跟谈论其他很多事物一样,似乎也变得复杂起来。我相信,在此之前,大部分人跟我的观点差不多:爱本质上是人与人之间最深刻的联系,它不仅仅是一种情感体验,更是一种生命的实践方式。嗯,它不仅要求你要心里想着,还要求你要行动起来。传统上,我们认为爱建立在自我与他者的相互作用之上,它是关怀、理解

2025-04-23 08:14:00

辽宁省人工智能赋能教育教学改革发展联盟成立

辽宁省人工智能赋能教育教学改革发展联盟成立

日前,在辽宁省人工智能赋能高等教育高质量发展研讨会暨辽宁省人工智能现代产业学院建设推进会上,辽宁省人工智能赋能教育教学改革发展联盟举行揭牌仪式。该联盟由东北大学牵头,联合大连理工大学等省内开设人工智能专业的20所高校共同发起,以推动国家教育数字化战略行动在辽宁落地落实、促进人工智能技术与教育教学深度

2025-04-23 07:07:00