“一本正经胡说八道”:AI幻觉到底有多可怕?

0次浏览     发布时间:2025-04-01 19:51:00    

中新网北京4月1日电(记者 吴涛)在享受AI带来便捷的同时,你是否发现这个问题挥之不去——AI幻觉,一种“看似真实、实则虚构”的内容生成现象,正渗透进我们的生活。它到底是通往更强大智能的阵痛,还是技术发展的“魔性副产物”?未来,AI幻觉能否为我所用?

幻觉乱象,层出不穷

AI大模型固然“聪明”,但在“胡说八道”方面也毫不逊色。虚构引用、杜撰人物、逻辑混乱,在与AI的互动中屡见不鲜。

例如,它会引用一篇根本不存在的“2023年哈佛研究”;或者,为并不存在的“诺贝尔物理学奖得主约翰·史密斯”编织一段“量子物理贡献”的叙述。有时候,它甚至会在你一再否认其内容后“动摇立场”,反复修改说法。

中新网记者在测试中还发现,AI模型在面对较为复杂的推理问题时,可能“宕机”或自相矛盾。而当你编造出一个根本不存在的概念,比如“高数几何睡眠法”,它也会一本正经地回答:“这是一种将睡眠科学与高等数学相结合的个性化学习策略……”——说得头头是道。

某大模型截图。

当中新网记者输入自己的名字请AI大模型进行介绍,还出现了一名乍看上去完全合理,但其实完全不存在的人,可以说除了“记者”是真的,其他全是假的。

AI大模型介绍的记者身份,职业生涯背景等均为虚构。

技术问题,还是认知演进?

“AI幻觉就是生成看起来像真的一样的虚假信息。”互联网行业从业者、58同城CEO姚劲波接受中新网采访认为,它当然需要治理,但现阶段还未构成决定性风险。“互联网发展这么多年,虚假信息仍然很多,没有被彻底消除,但网友的识别能力也越来越高。我认为AI领域也一样,随着用户教育的积累,越来越多的网友自己可以分辨出AI幻觉。”

不过,并非所有从业者都如此乐观。科大讯飞董事长刘庆峰曾指出,生成式AI的幻觉问题不仅关乎内容真假,更可能形成算法偏差的恶性循环——虚假内容被AI再次学习、放大,反复再生产。

但值得注意的是,AI幻觉在部分场景中却意外成了创作“灵感来源”。游戏开发、动漫设计、小说创作等领域,恰恰欢迎那种“不合常理”的奇思妙想。比如AI生成的创意图片不少是违反自然规律的,但这不影响创意图的效果。

一位不愿具名的开源大模型社区负责人坦言:“今年的大模型比往年更好,就是因为产生了一部分想象力的创作。”

治理AI幻觉,路径几何?

如何治理AI幻觉?技术手段正在快速跟进。一方面,企业正在为大模型接入权威知识库或实时搜索能力,使其答案更具事实依据;另一方面,“标注AI生成内容”也成为监管部门推动的方向。

上述开源大模型社区负责人就表示,AI大模型如今引入联网搜索,各个平台也在用算法和工程解决一部分幻觉问题。

中国工程院院士张亚勤近日表示,幻觉在横向模型里会越来越少,但是它不会消失,这是生成式AI的特点。要消失的话,一定需要具体到某个行业时,用更精准的数据和更精准的模型结合起来,才会达到效果。

多位科技领域企业家也提出了相应对策。360集团创始人周鸿祎强调企业模型需对接专有知识库进行校正,刘庆峰则建议,要定期清理模型中的“幻觉数据”。

零一万物CEO李开复则认为,“联网搜索能力”是降低AI幻觉的关键路径,但现实操作中并不轻松。每个企业都有自己的数据库、CRM、ERP系统,联网不是难,而是难以实时、完整。这方面还需继续突破。

政策层面也已展开行动。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》)。

《办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。

国家互联网信息办公室有关负责人介绍,《办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。(完)

相关文章
“不防晒的防晒衣”热搜第一,当地凌晨通报

“不防晒的防晒衣”热搜第一,当地凌晨通报

鄢俊琪、陈丹阳/央视新闻央视财经客户端6月8日晚,央视财经频道《财经调查》栏目播发“谁在炮制假防晒衣”的报道,涉及弋阳县信丰服装加工厂。总台财经调查记者在江西上饶的信丰服装加工厂发现,一些所谓的防晒衣不仅未标注产品名称、厂名、厂址等信息,防晒衣包装袋上还赫然印着“UPF50+”的标识。当记者询问其真

2025-06-09 14:50:00

清城石角黄布红星村:“微改造”绘就乡村新画卷

清城石角黄布红星村:“微改造”绘就乡村新画卷

自“百县千镇万村高质量发展工程”(以下简称“百千万工程”)实施以来,清城区石角镇扎实推进宜居宜业和美乡村建设,全力推动乡村全面振兴,其中,黄布红星村深入推进“群众出一点、政府补一点”共建模式,通过政府引导、党员带头、群众参与,高效推进农房风貌提升“微改造”工作,成功整村打造人居环境整治及农房风貌提升

2025-06-09 09:04:00

“围栏争议”谢幕 杨泗港网红打卡点完成“无界”转身

“围栏争议”谢幕 杨泗港网红打卡点完成“无界”转身

5月29日,武汉杨泗港长江大桥桥下网红打卡点游人如织。记者了解到,此前该网红打卡点引发争议的围栏设施已于昨日全面撤除,这场关于"公共空间使用权"的争议正式终结。现场游客对拆除围栏设施后的环境表示认可,称"及时拆除围栏,让空间回归市民,这一行为值得点赞"。(湖北日报全媒记者 陈少哲 摄)武汉杨泗港长江

2025-05-30 15:31:00

不听人类指挥 OpenAI模型拒绝关闭

不听人类指挥 OpenAI模型拒绝关闭

当地时间5月25日,英国《每日电讯报》报道,美国开放人工智能研究中心(OpenAI)公司新款人工智能(AI)模型o3不听人类指令,拒绝自我关闭。报道说,人类专家在测试中给o3下达明确指令,但o3篡改计算机代码以避免自动关闭。o3模型是OpenAI“推理模型”系列的最新版本,旨在为ChatGPT提供更

2025-05-26 18:40:00

第四届“智慧杯”人工智能机器人大赛落幕

第四届“智慧杯”人工智能机器人大赛落幕

人工智能通识教育新成果5月24日,由浑南区教育局和浑南区科学技术协会主办的第四届“智慧杯”人工智能机器人大赛在浑南区第一小学体育馆落幕。来自各小学370名选手参加超燃行动、太空探索、足球机器人和超变战场等5个赛项的比赛,经过激烈角逐,80名小将获得晋级,将在下半年角逐省赛和国赛。此次大赛也是沈阳人工

2025-05-26 13:59:00

尹春媛摘“梅”归来:守六百年柳子戏根脉 绽新时代戏曲芳华

尹春媛摘“梅”归来:守六百年柳子戏根脉 绽新时代戏曲芳华

齐鲁网·闪电新闻5月25日讯 (山东经济广播记者董建华、明如月 实习记者 靖易佳)5月24日,刚刚斩获第32届中国戏剧梅花奖的尹春媛,在山东省柳子剧团接受采访时仍难掩激动:“当名字出现在获奖名单时,眼泪止不住地流。这一路艰辛,每一位戏曲人都懂。”作为山东柳子戏第二位“摘梅”演员,她以《玩会跳船》《老

2025-05-25 15:52:00

浦东科创再添“强动力”,陆家嘴集团陆创AI加速器落地科学之门

浦东科创再添“强动力”,陆家嘴集团陆创AI加速器落地科学之门

5月23日下午,上海陆家嘴(集团)有限公司于“科学之门”塔冠举行“陆创AI加速器”揭幕仪式,并同步发布陆家嘴办公年度品牌“L FOR MORE”。此次活动汇聚多方力量,为上海科创发展注入新活力。打造上海科创城市地标陆家嘴集团在此次活动中与中欧校友会上海自贸区分会、中欧校友金融与投资协会、浦东创投协会

2025-05-23 20:16:00

最小19岁!20多万就能“买”回家!上官正义举报河南、安徽有中介偷渡贩卖缅甸女子

最小19岁!20多万就能“买”回家!上官正义举报河南、安徽有中介偷渡贩卖缅甸女子

5月23日,知名打拐志愿者 @上官正义 在社交媒体上公开举报,称自己从2024年10月开始了长达7个月的取证,掌握到一个由境内外中介勾结,将缅甸女子从云南瑞丽偷渡入境,经昆明等地运输至河南沈丘、安徽肥东、安徽六安等地进行贩卖的黑色产业链。据了解,每名女性售价20万左右。该中介成员分工明确,从事此生意

2025-05-23 14:27:00