“一本正经胡说八道”:AI幻觉到底有多可怕?

0次浏览     发布时间:2025-04-01 19:51:00    

中新网北京4月1日电(记者 吴涛)在享受AI带来便捷的同时,你是否发现这个问题挥之不去——AI幻觉,一种“看似真实、实则虚构”的内容生成现象,正渗透进我们的生活。它到底是通往更强大智能的阵痛,还是技术发展的“魔性副产物”?未来,AI幻觉能否为我所用?

幻觉乱象,层出不穷

AI大模型固然“聪明”,但在“胡说八道”方面也毫不逊色。虚构引用、杜撰人物、逻辑混乱,在与AI的互动中屡见不鲜。

例如,它会引用一篇根本不存在的“2023年哈佛研究”;或者,为并不存在的“诺贝尔物理学奖得主约翰·史密斯”编织一段“量子物理贡献”的叙述。有时候,它甚至会在你一再否认其内容后“动摇立场”,反复修改说法。

中新网记者在测试中还发现,AI模型在面对较为复杂的推理问题时,可能“宕机”或自相矛盾。而当你编造出一个根本不存在的概念,比如“高数几何睡眠法”,它也会一本正经地回答:“这是一种将睡眠科学与高等数学相结合的个性化学习策略……”——说得头头是道。

某大模型截图。

当中新网记者输入自己的名字请AI大模型进行介绍,还出现了一名乍看上去完全合理,但其实完全不存在的人,可以说除了“记者”是真的,其他全是假的。

AI大模型介绍的记者身份,职业生涯背景等均为虚构。

技术问题,还是认知演进?

“AI幻觉就是生成看起来像真的一样的虚假信息。”互联网行业从业者、58同城CEO姚劲波接受中新网采访认为,它当然需要治理,但现阶段还未构成决定性风险。“互联网发展这么多年,虚假信息仍然很多,没有被彻底消除,但网友的识别能力也越来越高。我认为AI领域也一样,随着用户教育的积累,越来越多的网友自己可以分辨出AI幻觉。”

不过,并非所有从业者都如此乐观。科大讯飞董事长刘庆峰曾指出,生成式AI的幻觉问题不仅关乎内容真假,更可能形成算法偏差的恶性循环——虚假内容被AI再次学习、放大,反复再生产。

但值得注意的是,AI幻觉在部分场景中却意外成了创作“灵感来源”。游戏开发、动漫设计、小说创作等领域,恰恰欢迎那种“不合常理”的奇思妙想。比如AI生成的创意图片不少是违反自然规律的,但这不影响创意图的效果。

一位不愿具名的开源大模型社区负责人坦言:“今年的大模型比往年更好,就是因为产生了一部分想象力的创作。”

治理AI幻觉,路径几何?

如何治理AI幻觉?技术手段正在快速跟进。一方面,企业正在为大模型接入权威知识库或实时搜索能力,使其答案更具事实依据;另一方面,“标注AI生成内容”也成为监管部门推动的方向。

上述开源大模型社区负责人就表示,AI大模型如今引入联网搜索,各个平台也在用算法和工程解决一部分幻觉问题。

中国工程院院士张亚勤近日表示,幻觉在横向模型里会越来越少,但是它不会消失,这是生成式AI的特点。要消失的话,一定需要具体到某个行业时,用更精准的数据和更精准的模型结合起来,才会达到效果。

多位科技领域企业家也提出了相应对策。360集团创始人周鸿祎强调企业模型需对接专有知识库进行校正,刘庆峰则建议,要定期清理模型中的“幻觉数据”。

零一万物CEO李开复则认为,“联网搜索能力”是降低AI幻觉的关键路径,但现实操作中并不轻松。每个企业都有自己的数据库、CRM、ERP系统,联网不是难,而是难以实时、完整。这方面还需继续突破。

政策层面也已展开行动。近日,国家互联网信息办公室、工业和信息化部、公安部、国家广播电视总局联合发布《人工智能生成合成内容标识办法》(以下简称《办法》)。

《办法》聚焦人工智能“生成合成内容标识”关键点,通过标识提醒用户辨别虚假信息,明确相关服务主体的标识责任义务,规范内容制作、传播各环节标识行为,将于2025年9月1日起施行。

国家互联网信息办公室有关负责人介绍,《办法》重点解决“哪些是生成的”“谁生成的”“从哪里生成的”等问题,推动由生成到传播各环节的全流程安全管理,力争打造可信赖的人工智能技术。(完)

相关文章
我国推广数字标签助力食品安全监管

我国推广数字标签助力食品安全监管

 扫描二维码,食品配料、生产工艺、产地溯源、营养信息等一目了然,甚至还能“听”标签、“看”视频——这即将成为我国预包装食品消费的日常。  9月8日,国家卫生健康委、国家市场监督管理总局联合发布《关于实施预包装食品数字标签有关事项的公告》,我国预包装食品标签管理正式迈入数字化新阶段。  数字标签是将预

2025-09-09 11:20:00

字节跳动公益“用创作,做好事”活动助力贵州公益传播

字节跳动公益“用创作,做好事”活动助力贵州公益传播

字节跳动公益“内容共创大会”近期在贵州举办,超过40位抖音创作者、MCN机构及贵州公益机构代表参加。会上,各方就如何通过优质内容传播公益展开交流,并达成一系列合作拍摄意向。9月5日“中华慈善日”到来之际,相关内容在抖音陆续上线,并得到了平台的流量扶持。  “目前已有44个注册在贵州的公益机构在字节跳

2025-09-06 12:11:00

潮声丨“寒武纪”大爆发,靠什么持续神话

潮声丨“寒武纪”大爆发,靠什么持续神话

潮新闻客户端 执笔 甘居鹏图据视觉中国连续亏损八年的寒武纪-U(688256.SH),8月底9月初,股价连续越过1300元、1400元、1500元,逼近1600元,期间三度超过贵州茅台(600519.SH)成为A股“股王”。9月3日,寒武纪-U报收于1405元。寒武纪的股票简称后带着“U”——上市公

2025-09-04 07:13:00

1199元的有道Space X体验如何?好用实用的AI答疑工具

1199元的有道Space X体验如何?好用实用的AI答疑工具

在开创AI答疑品类半年后,网易有道很快就推出了迭代产品。8月20日,在北京举行的“POWERED BY 子曰”有道AI新品发布会上,网易有道一口气推出了有道AI答疑笔Space X以及音视频翻译平台,还展示了全面AI化的有道词典。对此雷科技也进行了详细报道,可全网搜索查看。过去几年,我们曾先后评测过

2025-08-30 11:52:00

广州皓埃机械设备有限公司成立 注册资本1万人民币

广州皓埃机械设备有限公司成立 注册资本1万人民币

天眼查App显示,近日,广州皓埃机械设备有限公司成立,注册资本1万人民币,经营范围为电气机械设备销售;机械设备销售;互联网销售(除销售需要许可的商品);乐器零配件销售;家用电器销售;日用百货销售;针纺织品及原料销售;技术服务、技术开发、技术咨询、技术交流、技术转让、技术推广;信息技术咨询服务;网络与

2025-08-29 12:53:00

算力大会推升热度!寒武纪再创新高,科创人工智能ETF(589520)放量突破上市高点,近60日吸金1.05亿元!

算力大会推升热度!寒武纪再创新高,科创人工智能ETF(589520)放量突破上市高点,近60日吸金1.05亿元!

来源:新浪基金8月25日,重点布局国产AI产业链的科创人工智能ETF(589520)早盘活跃,场内价格一度飙涨超6.7%,午后涨幅略有回落,现涨0.51%,但盘中继续刷新上市高点!实时成交额超9100万元,交投火热!上交所数据显示,科创人工智能ETF(589520)近60日获资金净流入1.05亿元,

2025-08-25 13:51:00

别买、别戴!镍释放量超标上千倍!出厂价仅10元……

别买、别戴!镍释放量超标上千倍!出厂价仅10元……

“花小钱戴出大牌首饰的感觉,视觉效果堪比黄金。”今年以来,随着黄金价格持续上涨,市面上涌现出来一批“沙金”首饰。这类首饰外观酷似黄金、售价却不高,因而迅速受到热捧,被不少消费者视为黄金价格高企之下的平替选择。这些所谓的“沙金”制品,真的含有黄金吗?“沙金”首饰火爆直播间商家宣称不掉色不怕火烧在多个网

2025-08-25 08:18:00

杭州一网红打金店“暴雷”,低价预存“福利金”吸引客户却迟迟不交货,律师:该案可能涉及多种犯罪行为

杭州一网红打金店“暴雷”,低价预存“福利金”吸引客户却迟迟不交货,律师:该案可能涉及多种犯罪行为

近日,有多位网友反映,在杭州网红打金店“日落打金”预存了低价“福利金”,选择款式后,该商家却迟迟不交货。8月19日、20日,海报新闻记者联系到多位消费者了解到,店铺“日落打金”在近几个月内,多次发布可线上“抢购”远远低于黄金大盘价的“福利金”,在积累大量资金后,出现了交货延迟、退款无门的情况。 涉事

2025-08-21 18:43:00