近期，国际学术期刊《自然》披露了一项发人深省的实验：瑞典研究团队捏造了一种名为“bixonimania”的疾病及漏洞百出的预印本论文。尽管文中明确标注“纯属编造”且作者与机构均为虚构，但数周内，多款国际主流大语言模型仍将其作为真实病症进行传播，甚至给出详细的患病率与就医建议。更严峻的是，该虚假预印本竟被真实医学期刊引用，直至近期才被迫撤稿。

这一“弄假成真”的闭环，绝非单纯的算法趣闻，而是暴露出当前人工智能产业在向垂直领域纵深拓展时，正面临不容忽视的系统性安全隐患。

深层研判发现，大模型“幻觉”已呈现三个新特征

一是隐蔽性增强。模型对“专业格式”存在盲目信任，披着学术外衣的虚假信息更容易穿透常规的内容安全护栏。

二是破坏力外溢。风险已从单一的“对话失准”跃升为“知识污染”，形成了从社交网络输入、经大模型放大、最终反向渗透学术文献库的危险传导链条。

三是治理存在盲区。现行基于通用语料的对齐训练，难以有效抵御针对特定专业领域（如医疗、法律）的定向数据投毒。

人工智能是引领新一轮科技革命和产业变革的战略性技术。在千行百业加速“大模型化”的当下，统筹高质量发展与高水平安全，必须将防范“隐性失灵”摆在更加突出的位置。为此建议：

第一，建立垂直领域的“强制准入与沙盒测试”机制。 针对医疗、金融、政务等高风险应用场景，不宜直接套用通用大模型。应出台行业标准，要求在部署前必须通过包含“对抗性伪造数据”的压力测试，并将专业领域知识图谱的校验能力作为准入的硬性指标。

第二，构建“可信数据源”阻断与溯源体系。 引导大模型企业从底层架构入手，强化预训练与检索增强生成（RAG）过程中的数据溯源。对于无法核验出处、缺乏权威背书的“孤证”信息，算法应设定更严格的降权或熔断机制，切断虚假信息的生成路径。

第三，压实应用端的“穿透式”主体责任。 明确“谁调用、谁负责”的原则，禁止将未经专业微调的通用模型直接包装为医疗诊断工具对外提供服务。同时，推动学术出版界与科技企业建立跨域联防机制，利用技术手段对投稿文献中的AI生成痕迹及虚假引用进行前置拦截。

防微杜渐，方能行稳致远。面对生成式人工智能的狂飙突进，我们既要拥抱技术红利，更需为其装上“方向盘”与“制动器”，以严密的风险防控体系护航产业健康长远发展。

商务合作：AI发展研究院