计算机工程与科学

作者：李鹤, 迟昊昂, 刘明宇, 杨文婧

单位：国防科技大学计算机学院，湖南 长沙 410073

关键词：大语言模型,大语言模型幻觉,因果表示学习,

基金：国家自然科学基金 (91948303-1,62372459,62376282)

大语言模型LLMs的出现是生成式人工智能的一个里程碑，其在文本理解和生成任务中取得了显著的成功。尽管LLMs在许多下游任务中取得了巨大的成功，但它们也存在严重的幻觉问题，对LLMs的实际应用是重大的挑战。虽然基于Transformer的LLMs中的自注意力机制是一个重要的模块，但现有文献很少从自注意力机制的角度探讨LLMs的幻觉现象。为填补这一研究空白，从因果关系的角度研究了这个问题。具体而言，提出了一种方法，在不改变LLMs结构的情况下，禁用自注意力层。实验禁用多个开源LLMs中的不同自注意力层，在幻觉评估基准上对这些干预后的LLMs进行了评估，并将其幻觉程度与原始模型进行比较。实验结果表明，禁用LLMs前部或尾部的一些特定自注意力层可以缓解幻觉问题。

来源：2026年第2期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2026年第2期