计算机工程与科学

作者：陈宇灵, 李翔

单位：华东师范大学数据科学与工程学院,上海 200062

关键词：图神经网络,文本属性图,大语言模型,对比学习,预训练,提示学习,

文本属性图时下逐渐成为图研究领域的一个热点。在传统的图神经网络研究中，所使用到的节点特征通常是由文本信息转化来的浅层特征或者是人为手动设计的特征，如跳字模型和连续词袋模型。近年来，随着大型语言模型的出现，自然语言处理方向的研究发生了深刻的变革。这种变革不仅影响了自然语言处理的相关任务，还开始渗透到图神经网络。因此，最近的图工作中也开始引入语言表征模型和大语言模型用于生成新的节点表征，旨在进一步挖掘更加丰富的语义信息。在现有的工作中，大多数模型还是采用传统GNN架构或对比学习的方式。在对比学习一类的方法中，由于传统节点特征和语言模型生成的节点表征并不是由统一的模型生成的，因此这类方法面临着处理2个位于不同向量空间的向量的挑战。基于以上的挑战和考量，提出一个名为GRASS的模型。具体来说，模型在预训练任务中引入了通过大语言模型扩充得到的文本信息，对其与经过图卷积的文本信息进行对比学习；在下游任务中，为了减少微调的成本，GRASS对齐了下游任务和预训练任务的形式。通过这个模型，使得GRASS在不需要微调的情况下，能够在节点分类任务上表现良好，尤其是在小样本场景下。例如，在1-shot场景下，比起最优基准模型，GRASS在Cora,Pubmed和ogbn-arxiv数据集上的准确度分别提升了6.10%，6.22%和5.21%。

来源：2025年第3期

《计算机工程与科学》期刊编辑部

查看计算机工程与科学杂志2025年第3期