国内刊号:43-1258/TP
国际刊号:1007-130X
发布日期:
作者:耿焕同, 范子辰, 蒋骏, 刘振宇, 李嘉兴
单位:1.南京信息工程大学计算机学院(网络空间安全学院),江苏 南京 210044;2.南京信息工程大学软件学院,江苏 南京 210044
关键词:多任务学习;Transformer架构,三维目标检测;语义分割;景深估计,
基金:国家自然科学基金(42375145)
针对现有视觉多任务学习模型中网络结构分离和任务间相互干扰的问题,提出了一种基于三重特征嵌入和任务提示融合的端到端多任务学习模型。在图像嵌入编码阶段,通过采用3组不同的编码模块以捕获图像原始的3种特征,充分保留图像的全局、局部以及轮廓特征,丰富嵌入编码向量结构和语义信息,使得模型可以获取不同特征维度的图像信息。在特征提取阶段,为实现端到端统一的任务通用学习、任务特定学习以及跨任务交互,使用空间-通道提示学习模块和提示融合模块提取图像和任务提示的显著特征、趋势以及原始信息,增强任务提示的表达能力和提示能力,更充分地提取图像和任务提示的全局和局部特征。实验结果表明,与单任务SOTA模型相比,mDS以及RMSE指标分别提高了3.36个百分点和2.41个百分点;而与多任务SOTA模型相比,以上2个指标分别提高了1.69个百分点和0.32个百分点,mIOU提高了0.99个百分点,为多任务学习提供了新的解决方法。
来源:2026年第3期
《计算机工程与科学》期刊编辑部