空间模块化机器人自重构机理与算法研究现状_12页_275kb

总结：图基础模型中的分布外泛化

核心内容

图基础模型（Graph Foundation Models, GFMs）旨在通过大规模预训练学习通用的图表示，以应对分布外泛化（Out-of-Distribution Generalization, OOD）问题。OOD泛化是指模型在面对训练分布之外的数据时，仍能保持良好的预测性能。由于图结构、领域语义、模态可用性及任务形式的差异，图学习模型在实际应用中面临泛化能力有限的挑战。本文系统综述了GFMs在OOD泛化方面的最新进展，从结构、领域、模态和任务四个层面分析了主要挑战，并对现有方法进行了分类与总结。

主要观点

1. OOD泛化的重要性：随着图学习模型在实际场景中的广泛应用，模型必须能够在训练分布之外的环境中保持性能，这促使了GFMs的发展。
2. 挑战与问题定义：
   • 结构层面：图结构、节点属性和关系模式的变化会导致模型泛化能力下降。
   • 领域层面：不同领域的数据采集和标注方式可能引入偏差，影响模型泛化。
   • 模态层面：辅助模态（如文本或分子特征）的缺失、噪声或不一致会影响模型表现。
   • 任务层面：不同任务形式（如监督类型和输出空间）对模型泛化构成挑战。
3. 问题形式化：OOD泛化被定义为在训练分布和测试分布不一致时，学习一个能够最小化测试分布下预期损失的预测函数。

关键信息

分类与方法概述

GFMs根据是否支持任务形式的变化，分为两类：

• 同质任务GFMs：专注于固定任务形式（如节点分类、链接预测、图级预测）的泛化，通过结构不变性、领域对齐或模态通用编码实现。
• 异质任务GFMs：支持多种任务形式的泛化，通过统一的语义接口、任务自适应嵌入或指令/提示式适应实现。

代表性方法

主要策略

• 结构不变性：通过对比学习或自适应聚合机制，确保模型在结构变化时仍能保持性能。
• 领域对齐：利用领域特定对齐函数和元领域表示，减少领域间的偏差。
• 模态通用编码：通过门控机制或共享嵌入空间，实现跨模态的稳定泛化。
• 任务自适应：通过提示式接口或任务无关预训练，支持不同任务形式的泛化。

评价与未来方向

• 评估协议：多数方法使用跨域、跨结构或跨模态的测试集进行评估，部分方法还引入了任务树重建或熵归一化机制。
• 开放挑战：
  • 如何在保持泛化能力的同时减少对特定领域的依赖。
  • 如何更有效地处理跨模态和跨任务的对齐问题。
  • 如何设计更具鲁棒性的预训练目标以适应多样化的分布变化。
• 未来研究方向：
  • 探索更鲁棒的模型架构和预训练目标。
  • 提高模型在低数据环境下的泛化能力。
  • 开发更通用的提示接口和任务适应机制。
  • 推动跨领域和跨任务的联合训练与评估框架。

结论

本文是首个从分布外泛化角度系统综述图基础模型的文献，总结了当前方法在结构、领域、模态和任务层面的挑战与应对策略，为未来研究提供了清晰的方向和理论基础。