Multimodal representation · P1 · 2026-05-22

Pairwise Modalities：它和通用视觉自监督的关系在于：多模态模型不一定需要完整 joint tuples；只要模态图连通，pairwise supervision 可以成为可扩展替代品

它把多模态表征学习的问题改写成模态图连通性问题，重点不在堆更多模态，而在证明 pairwise supervision 也能学习共享/私有 latent 结构。

Multimodal LLMs under Pairwise Modalities　arXiv　原文链接

编号2605.21059 优先级P1 类别Multimodal representation 会议arXiv 方法self-modal reconstruction + pairwise contrastive latent alignment 来源arXiv / OpenReview

先说结论。它和通用视觉自监督的关系在于：多模态模型不一定需要完整 joint tuples；只要模态图连通，pairwise supervision 可以成为可扩展替代品。它把多模态表征学习的问题改写成模态图连通性问题，重点不在堆更多模态，而在证明 pairwise supervision 也能学习共享/私有 latent 结构。

**Fig. 1 · Pairwise supervision is the scalable object**Joint tuples are expensive; pairwise text-image, image-tactile, and text-3D data can form a connected modality graph.这张图说明论文的核心动机：不一定要收集完整多模态 tuple，只要 pairwise supervision 形成连通的模态图，也能支撑共享表示学习。

**Fig. 2 · Shared and modality-specific latent factors**The paper separates common causal factors from modality-private variables before alignment.这张图展示共享 latent 与模态私有变量的生成假设：先分离跨模态共有因素，再做 pairwise alignment，避免把私有噪声也强行对齐。

核心问题

它和通用视觉自监督的关系在于：多模态模型不一定需要完整 joint tuples；只要模态图连通，pairwise supervision 可以成为可扩展替代品。

方法拆解

self-modal reconstruction + pairwise contrastive latent alignment

主要贡献

它把多模态表征学习的问题改写成模态图连通性问题，重点不在堆更多模态，而在证明 pairwise supervision 也能学习共享/私有 latent 结构。

实验看点

实验部分建议重点看两类证据：一是作者是否把方法收益和更强数据、更长训练、更大模型区分开；二是跨模型、跨数据或跨任务迁移是否还能保留同样趋势。

局限与读法

这篇论文的结论需要结合任务设置、训练数据规模和消融实验一起看；不要只凭单个指标判断它对通用视觉表征的价值。