arXiv Thu batch; CLIP dense prediction · P1 · 2026-07-11

Sparse Attention for Dense Open-Vocabulary：它和通用视觉自监督的关系在于：训练后替换 CLIP final attention 为 sparse entmax，直接改善 dense open-vocabulary prediction 的空间证据

中高相关；详见方法、贡献和实验边界。

Sparse Attention for Dense Open-Vocabulary Prediction in CLIP　arXiv Thu batch; CLIP dense prediction　原文链接

编号2607.07135 优先级P1 类别arXiv Thu batch; CLIP dense prediction 会议arXiv Thu batch; CLIP dense prediction 方法训练后替换 CLIP final attention 为 sparse entmax，直接改善 dense open-vocabulary prediction 的空间证据来源arXiv / OpenReview

先说结论。它和通用视觉自监督的关系在于：训练后替换 CLIP final attention 为 sparse entmax，直接改善 dense open-vocabulary prediction 的空间证据。中高相关；详见方法、贡献和实验边界。

**(a) ViT-L/14 qkv Attention (b) ViT-L/14 vvv Attention Fig**(a) ViT-L/14 qkv Attention (b) ViT-L/14 vvv Attention Fig. 5: Entmax sparsity vs. depth on Pascal VOC on ViT-L/14 We evaluate the efectiveness of a sparse qkv attention distribution, across diferent depths and entropy regularization. Each cell reports dense-segmentation mIoU when entmax (column: sparsity α) is applied to the last d transformer blocks (row).这张可视化用来解释 Sparse Attention for Dense Open-Vocabulary 学到的中间表征或对齐关系。重点看它是否支持正文里的机制判断。

**Figureure 1 · : Attention Mass in Softmax vs**Fig. 1: Attention Mass in Softmax vs. Entmax Distributions. Left: attention distribution for the query patch (green ×) under q-k attention. Entmax denoises the distribution, concentrating mass on the most relevant tokens –the horse’s body vs. the rider– while suppressing irrelevant background. Right: Sparsification helps in proportion to how much the baseline attention spreads of the target class. Where the mass is already very concentrated, entmax does not benefit. The x-axis shows the fraction of a foreground patch’s attention that lands on non-class (irrelevant) patches, measured against the downsampled Pascal VOC ground truth and the y-axis is the α-entmax (α=1.2) minus softmax (α=1.0) segmentation gain. α-entmax benefits when attention is spread across non-class tokens.这张可视化用来解释 Sparse Attention for Dense Open-Vocabulary 学到的中间表征或对齐关系。重点看它是否支持正文里的机制判断。

核心问题

它和通用视觉自监督的关系在于：训练后替换 CLIP final attention 为 sparse entmax，直接改善 dense open-vocabulary prediction 的空间证据。

方法拆解

训练后替换 CLIP final attention 为 sparse entmax，直接改善 dense open-vocabulary prediction 的空间证据

主要贡献

中高相关；详见方法、贡献和实验边界。

实验看点

实验部分建议重点看两类证据：一是作者是否把方法收益和更强数据、更长训练、更大模型区分开；二是跨模型、跨数据或跨任务迁移是否还能保留同样趋势。

局限与读法

这篇论文的结论需要结合任务设置、训练数据规模和消融实验一起看；不要只凭单个指标判断它对通用视觉表征的价值。