arXiv · cs.AI · Peng Tu, Baoyou Chen, Haoyuan Xia, Zilong Dong, Weihao Yuan, Siyu Zhu · 3 小时前模型评分29
BCSM：面向离散扩散模型蒸馏的双向中心化分数匹配
Bidirectional Centered Score Matching for Discrete Diffusion Distillation
导读
研究提出双向中心化分数匹配（BCSM，Bidirectional Centered Score Matching），一种用于离散扩散模型少步蒸馏的位置内蒸馏目标，把成对比较从 O(|V|²) 降到 O(K²) 并分解为 O(K) 目标，同时引入跨时间步转移对齐。实验显示最多减少 6 倍 NFE，单步推理下 HumanEval 相对提升 16.9%、MMMU 相对提升 15.1%。
分类置信度
中 · 待人工复核
- 只有单一媒体来源，需要人工复核。
来源级别：媒体与个人
事件类型：研究发布
证据摘录
- “We propose Bidirectional Centered Score Matching (BCSM), an efficient within-position distillation objective that constructs an $\mathcal{O}(K)$ bidirectional active set, reduces pairwise comparisons to $\mathcal{O}(K^2)$, and factorizes them into an $\mathcal{O}(K)$ objective.”
来源：arXiv · cs.AI · arxiv.org