先手 SENTE · 周报阅读清单 · 速读 · arXiv 2608.02602
AURORA-LM：在连续隐空间里用扩散生成文本
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
Jiajun Liang，Yucheng Liao，Yukang Cao，Jiazhe Wei 等 15 位作者 · 2026-08-03
不为迁就扩散模型而压缩文本表示，而是让扩散模型学会高容量隐变量
打开交互式解读 →三个要点
- 问题：图像、视频、音频越来越多在连续隐空间里建模，文本生成仍主要依赖离散 token；现有连续语言模型要么沿用不为生成设计的嵌入空间，要么压缩隐变量、牺牲 token 级保真度。
- 方法：查询式编码器—解码器把文本组织成高容量、前缀对齐的隐变量序列；块因果扩散 Transformer 用流匹配学习其分布，块间从左到右、块内并行去噪；只在带噪输入通路加低秩瓶颈，按隐变量宽度校准噪声分布，并引入自轨迹一致性。
- 结果：在 OpenWebText 自由生成和 XSum 摘要上，在所评测的连续与扩散类语言模型中表现最好；扩展到 1B 参数、约 1500 EFLOPs 总算力后，在匹配评测下超过一个更大的公开隐扩散语言模型（作者自报）。
1B 扩展后的模型参数量
适合谁读：关注非自回归 / 扩散语言模型路线的研究者与投资人。
AI 解读 · 基于原文：本页由 AI 根据论文原文整理，所有数字均可在原文中找到出处；引用前请核对原文。