论文标题：SSD: Spatially Speculative Decoding Accelerates Autoregressive Image Generation
作者：Shilong Xiang, Zirui Zhang, Lijun Yu, Chengzhi Mao
arXiv：2606.20543v1 · 计算机视觉 · 2026年6月18日
一、问题的根源：一维序列装不下二维图像
自回归模型在自然语言处理领域取得了压倒性的成功。GPT系列、LLaMA系列、Gemini系列——几乎所有当下的大语言模型都建立在自回归范式之上：给定前面的token，预测下一个token。这个范式之所以有效，是因为语言天然是线性的。一句话从左到右排列，一个词接一个词，语义在时间轴上展开。注意力机制可以在这样的线性序列中高效地捕捉长距离依赖关系，而因果掩码（causal mask）确保了训练和推理的一致性。
当研究者试图将同样的范式迁移到图像生成领域时，一个棘手的问题浮出水面：图像不是一维的。一张图片有宽度，有高度，像素（或更常见的，离散化的视觉token）排列在一个二维网格上。为了让自回归模型能够处理图像，最直接的做法是把二维网格"拍平"成一维序列。常见的做法是逐行扫描——从左上角开始，一行一行地读取token，直到右下角。这种做法借用了一个数学上的等价关系：一个M×N的二维网格总可以映射为一条长度为M×N的一维序列，映射方式就是字典序排列——先行号后列号。
这个做法在工程上是可行的。VQGAN加上GPT式的解码器已经被证明能够生成高质量的图像。DALL-E、Parti、LlamaGen、VAR等一系列工作都采用了这种方案。具体流程是：先用一个VQ-VAE或VQGAN编码器将输入图像压缩成离散的token网格（比如16×16或32×32），然后把网格按行展平为序列，再用标准的Transformer解码器逐token地生成这个序列。整个流水线在概念上非常简洁——把图像生成问题完全转化为语言建模问题，复用了大语言模型的所有成熟技术。
但拍平操作有一个根本性的代价：它破坏了图像固有的二维空间局部性。
什么叫"破坏了二维空间局部性"？想象你在看一张猫的照片。猫的左耳朵和右耳朵在空间上是相邻的，但在一维序列中，它们之间可能隔着整行像素。猫的鼻子和嘴巴在垂直方向上紧挨着，但在逐行扫描的序列中，鼻子属于上一行的末尾，嘴巴属于下一行的开头，两者之间隔了整整一行的token。模型被迫用一维的注意力机制去"猜测"这些在原始二维空间中本应紧密关联的区域之间的关系。
这种空间结构的丢失带来了两个层面的后果。第一个层面是表征效率的问题。在二维网格中，(i,j)位置的token与(i,j+1)和(i+1,j)位置的token天然相邻，它们之间的相关性通过空间距离可以直接体现。但在一维序列中，位置i*N+j与位置(i+1)*N+j之间的距离是N——等于整行的长度。注意力机制虽然理论上可以建模任意距离的依赖关系，但它需要通过训练数据来学习这些空间关系，而不是像二维卷积那样将空间局部性内嵌到架构中。这意味着模型需要用更多的参数和更多的训练数据来弥补这种结构上的缺失。
第二个层面是推理效率的问题，也是SSD论文重点关注的方面。自回归解码的核心特征是：每次只能生成一个token，而每个新token的生成都依赖于之前所有token的信息。这意味着生成一张256×256的图像（假设下采样16倍后得到16×16的token网格），需要串行地进行256步解码。每一步都要读取之前所有token的键值缓存（KV cache），执行注意力计算。当图像分辨率提高到512×512时，token网格变为32×32=1024个token，需要1024步串行解码。分辨率翻倍，步数翻四倍。这就是平方增长的威力——也是自回归图像生成面临的最大工程挑战。
每一步解码的计算瓶颈通常不在于浮点运算，而在于内存访问。解码器需要从GPU的高带宽内存（HBM）中加载之前所有token的KV缓存，然后才能执行注意力计算。当KV缓存很大时（随着已生成token数量线性增长），GPU的计算单元大部分时间处于空闲状态，等待数据从内存中加载完毕。这就是所谓的"内存墙"（memory wall）问题——硬件的计算能力没有被充分利用，瓶颈卡在了内存带宽上。在大规模图像生成场景中，这个问题尤为突出，因为token序列长度可达数千甚至数万。
二、核心思路：让预测目标对齐图像的几何结构
SSD（Spatially Speculative Decoding，空间投机解码）的核心洞察可以用一句话概括：既然图像是二维的，那就让预测目标也变成二维的。
在标准的自回归图像生成中，模型在每一步预测序列中的"下一个"token——也就是当前token右边紧邻的那个token。SSD对此进行了一个看似简单但影响深远的修改：模型在每一步同时预测两个token——右边相邻的token（水平方向）和下方相邻的token（垂直方向）。
这个修改之所以有效，根源在于图像中相邻像素（或相邻token）之间的相关性极强。这种强相关性是自然图像的基本统计特性。水平方向上，当前token和右边的token通常属于同一个物体的同一行纹理——它们共享颜色、亮度、边缘方向等视觉属性。垂直方向上，当前token和下方的token通常属于同一个物体的相邻区域——如果上面是一个蓝色像素，下面大概率也是蓝色或者属于同一个物体的边界过渡区域。这两种相关性都是二维空间局部性的直接体现，也是图像压缩算法（如JPEG、PNG）能够高效工作的根本原因。
但在传统的一维自回归框架中，只有水平方向的相关性被直接建模——因为"下一个token"恰好就是右边那个。垂直方向的相关性被完全忽略了——模型必须等到生成完整的一行之后，才能在下一行的开头"看到"上方token的信息。这种延迟意味着垂直方向的空间依赖必须通过更长距离的注意力连接来建立，效率远低于水平方向。
SSD通过同时预测两个方向的token，将垂直方向的相关性纳入了预测目标。这意味着模型在每个解码步骤中可以"覆盖"更多的空间区域。具体来说，如果原始的一维自回归模型需要N步来生成所有token，SSD大约只需要N/2步——因为它每步生成两个token。理论上，这就是2倍的加速。
但实际加速比远不止2倍。论文报告的最大加速比是13.3倍。这个数字意味着什么？如果原始模型需要13.3秒来生成一张图片，SSD只需要1秒。从"等一下"变成"瞬间完成"，用户体验从"可以接受"变成"实时响应"。这个加速比是如何达到的？下面详细拆解。
三、为什么加速比能远超2倍
要理解13.3倍的加速比，需要深入到自回归解码的性能瓶颈模型。现代GPU的执行模式可以简化为两个阶段：计算阶段和内存访问阶段。在计算密集型任务中（如矩阵乘法），GPU的数千个计算核心可以满负荷运转，接近理论峰值算力。但在内存密集型任务中，计算核心大部分时间在等待数据，GPU的实际利用率很低。
自回归解码属于后者。在标准的自回归解码中，每一步的计算量可以分为两部分：一部分是计算当前token的查询向量（这部分计算量很小，只涉及一个token的嵌入向量通过若干层Transformer处理），另一部分是与之前所有token的KV缓存做注意力计算（这部分计算量随已生成token数量线性增长）。当序列较短时（比如前几个token），计算部分可能是瓶颈；但当序列变长后，KV缓存的读取迅速成为主导。
用具体数字来说明：假设Transformer有32层，每层的隐藏维度是4096，注意力头数是32。对于KV缓存中的每个token，需要存储32层的键和值向量，每个向量维度4096。当已生成256个token时，KV缓存的总大小约为256×32×2×4096×2字节（假设FP16），约等于256MB。对于A100 GPU来说，HBM带宽是2TB/s，加载256MB需要0.128毫秒。而在这0.128毫秒内，以A100的312 TFLOPS算力，可以执行约4000万次浮点运算——远多于单步解码实际需要的运算量。这说明GPU大部分时间在"等数据"，而不是在"算数"。
SSD的一个巧妙之处在于：当模型同时预测两个token时，这两个token共享相同的注意力计算——它们需要访问的是完全相同的KV缓存。也就是说，一次注意力计算的结果被用于预测两个token，而不是一个。这直接将KV缓存访问的单位成本减半。
用一个生活化的比喻来说：假设你是一个邮递员，需要挨家挨户送信。传统方式是你送完一家，走回邮局取下一封信，再出发去下一家。SSD的方式是你一次从邮局取两封信，送完一家后顺路把旁边那家的信也送了——因为两家挨得很近（在二维网格中是空间邻居），你几乎不需要多走路。当街道很长（token序列很长）时，这种"顺路送信"的策略节省的时间非常可观。
更技术性地说，SSD的加速来自三个叠加的层面：
第一层：步数减半。每步预测两个token，总解码步数从N减少到约N/2。这是最直观的加速来源。当N=1024（32×32的token网格）时，步数从1024减到512。
第二层：KV缓存访问摊薄。每步的KV缓存读取量不变（仍然需要读取之前所有token的KV），但产出的token翻倍，因此每个token分摊的内存访问成本减半。在内存墙受限的场景下，这直接转化为推理速度的提升。而且随着序列增长，每步的KV缓存越来越大，内存访问越来越慢，摊薄效应也越来越显著。
第三层：批处理效率提升。当批量生成多张图片时（这是生产环境的常见场景），SSD的优势更加明显。假设批量大小为8，每张图需要1024步。传统方式需要1024步才能完成整个批次，SSD只需要512步。虽然每步的计算量相同，但总时间减半，GPU的整体吞吐量翻倍。更重要的是，更少的步数意味着更短的GPU占用时间，调度器可以更快地将GPU资源分配给其他任务，在高并发场景下减少了排队等待的时间。
这三个层面的加速并非简单叠加，而是存在乘法效应。步数减半本身带来2倍加速，KV缓存摊薄再带来约1.5-3倍的加速（取决于序列长度），批处理效率提升再贡献额外的1.5-2倍。这些因子相乘，最终产生了论文报告的13.3倍总加速。
四、技术细节：模型如何同时预测两个token
SSD的模型架构修改出人意料地简洁。在标准的自回归图像生成模型（以LlamaGen为代表）中，解码器在每个时间步接收当前token的嵌入向量，通过若干层Transformer块处理后，输出一个维度为隐藏维度的向量，再经过一个线性投影层（prediction head）映射到词表大小的logits向量，从中采样得到下一个token。整个过程可以用一个公式概括：logits = W_head × Transformer(token_embedding)，其中W_head是一个(vocab_size, hidden_dim)的矩阵。
SSD的修改是在这个流程的末端添加一个额外的预测头。具体来说，SSD维护两个线性投影层：W_h负责预测水平方向的下一个token（右边相邻），W_v负责预测垂直方向的下一个token（下方相邻）。两个头的输入来自同一个Transformer块的输出向量，因此它们共享了Transformer主干的所有计算——从嵌入层到最后一层注意力，全部重用。
这个设计的关键优势在于：Transformer主干的计算量几乎不变。所有额外的计算量仅来自一个额外的线性投影层W_v，这个层的参数量为(vocab_size, hidden_dim)，假设词表大小为8192、隐藏维度为4096，那么额外参数量约为3300万——听起来不少，但相对于一个32层Transformer主干的数亿参数来说，占比不到10%。而且线性投影的计算量（一次矩阵乘法）相对于Transformer的多层注意力和前馈网络来说，更是微不足道。
因此，SSD的每步计算量与传统方式几乎相同（多了约5%的计算量来自额外的预测头），但每步产出的token数量翻倍。这是一个极其划算的交易。
当然，同时预测两个token也带来了一系列需要精心解决的技术问题。
问题一：token生成顺序的重新定义。在一维自回归框架中，token的生成顺序是明确且固定的：从左到右，从上到下，即字典序。但在SSD中，每步同时生成两个token，这两个token在原始的二维网格中处于不同的空间位置。如何定义下一步的"当前token"？
SSD采用了一种对角线式的扫描顺序。具体来说，模型按照对角线方向遍历token网格：先处理(0,0)位置，然后同时预测(0,1)和(1,0)；接着分别以(0,1)和(1,0)为起点，各预测其水平和垂直邻居。这种扫描方式创建了一个"波前"——沿着从左上到右下对角线方向推进，每一步的两个预测目标都与当前token在空间上相邻。这种设计最大限度地利用了二维空间局部性，因为当前token的上下文信息对于预测其水平邻居和垂直邻居都是最相关的。
对角线扫描顺序还有一个额外的好处：它自然地维护了因果性。在二维网格中，每个token只能"看到"它左上方区域的token——这是图像自回归生成的基本因果约束。对角线扫描恰好满足这个约束：当处理某个对角线上的token时，所有更靠近左上方的token都已经被生成，可以作为上下文使用。
问题二：预测置信度的不均衡。水平方向和垂直方向的预测难度可能不同，而且这种差异会随着图像内容的变化而变化。在大面积平坦区域（如天空），两个方向的预测都很简单，置信度都很高。但在物体边缘处，情况就复杂了：如果边缘是水平的（比如桌面的边），那么水平方向的预测比较容易（沿着边缘的纹理是连续的），垂直方向的预测比较难（跨越边缘，颜色可能突变）。反之，如果边缘是垂直的（比如墙角），情况就反过来。
如果模型对某个方向的预测置信度很低但仍然强制采样，可能会引入错误的token，这些错误会沿着自回归链条传播，严重损害生成质量。
论文采用了自适应的置信度阈值来解决这个问题。在每一步，模型首先计算两个方向的预测置信度（通常用logits的softmax熵或最大概率来衡量）。如果两个方向的置信度都高于阈值，就同时采样两个token。如果某个方向的置信度低于阈值，就只采样置信度较高的那个方向的token，将另一个方向的预测推迟到后续步骤。这种自适应机制确保了生成质量不会因为"强行同时预测"而下降，代价是偶尔退化为每步只生成一个token（在这些"困难"位置，加速比会暂时降低）。
从工程实现的角度看，这种自适应机制引入了一定的调度复杂性。模型需要维护一个"待处理token队列"，根据每步的置信度动态决定下一步要预测哪些位置。论文中给出了这个调度器的详细实现方案，确保了即使在最坏情况下（所有位置都需要退化），性能也不会低于标准的自回归解码。
问题三：训练目标的调整。在标准的自回归训练中，损失函数是下一个token预测的交叉熵：L = -log P(token_t | token_1, ..., token_{t-1})。SSD需要同时优化两个方向的预测，因此损失函数变为两个交叉熵之和：L_total = α × L_horizontal + β × L_vertical，其中α和β是权重超参数。
论文中对α和β的最优取值进行了系统的消融实验。实验发现，两个方向的权重并不需要完全对称——水平方向的权重可以略高于垂直方向，这可能反映了图像中水平方向的相关性确实比垂直方向更强（至少在自然图像数据集中是这样的，因为地平线、水面等大面积水平纹理非常常见）。
另一个值得注意的训练细节是：SSD的两个预测头需要从零开始训练，不能简单地从已有的单头模型微调。这是因为垂直方向的预测目标（下方相邻token）与原始训练目标（右边相邻token）完全不同，预测头的权重需要从随机初始化开始学习。论文中的实验表明，从零训练的SSD模型在约50个epoch后就能收敛到与基线模型相当的水平，训练开销增加不大。
五、实验结果：13倍加速，质量不打折
SSD在两个主流的图像生成基准上进行了全面的测试：DPG-Bench和GenEval。这两个基准分别从不同角度评估文本引导图像生成的质量。
DPG-Bench（Detailed Prompt Generation Benchmark）是一个专注于文本-图像对齐的评测基准。它使用详细的文本描述来测试模型是否能够准确地生成描述中指定的所有元素。例如，"一只黑色的猫坐在红色的沙发上，旁边有一本打开的书"——模型需要同时正确生成猫的颜色（黑色）、沙发的颜色（红色）、书的位置（旁边）和状态（打开）等多个细节。DPG-Bench的评分越高，说明模型对复杂文本的理解和执行能力越强。这个基准对图像生成模型的挑战在于：它不是测试"生成好看的图片"，而是测试"生成与描述完全匹配的图片"。
GenEval是一个更全面的评测基准，涵盖了单对象生成、多对象生成、颜色属性、空间关系、尺寸比较等多个维度。它的评分体系更加严格，采用二元评分——要么完全正确，要么不得分，没有"部分正确"的中间地带。这种评分方式能够更细致地区分不同模型之间的差异，避免了模糊评分带来的评估噪声。
实验结果令人印象深刻。在DPG-Bench上，SSD在实现最高13.3倍加速的同时，生成质量与原始模型基本持平——评分差异在统计误差范围内。在某些配置下（特别是中等分辨率和中等复杂度的prompt下），SSD甚至略优于原始模型。论文对此的解释是：同时预测两个方向的token可能起到了某种正则化效果，迫使Transformer主干学习更鲁棒的空间表征，而不是过度依赖一维序列中的局部模式。
在GenEval上，SSD同样保持了与原始模型相当的生成质量。在颜色属性和单对象生成这两个子任务上，SSD的得分与基线完全一致。在多对象生成和空间关系这两个更难的子任务上，SSD有极微小的下降（约0.5-1个百分点），但仍处于正常波动范围内。
论文还进行了详细的消融实验，逐一验证了各个设计选择的有效性。包括：不同扫描顺序（逐行扫描 vs. 对角线扫描 vs. Z形扫描）的对比、不同置信度阈值的影响（从0.0到0.9的连续变化）、不同预测头架构（线性层 vs. 两层MLP vs. 共享注意力）的选择。实验结果表明，对角线式扫描顺序比逐行扫描快约30%，自适应置信度阈值（最优值在0.3-0.5之间）比固定阈值快约20%，而预测头架构的影响相对较小——简单的线性层已经足够好。
在不同分辨率下的测试显示了SSD的加速效果随分辨率增长的趋势：在16×16的token网格上加速约3倍，在32×32上加速约8倍，在64×64上加速约13倍。这与理论分析一致——分辨率越高，KV缓存越大，内存墙效应越显著，SSD的摊薄优势就越明显。
六、与现有加速方法的对比和互补
在SSD之前，已有多种方法试图加速自回归图像生成。理解这些方法有助于准确定位SSD的贡献。
第一类：减少token数量。代表性方法包括使用更高压缩比的VQGAN编码器（比如从16×16压缩到8×8）、采用多尺度tokenization策略（先生成低分辨率token网格，再逐步细化）、或者使用连续值而非离散值的tokenizer。这类方法的思路是：如果token数量更少，解码步数自然更少。但更高的压缩比通常意味着更差的重建质量——这是信息论的基本限制，你不能在丢弃更多信息的同时保持相同的保真度。因此这类方法面临一个硬性的速度与质量的权衡。
第二类：并行解码技术。代表性方法包括Medusa、EAGLE、Lookahead Decoding等投机解码（speculative decoding）技术。这些方法在大语言模型推理加速中已经取得了显著的成功。其核心思想是：使用一个轻量级的"草稿模型"（draft model）同时生成多个候选token，然后用原始大模型一次性验证这些候选——如果验证通过，就一步跳过多个token。投机解码之所以有效，是因为验证多个token的计算成本远低于逐个生成它们。
SSD与传统的投机解码有相似之处（都是通过"一次计算，产出多个token"来加速），但也有本质区别。传统的投机解码需要一个额外的草稿模型，而SSD不需要——它的两个预测头是主模型的一部分，从头到尾只用一个模型。传统投机解码的加速效果依赖于草稿模型的预测准确率（如果草稿模型经常猜错，加速比会大幅下降），而SSD的两个预测头是在训练过程中专门优化的，准确率有保障。此外，传统投机解码是一维的（只能沿着序列方向投机），而SSD是二维的（沿着两个空间方向同时投机），这正是它能够充分利用图像结构的原因。
第三类：非自回归生成方法。扩散模型（如Stable Diffusion、DALL-E 3）和流匹配模型（如Flux、SD3）完全抛弃了自回归范式，通过迭代去噪或流匹配的方式并行生成所有像素。这类方法在推理速度上有天然优势——去噪过程的每一步都同时更新所有像素，不存在串行瓶颈。但扩散模型有其自身的速度挑战：通常需要20-50步去噪才能生成高质量图像，每步都涉及一次完整的U-Net或DiT前向传播。此外，在某些需要精确文本-图像对齐的任务上（特别是包含复杂空间关系和多个对象的描述），自回归模型的逐token决策机制可能比扩散模型的整体去噪机制更有优势。
SSD与上述三类方法是正交的。它不减少token数量（所以不牺牲重建质量），不改变模型架构的根本范式（所以不需要重新训练整个系统），也不依赖于特定的训练数据。它是一种纯粹的推理时优化技术，可以与第一类方法（减少token数量后，SSD可以进一步加速）和第三类方法（SSD可以弥补自回归模型相对于扩散模型的速度劣势）结合使用。论文中没有展示与传统投机解码的联合使用效果，但这在原理上是可行的——先用SSD在二维方向投机，再用传统投机解码在序列方向投机，两者叠加可能产生更大的加速比。
七、更深层的意义：几何感知的计算
SSD的价值不仅在于它提供了一种有效的加速方法，更在于它揭示了一个更深层的原则：计算范式应该尊重数据的内在几何结构。
图像是二维的，但传统的自回归框架强制用一维的方式来处理它。这种从二维到一维的降维操作不是无损的——它必然导致空间信息的结构化丢失。SSD通过在预测目标中恢复二维结构信息，实现了更好的计算效率。这说明被丢弃的几何信息不仅对生成质量有价值，对推理效率也有价值。
这个原则可以推广到更广泛的领域。视频数据是三维的（时间×高度×宽度），当前的视频生成模型通常将其拍平为一维序列（按时间顺序扫描各帧的token）。如果将SSD的思想扩展到三维——同时预测时间轴、水平轴和垂直轴上的相邻token——是否可以实现更大的加速？理论上，三维投机可以带来3倍的步数减少，再加上更大的KV缓存摊薄效应，加速比可能远超13倍。
音频信号的频谱图具有时频二维结构。当前的语音合成模型通常将频谱图按时间轴展开为一维序列。如果在时间轴和频率轴上同时进行投机解码，可能显著加速语音生成。
3D点云数据具有非欧几里得的几何结构——点与点之间的"距离"不是简单的网格距离，而是需要根据点云的拓扑结构来定义。这类数据是否可以设计相应的"几何感知投机解码"策略？虽然技术实现会更复杂（需要动态计算邻域关系，而不是像网格那样预先确定），但核心原理是一致的：让预测目标对齐数据的内在几何。
从更抽象的角度来看，SSD体现了一种"让计算结构匹配数据结构"的设计哲学。这种哲学在科学计算中有着悠久的历史。有限元方法之所以有效，就是因为它的网格结构与物理场的空间分布相匹配。快速傅里叶变换之所以快，就是因为它利用了正弦函数的对称性结构。SSD可以看作是这种哲学在深度学习推理优化中的一个具体实例——不是改变模型的能力，而是让计算过程更好地适应数据的本质特征。
从信息论的角度看，SSD揭示了一个有趣的现象：图像的二维局部性中蕴含着"免费"的信息。传统的一维自回归框架没有利用这些免费信息，因此在每一步都做了"过多"的工作——它用全局注意力来弥补丢失的局部性，代价是大量的内存访问。SSD通过将局部性直接编码到预测目标中，减少了对全局注意力的依赖，从而降低了内存访问量。这就像解一道几何题：如果用坐标法暴力计算，需要大量代数运算；但如果利用几何对称性，很多计算可以跳过。SSD做的事情本质上是一样的——利用数据的几何结构来跳过不必要的计算。
八、局限性与未来方向
SSD目前的设计有几个值得注意的局限性，每个局限性都指向一个值得探索的研究方向。
局限一：仅利用紧邻的一阶邻域。当前的SSD只预测紧邻的水平和垂直方向的token——也就是二维网格中一阶邻域中的两个方向。一个自然的扩展是同时预测更大的邻域。最直接的想法是同时预测四个方向（上、下、左、右），这样每步可以产出4个token，步数减少到N/4。但有两个问题：第一，上方和左方的token在因果约束下已经生成过了，不需要再预测；第二，如果改为预测(0,1)、(1,0)和(1,1)（即右、下、右下），三个方向的预测准确率差异可能很大，特别是对角线方向的空间相关性通常弱于水平和垂直方向。更激进的方案是预测一个2×2的token块，但这需要在训练中显式建模块内token之间的依赖关系，技术难度显著上升。
局限二：共享主干的表达能力瓶颈。SSD的两个预测头共享Transformer主干的全部计算。这意味着主干的输出向量必须同时编码"预测水平邻居"和"预测垂直邻居"所需的信息。如果这两个预测任务需要截然不同的表征模式，共享主干可能成为瓶颈。比如，在某些图像区域中，水平预测依赖于纹理连续性信息，垂直预测依赖于物体边界信息，而这两类信息可能需要不同的注意力模式来提取。未来可能需要设计方向感知的注意力机制——让注意力头自动分工，一部分专注于水平方向的上下文，另一部分专注于垂直方向。
局限三：与KV缓存压缩技术的兼容性尚不明确。近年来出现了多种KV缓存压缩技术，用于减少长序列推理时的内存占用和访问量。这些技术包括稀疏注意力（只保留最重要的token的KV）、token剪枝（丢弃"不重要"的token的KV）、KV缓存量化（用低精度表示KV值）等。SSD与这些技术的交互效果尚不清楚。如果KV缓存压缩导致某些关键空间位置的token被丢弃，SSD的两个预测头都可能受到影响——因为它们的预测都依赖于完整的上下文信息。论文没有涉及这方面的实验，这是一个重要的未来研究方向。
局限四：训练成本的增加。虽然SSD的推理加速效果显著，但训练阶段需要同时学习两个方向的预测目标，损失函数更复杂，梯度信号更嘈杂。论文中报告的训练收敛曲线显示，SSD需要比基线多约20%的训练步数才能达到相同的损失值。对于大规模训练来说，这意味着显著的额外计算成本。
未来方向一：自适应预测维度。当前的SSD固定使用水平和垂直两个方向。但在图像的不同区域，最优的预测方向可能不同。在大面积天空区域，任何方向的预测都很容易，可以激进地一次预测多个token。在复杂的纹理区域（如树叶、毛发），预测难度高，可能需要退回到单token预测。在物体边缘处，沿着边缘方向的预测比垂直于边缘的预测更可靠。设计一种根据局部图像内容自适应选择预测方向和预测数量的机制，可能进一步提升加速比和生成质量。
未来方向二：与视频生成的结合。视频生成是当前最热门的研究方向之一，也是计算需求最大的应用之一。一段5秒、30帧/秒、512×512分辨率的视频，token数量可能达到数万个。如果将SSD扩展到三维（时间+空间），同时预测时间轴和空间轴上的相邻token，可能为视频生成带来巨大的加速。但挑战在于：视频的时间轴相关性（帧间运动）与空间轴相关性（帧内纹理）的性质差异很大，可能需要不同的预测头架构。
未来方向三：与硬件协同设计。SSD的加速效果在很大程度上取决于GPU的内存带宽特性。不同架构的GPU具有不同的内存层次结构和带宽特性。针对特定硬件特性优化SSD的实现——比如利用L2缓存的局部性、优化KV缓存的内存布局、使用异步预取来隐藏内存延迟——可能释放更多的性能潜力。此外，随着专用AI芯片（如Google TPU、Groq LPU）的发展，SSD的思想可能需要针对新的硬件特性进行重新设计。
九、对行业的影响
SSD的13.3倍加速如果能够在生产环境中广泛复现，将对图像生成行业产生多方面的实质性影响。
实时交互式生成变得可行。当前的自回归图像生成模型通常需要数秒到数十秒来生成一张高质量的图片。13倍的加速意味着这个时间可以缩短到亚秒级。想象一个设计工具：设计师输入文字描述或绘制粗略草图，画面在300毫秒内实时更新。这种体验将从根本上改变创意工作流程——从"写描述-等待-看结果-修改描述"的循环变成"边说边看"的实时对话。
高分辨率生成的经济性大幅改善。自回归模型在高分辨率图像上的推理成本按平方增长。1024×1024的图像比256×256多16倍的token，推理时间也多16倍。SSD的加速可以显著降低这种成本，使得4K甚至8K分辨率的自回归生成在商业应用中变得更加经济可行。对于广告、影视后期、游戏美术等行业来说，这意味着更低成本的高质量视觉内容生产。
边缘设备部署的门槛降低。边缘设备（如手机、平板、VR/AR头显）的计算资源和内存带宽都远低于数据中心GPU。SSD的内存访问优化对这类设备尤其有价值，因为它直接降低了推理过程中最大的瓶颈——内存带宽需求。如果一部手机的内存带宽是50GB/s（大约是A100的1/40），那么内存墙问题在手机上会更加严重，SSD的加速效果可能更加显著。
自回归模型与扩散模型的竞争格局变化。在当前的图像生成领域，扩散模型在推理速度上通常优于自回归模型，这是很多应用选择扩散模型的重要原因之一。SSD的加速可能改变这个格局——如果自回归模型能够以接近扩散模型的速度运行，同时保持其在文本-图像对齐精度上的优势，那么自回归模型在高端应用中的竞争力将大幅提升。
附录：关键技术概念速查
为了方便不熟悉自回归图像生成领域的读者，这里对文中出现的核心概念做简要说明。
自回归模型（Autoregressive Model）：一类生成模型，其基本思想是将联合概率分布分解为条件概率的连乘。在图像生成中，这意味着将整张图片的概率表示为每个token在给定之前所有token条件下的概率之积。生成过程就是从这个条件分布中逐个采样token。GPT系列语言模型是最著名的自回归模型实例。
视觉token（Visual Token）：将连续的图像通过矢量量化（Vector Quantization）转化为离散的整数标识符。一个典型的流程是：先用卷积神经网络将图像编码为低维特征图，然后在特征图的每个空间位置上，将连续特征向量替换为码本（codebook）中最接近的离散向量的索引。这个索引就是视觉token。码本通常包含8192个条目，因此token的取值范围是0到8191。
KV缓存（Key-Value Cache）：Transformer注意力机制中的键（Key）和值（Value）矩阵在推理时的缓存。在自回归解码中，每生成一个新token，都需要计算该token与之前所有token的注意力权重。由于之前token的键和值不会改变，可以将它们缓存起来避免重复计算。KV缓存的大小随已生成token数量线性增长，是自回归推理中内存占用的主要来源。
投机解码（Speculative Decoding）：一种加速自回归生成的技术。核心思想是用一个轻量级的"草稿模型"快速生成多个候选token，然后用原始模型一次性验证这些候选。如果候选被接受，就一步跳过多个token；如果不被接受，就从被拒绝的位置重新开始。在数学上可以证明，投机解码的输出分布与原始模型完全一致——这是一种无损加速。
内存墙（Memory Wall）：指处理器的计算速度增长远快于内存带宽增长所导致的瓶颈。在深度学习推理中，当模型需要频繁访问大量数据（如KV缓存）时，GPU的计算单元大部分时间处于空闲状态，等待数据从内存中加载。这个瓶颈不可以通过增加计算核心来解决，只能通过减少内存访问量或提高数据复用率来缓解。SSD正是通过提高数据复用率（一次注意力计算产出两个token）来突破内存墙。
十、总结
SSD是一篇思路清晰、执行扎实、结果有说服力的工作。它从一个简单的观察出发——图像的二维空间局部性在一维自回归框架中被浪费了——提出了一个同样简洁的解决方案——同时预测水平和垂直方向的相邻token。实验结果证明，这个简单的修改能够带来数量级的推理加速（最高13.3倍），且不牺牲生成质量（在DPG-Bench和GenEval上与基线持平）。
从方法论的角度看，SSD的贡献不在于引入了某种全新的技术组件，而在于将一个已有的思想（投机解码）与数据的几何结构进行了巧妙的结合。投机解码本身不是新概念，但将其从一维序列扩展到二维网格，并据此重新设计预测目标和扫描顺序，这个组合是新颖的。
从工程应用的角度看，SSD的实用价值在于它是一种"即插即用"的推理优化——不需要修改模型架构的主体部分（Transformer主干不变），不需要改变训练数据，只需要添加一个额外的预测头并调整扫描顺序。这种低侵入性使得SSD可以很容易地应用到现有的自回归图像生成系统中。
这项工作最大的启示或许在于：尊重数据的内在结构，往往能带来意想不到的收益。在深度学习中，我们经常需要将复杂的数据结构"翻译"成模型能够处理的格式——图像拍平为序列，图结构展平为邻接矩阵，点云体素化为规则网格。这些翻译操作方便了模型设计，但不可避免地会丢失信息。SSD提醒我们，被丢弃的结构信息不是废物——它既可以提升生成质量，也可以加速推理过程。找到正确的方式把这些信息捡回来，就是改进的方向。
评论