#speculative-decoding
共 1 篇相关内容 · 安全漏洞、AI动态、技术文章
情报动态 1
学习 🟢
DominoTree: 路径条件草稿树实现6.6x推理解码加速
在Qwen3-4B上实现最高6.6x加速，平均接受长度10.7token/轮。CUDA原生构建器保证比特级一致，Alpaca上throughput +22%。直接可部署的推理加速方案。
共 1 篇相关内容 · 安全漏洞、AI动态、技术文章
在Qwen3-4B上实现最高6.6x加速，平均接受长度10.7token/轮。CUDA原生构建器保证比特级一致，Alpaca上throughput +22%。直接可部署的推理加速方案。