用两个独立哈希函数把每个请求映射到两个候选实例，以 power of two choices 同时保住 KV cache 复用与负载均衡，在相同 TTFT SLO 下将有效请求容量提高至最高 2.25x。

用轻量 block diffusion model 在单次前向中并行起草整块候选 token，并读取 target model 多层隐层作为条件，实现平均 4.9x 的无损推测解码加速。

在不改 one-pass 并行起草的前提下，用路径 selector 和两抽头动态卷积两个小模块修复候选块不连贯与后段衰减问题，以约 1.3% 额外延迟换取 16%-25% 的每轮验证产出提升。

在并行 drafter 后接极轻的顺序修正模块增强块内连贯性，并按前缀验证通过概率与引擎负载动态决定验证长度，同时改好生成与调度两侧。

把每条序列切成固定大小的块、允许块落在任意 GPU 上，用 LPT 装箱均衡负载、用二部图匹配规划无拥塞通信，在长尾序列分布下同时拿到单卡高 MFU 与全局负载均衡：256 GPU 上近线性扩展，attention MFU 提高 1.13x-2.21x。

让 Attention 层与 MoE 层各自持有独立的并行映射，把 EP 从 DP 的子集中解放出来折叠进 NVLink 域，配合支持 token-dropping 与 token-dropless 的统一 token dispatcher：Mixtral 8x22B 在 H100 上达到 49.3% MFU，扩展至 1024 GPU 与 128K 上下文，已随 Megatron-Core 开源。

对照论文原文结构解读华为 CloudMatrix384 超节点与 CloudMatrix-Infer 推理系统：从背景挑战、超节点架构、PDC 分离与 EP320 设计，到实验评估与消融的完整梳理。

SGLang 的核心创新 RadixAttention 首次把 KV cache 当作树形 LRU 缓存来管理：请求产生的所有共享前缀自动收进一棵 radix tree，配合最长共享前缀优先调度把命中率推向理论最优，在 agent、few-shot、多轮对话等多调用任务上报告最高 6.4x 吞吐提升。

把长 prefill 切成等大 chunk 构造计算饱和且均匀的批次，让解码请求搭 prefill 的顺风车、以一个数量级更低的边际成本随批执行：LLaMA-13B 上解码吞吐最高提升 10x，GPT-3 流水线部署 bubble 减少 6.29x、端到端吞吐提升 1.91x。