在不改 one-pass 并行起草的前提下，用路径 selector 和两抽头动态卷积两个小模块修复候选块不连贯与后段衰减问题，以约 1.3% 额外延迟换取 16%-25% 的每轮验证产出提升。

在并行 drafter 后接极轻的顺序修正模块增强块内连贯性，并按前缀验证通过概率与引擎负载动态决定验证长度，同时改好生成与调度两侧。

把 agentic 程序的 idleness 从二元标签改为连续相对谱：按窗口化 ι 值对全部活跃程序排序，最忙的进 GPU HBM、最闲的进 CPU DRAM，分区边界随硬件容量动态移动，双层各自准入控制。Claude Code 真实负载上，80 并发时吞吐比最强 offloading baseline 高 20–71%。

用轻量 block diffusion model 在单次前向中并行起草整块候选 token，并读取 target model 多层隐层作为条件，实现平均 4.9x 的无损推测解码加速。

把原生 LLM 转成可变换的算子图，再混用 profiling、预测和分析后端，Charon 将训练与推理性能仿真统一起来；论文报告总体误差低于 5.35%，近万卡训练误差低于 3.74%。

把每条序列切成固定大小的块、允许块落在任意 GPU 上，用 LPT 装箱均衡负载、用二部图匹配规划无拥塞通信，在长尾序列分布下同时拿到单卡高 MFU 与全局负载均衡：256 GPU 上近线性扩展，attention MFU 提高 1.13x-2.21x。

让 Attention 层与 MoE 层各自持有独立的并行映射，把 EP 从 DP 的子集中解放出来折叠进 NVLink 域，配合支持 token-dropping 与 token-dropless 的统一 token dispatcher：Mixtral 8x22B 在 H100 上达到 49.3% MFU，扩展至 1024 GPU 与 128K 上下文，已随 Megatron-Core 开源。

用两个独立哈希函数把每个请求映射到两个候选实例，以 power of two choices 同时保住 KV cache 复用与负载均衡，在相同 TTFT SLO 下将有效请求容量提高至最高 2.25x。

对照论文原文结构解读华为 CloudMatrix384 超节点与 CloudMatrix-Infer 推理系统：从背景挑战、超节点架构、PDC 分离与 EP320 设计，到实验评估与消融的完整梳理。

SGLang 的核心创新 RadixAttention 首次把 KV cache 当作树形 LRU 缓存来管理：请求产生的所有共享前缀自动收进一棵 radix tree，配合最长共享前缀优先调度把命中率推向理论最优，在 agent、few-shot、多轮对话等多调用任务上报告最高 6.4x 吞吐提升。