#scheduling

SMetric: Agent场景下LLM调度的重新思考

首次系统研究Agent工作负载的调度特性，发现KV复用率>80%（vs人类对话54-62%）。提出会话中心调度策略，TPS提升10-34%，调度器保持无状态。对LLM服务集群有直接工程价值。