2026-04-08 Daily
🧠 今天记录
- [ ]
🚀 今日TODO
- 思考AIO batch conductor更加solid的创新点 ✅ 2026-04-08
- 精读Heddle论文，思考其中利用小模型来预测输出长度的方法是否有价值 ✅ 2026-04-08
- 跑通glm5+vllm-plugin-fl，并跑我们的代码查看结果
- 学习sglang+hicache完整的代码调用链
🧩 遇到的问题 / 卡点
- batch conductor已经有了一个很好的数学抽象了，接下来的重心是如何确定每个请求到来时的M (可预留的空间，认为请求还会推理生成占用的kvcache usage) ✅ 2026-04-08
📌 明天该干啥
- AIO batch conductor新的设计
💡 随手记录
- 希望vccl能中sigcomm