本文为精读赵晨阳https://docs.sglang.io/advanced_features/sglang_for_rl.html的笔记,记录在RL framework中集成SGLang的一些痛点,包括rollout、evalutaion、training以及权重更新等等;

为什么选择SGLang

chenyang给出了五个选择sglang的理由

  • 细粒度的engine的sleep和wake up;
  • open-to-use:支持colocation和disaggregation两种模式;
  • 支持partial rollout以及特定的rollout控制;
  • 确定性推理:确保训练推理的精度对齐
  • 精细的sglang router:cache_aware,load_balancing自动选择最优的rollout DP

0 items under this folder.