Seonglae ChoPrefill/Decode disaggregation
LLM 추론의 두 단계를 서로 다른 GPU 그룹에 나눠 돌리는 방식
- prefill은 프롬프트 전체를 한 번에 처리하는 compute-bound 단계
- decode는 토큰을 하나씩 만드는 memory-bandwidth-bound 단계
prefill이 만든 KV cache를 RDMA나 NIXL로 decode 쪽에 넘겨요. 두 단계가 서로 방해하지 않아서 TTFT와 TPOT를 각각 따로 최적화
DistServe와 Mooncake가 이 방식을 내놨고, vLLM, SGLang, NVIDIA Dynamo가 지원