torch.compile()

Creator

Creator

Seonglae Cho

Created

Created

2023 Aug 24 17:13

Editor

Editor

Seonglae Cho

Edited

Edited

2025 Apr 27 17:43

Refs

Refs

Speed up using
JIT Compilation

torch.jit 와 전혀 다른 JIT 로 커널레벨 최적화로 computational grpah capture 후 backend 에 넘겨서 python으로 실행하는 방식

Backends

“inductor” default

“nvfuser”

"aot_eager”
Pytorch Eager Mode but extract graph

Triton

XLA for TPU

Not working for every hf model

Accelerating Hugging Face and TIMM models with PyTorch 2.0

torch.compile() makes it easy to experiment with different compiler backends to make PyTorch code faster with a single line decorator torch.compile(). It works either directly over an nn.Module as a drop-in replacement for torch.jit.script() but without requiring you to make any source code changes. We expect this one line code change to provide you with between 30%-2x training time speedups on the vast majority of models that you’re already running.

https://pytorch.org/blog/Accelerating-Hugging-Face-and-TIMM-models/#hugging-face-models

Accelerating Hugging Face and TIMM models with PyTorch 2.0

torch.compile Tutorial — PyTorch Tutorials 2.0.1+cu117 documentation

PyTorch Recipes

https://pytorch.org/tutorials/intermediate/torch_compile_tutorial.html

PyTorch 2.0에서 달라지는 점 - torch.compile

PyTorch 2.0 Overview pytorch.org PyTorch 2.0은 22년 12월 PyTorch Conference에서 발표되었고, 23년 3월 정식 릴리즈 되었다. 이전의 PyTorch 1.x 버전들보다 빠르고, Pythonic하고 Dynamic하다고 한다. 어떤 점들이 달라졌을지 한번 알아봅시다. torch.compile torch.compile은 PyTorch 2.0의 메인 API이다. 모델을 미리 컴파일하여 속도를 높이는 기술이다. torch.compile은 TorchDynamo, AOTAutograd, PrimTorch, TorchInductor 네 가지의 새로운 기술을 기반으로 만들어졌다. 각 기술에 대한 자세한 설명은 여기에서 찾아볼 수 있다. 사용법 torch.compile은..

https://bo-10000.tistory.com/190

PyTorch 2.0에서 달라지는 점 - torch.compile

속도와 파이썬, 두 마리 토끼 잡기: 딥러닝 시 빠른 파이썬 코드 실행을 위한 CUDA 그래프 사용법 (Speed, Python: Pick Two. How CUDA Graphs Enable Fast Python Code for Deep Learning)

생성형 AI 플랫폼 개발/서비스 기업 Fireworks.ai의 글을 허락 하에 번역하여 공유합니다. Fireworks.ai에서 작성한 원문은 아래 링크를 눌러 보실 수 있습니다. ⚠ 이 글에는 Firework Platform에 대한 사용 사례 및 홍보가 포함되어 있습니다. 작성: 제임스 K 리드 (James K Reed), 드미트로 줄가코프(Dmytro Dzhulgakov) 이번 포스팅은 고성능의 Fireworks Gen AI 플랫폼에서 최적화를 위해 사용하는 방법에 대한 기술 블로그 시리즈 중 두 번째 글입니다. 다중 쿼리 어텐션에 대한 이전 포스팅도 참고해보세요. This is the second in a series of technical blog posts about the techniques we use for optimization of the high-performance Fireworks Gen AI Platform. See also th...

속도와 파이썬, 두 마리 토끼 잡기: 딥러닝 시 빠른 파이썬 코드 실행을 위한 CUDA 그래프 사용법 (Speed, Python: Pick Two. How CUDA Graphs Enable Fast Python Code for Deep Learning)

https://discuss.pytorch.kr/t/cuda-speed-python-pick-two-how-cuda-graphs-enable-fast-python-code-for-deep-learning/2441

속도와 파이썬, 두 마리 토끼 잡기: 딥러닝 시 빠른 파이썬 코드 실행을 위한 CUDA 그래프 사용법 (Speed, Python: Pick Two. How CUDA Graphs Enable Fast Python Code for Deep Learning)

Backlinks

TorchScript AI Compiler Optimization torch.nn.functional.scaled_dot_product_attention nanoGPT train.py Huggingface Transformers Profile

Recommendations

////////