Micro batch

Creator

Created

2026 Nov 5 10:45

Editor

Edited

2026 Nov 5 10:58

Refs

한 번에 GPU에 올리는 작은 배치

메모리가 부족하면 global batch를 여러 micro batch로 쪼개 forward와 backward를 하고, gradient accumulation으로 더한 뒤 한 번에 업데이트

/////////