Zeroth-Order Optimization

Creator

Creator

Seonglae Cho

Created

Created

2026 Oct 28 8:46

Editor

Editor

Seonglae Cho

Edited

Edited

2026 Oct 28 8:52

Refs

Refs

Evolutionary algorithm

qlabs-eng • Updated 2026 Oct 28 7:33

ZO

Loss → ZO Gradient Estimation →
Model Optimizer → Weight Update

기존 딥러닝은 역전파로 정확한 gradient를 계산하지만, Zeroth-Order(ZO)는 Loss 값만 관찰해서 gradient를 추정. 즉, 미분하지 않고 여러 방향을 시험해 좋은 방향을 추정하는 방식

Traditional EA

모델의 Weight에 무작위 Noise를 추가해 여러 변형을 생성.

각 변형의 Loss를 측정.

Loss가 낮아지는 방향으로 Weight를 업데이트.

Dust: Activation에 Noise를 추가 (Activation Space)

기존 weight-space ES보다 연구진의 추정 기준으로 약 1,000~10,000배 계산 효율적

Limitation

대규모 LLM 학습비 절감 미입증이고 논문 저자들도 실제 Backprop 대안이 되려면 계산 효율을 수십~수천 배 수준으로 더 개선해야 한다고 명시. 기존 ES 보다 훨 빠른정도

Dust: Pretraining Transformers Without Backpropagation

Deep learning has been built around backprop, the only credit assignment algorithm capable of training modern neural nets, including transformer-based language models. Backprop requires differentiability and produces first-order gradients, and deep learning’s architectures, optimizers, and hardware have co-evolved around this constraint.

https://qlabs.sh/research/dust

Noise
noise
qlabs-eng • Updated 2026 Oct 28 5:19

Q Labs는 역전파 없이 GPT를 사전학습하는 공개 경쟁을 시작.

초기 Dust: 1.76시간

10일 후 최적 기록: 1.6초

Noise is a pretraining speedrun for learning algorithms that never run a backward pass. Model, data and score are fixed; two tracks ask how low the loss can go and how fast. Our Dust baseline sits at 4.167.

https://qlabs.sh/noise

Recommendations

////////