ELBO

variational lower bound 즉 ELBO가 항상 의 log likelihood 이하임을 보여준다. ELBO를 최대화하면 를 근사적으로 최대화할 수 있다.

minimize

KL Divergence between and

좌항과 우항으로 나뉘는데, 좌항으로 kl을 최소화하여 분포사이 거리를 좁히고 우항은 z|x 상황에서 x|z log likelihood를 최대화해서 reconstruction 가능하게 한다

That is,