Seonglae ChoVariational Approximation
Probability version of Variational Method
복잡한 분포를 간단한 분포로 근사하여 추론을 효율적으로 수행하는 방법이다. VI provides a method for defining the posterior when Monte Carlo Method sampling for is computationally impossible. Approximate posterior using because computing Posterior is hard. 추정을 위해 approximation distribution 을 사용하여 prior 와 variational posterior 의 KL Divergence를 최소화한다. 이때 두 분포 모두 Normal distribution같이 간단한 분포를 사용한다. 그리고 ELBO는 KL divergence 직접 최소화할수 없기 위해 간접적으로 sandwich사이 넣어 강제로 최소화하기 위한 위한 VI에서 Loss Function 이다.
분포 추정 문제를 Convex Optimization 바꾸어주어 생성 모델같이 판별 모델에 비해 intractable 단점을 복잡성을 간단한 함수로 흡수할수 있다.
Variational Inference Notion
