Seonglae ChoVariational Approximation
Probability version of Variational Method
복잡한 분포를 간단한 분포로 근사하여 추론을 효율적으로 수행하는 방법이다. VI provides a method for defining the posterior when Monte Carlo Method sampling for is computationally impossible. Approximate posterior using because computing Posterior is hard. 추정을 위해 approximation distribution 을 사용하여 prior 와 variational posterior 의 KL Divergence를 최소화한다. 이때 두 분포 모두 Normal distribution같이 간단한 분포를 사용한다. 그리고 ELBO는 KL divergence 직접 최소화할수 없기 위해 간접적으로 sandwich사이 넣어 강제로 최소화하기 위한 위한 VI에서 Loss Function 이다.
분포 추정 문제를 Convex Optimization 바꾸어주어 생성 모델같이 판별 모델에 비해 intractable 단점을 복잡성을 간단한 함수로 흡수할수 있다.
Variational Inference Notion
Variational Inference 알아보기 - MLE, MAP부터 ELBO까지
확률 분포를 근사 추정하는 기법인 Variational Inference를 이해하고 싶은 사람들을 위해, 확률 분포를 추정하는 근본적인 이유를 알려드립니다. 또한 MLE, MAP, KL divergence, ELBO 등 자주 등장하는 용어들을 설명합니다.
https://modulabs.co.kr/blog/variational-inference-intro/
변분추론(Variational Inference) · ratsgo's blog
https://ratsgo.github.io/generative%20model/2017/12/19/vi/