Seonglae ChoVariational Approximation
Probability version of Variational Method
복잡한 분포를 간단한 분포로 근사하여 추론을 효율적으로 수행하는 방법이다. VI provides a method for defining the posterior when Monte Carlo Method sampling for is computationally impossible. 추정을 위해 approximation distribution 을 사용하여 prior 와 variational posterior 의 KL Divergence를 최소화한다. 이때 두 분포 모두 Normal distribution같이 간단한 분포를 사용한다. 그리고 ELBO는 KL divergence 최소화를 위한 VI에서 Loss Function 이다. KL divergence 를 직접 최소화하는 대신 lower bound 로 두고 최적화한다.
생성 모델은 판별 모델에 비해 intractable 단점을 복잡성을 간단한 함수로 흡수
사전확률과 우도의 파라메터 또한 알고 있지 못하는 경우
분포 추정 문제를 Convex Optimization 바꾸어준다
Variational Inference Notion
