Seonglae ChoMarkov chain Monte Carlo Method
Distribution Sampling algorithms are all one dimentional by nature. The main problem is that importance sampling degrades possibly exponentially badly as the dimension of the latent vairable increase, unless we have~ MCMC alleviate the difficulty Markov Chain have multivariative Transition Probability since it has inherently have multiple possible options for the next state.
마르코프 체인의 특성을 활용하여 주어진 확률 분포에서 샘플을 생성하는 방법으로 일반적으로 복잡한 고차원 분포에서 직접 샘플링하기 어려울 때 사용.
MCMC 알고리즘은 상태 공간을 탐색하며, 최종적으로 목표 확률 분포에 수렴하는 마르코프 체인을 구성
통계적인 특성을 이용해 무수히 뭔가를 많이 시도해본다는 의미로 Monte Carlo라는 이름
통계학의 특성 상 무한히 많은 Simulation을 거쳐야만 진짜 정답이 뭔지 알 수 있지만, 그렇게 하기가 현실적으로 어렵기 때문에 Finite 시도만으로 정답을 추정하자
첫 샘플을 랜덤하게 선정한 뒤, 첫 샘플에 의해 그 다음번 샘플이 추천되는 방식의 시도 반복
여기서 추천되는 방식이 각자 다르고 Markov chain에서 Monte Carlo는 Metropolis Algorithm 이용
For MCMC, there is a significant advantage to using a Gaussian distribution because of Gaussian noise
MCMC Methods
