Seonglae ChoWhile Bayesian inference pairs unique prior and posterior, PAC bayes is completely model free inspired by
probabilistic classifier를 사용한다면, 해당 classifier의 prior와 posterior를 최대한 비슷하게 할 필요성을 수학적으로 증명한 것
Expected empirical error와 expected generalization error의 분포에 대한 KL Divergence. KL Divergence 는 measure of closeness이고, VC dimension 에서 봤던 Generalization Error = curse of dimensionality (데이터의 dimension에 비례하고 confidence에 반비례)
courses.cs.washington.edu
https://courses.cs.washington.edu/courses/cse522/11wi/scribes/lecture13.pdf