Seonglae ChoVariational Auto-Encoder (VAE)
A Variational Auto-Encoder is a generative model that learns latent variables from input data to generate new data. It works by maximizing the ELBO (Evidence Lower Bound) and uses Variational Inference to estimate the posterior distribution implicitly.
Key Components
- Regularization: VAE regularizes the latent space to follow a Standard Normal Distribution using the Reparameterization trick
- Loss Function: Typically combines Reconstruction Loss and KL Divergence Loss in a ratio of 10:1 to 100:1
- Latent Space: Unlike standard autoencoders that store discrete values of z, VAE stores density parameters (mean and variance) to generate from a distribution
Advantages
- Enables generation of highly plausible results due to probabilistic latent space
- The encoder can be leveraged for Semi-supervised Learning tasks
Limitations
- Tends to generate blurry and lower-quality outputs compared to state-of-the-art models like GANs
VAE Notion
VAE Variations
딥러닝 개념 1. VAE(Variational Auto Encoder)
AE와 VAE의 차이점은 AE는 잠재공간 z에 값을 저장하고 VAE는 확률 분포를 저장하여 (평균, 분산) 파라미터를 생성한다는 점이다. VAE의 decoder는 encoder가 만들어낸 z의 평균, 분산을 모수로 하는 정규분포를 전제하고 데이터의 사후확률 p(z|x)를 학습한다. 하지만 사후확률의 계산이 어렵기 때문에 다루기 쉬운 분포 q(z)로 근사하는 variational inference (변분추론)을 사용한다.
https://velog.io/@ohado/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EA%B0%9C%EB%85%90-1.-VAEVariational-Auto-Encoder
