Seonglae ChoPrincipal Component Analysis (PCA)
Principal Component Analysis (PCA) is an unsupervised machine learning technique that analyzes and transforms high-dimensional data by exploring the covariance relationships between features. It projects data into a lower-dimensional space while preserving maximum variance of the original data.
Key Characteristics
- Operates by dual optimization an be written in its Lagrange form:
- Minimizes projection error
- Maximizes projection variance to retain original information
- Maintains data variance without normalizing principal components to unit length
- Functions as a simplified version of an AutoEncoder
Mathematical Foundation
- The components can be obtained by performing an eigen-decomposition of the covariance matrix with standards solvers.
- Based on Eigenvector calculation of the data Covariance Matrix, selecting vectors with largest Eigenvalue
- Solution involves selecting:
- M-largest eigenvalues for dimension retention
- (D-M)-smallest eigenvalues for dimension reduction
Applications
- Feature extraction and dimensionality reduction
- Data compression
- Data visualization
Computational Efficiency
PCA Notion
SVD와 PCA, 그리고 잠재의미분석(LSA) · ratsgo's blog
https://ratsgo.github.io/from%20frequency%20to%20semantics/2017/04/06/pcasvdlsa/
주성분 분석(PCA) - 공돌이의 수학정리노트 (Angelo's Math Notes)
PCA가 말하는 것: 데이터들을 정사영 시켜 차원을 낮춘다면, 어떤 벡터에 데이터들을 정사영 시켜야 원래의 데이터 구조를 제일 잘 유지할 수 있을까? ※ 본 article에서는 열벡터(column vector) convention을 따릅니다.PCA는 종합점수를 ‘잘’ 계산하...
https://angeloyeo.github.io/2019/07/27/PCA.html
주성분 분석(PCA)이란?
오늘은 가장 인기있는 차원 축소 알고리즘인 주성분 분석(Principle Component Analysis, PCA)에 대해서 알아봅시다. 많은 경우 머신러닝 문제는 훈련 샘플이 각각 수천, 혹은 수백만개의 특성을 가지고 있습니다. 이렇게 특성들이 많을 경우, 유의미한 특성들을 찾기가 어려울 뿐더러 훈련을 느리게 해 결과적으로 성능 저하를 일으키는 원인이 됩니다. 이런 문제를 " 차원의 저주"(curse of dimensionality)라고 합니다.
https://butter-shower.tistory.com/210
