bagging is bootstrap aggregating
기존 학습 데이터(Original Data)로부터 랜덤하게 '복원추출'하여 동일한 사이즈의 데이터셋을 여러개 만들어 앙상블을 구성하는 여러 모델을 학습시키는 방법
- Random Patches method : 특성 및 데이터 셋 샘플링(bootstraping) 모두 사용하는 방식
- Random Subspace method : 특성만 샘플링하는 방식
특성배깅하면 편향 증가, 분산 감소
데이터셋 배깅하면 편향 비슷, 분산감소
at statistics, 중복을 허용한 리샘플링(resampling) is bootstrapping
전체 학습 데이터셋을 이용해 하나의 모델을 학습시킬 때와 비교해서 편향은 비슷하지만 분산은 줄어든다
최빈값 mode
Bagging Ensembles