AdaBoost 에서 살펴본 것 처럼 전의 학습된 모델의 오차를 보완하는 방향으로 모델을 추가학습단계 마다 데이터 샘플의 가중치를 업데이트 해주는 것이 아니라 학습 전단계 모델에서 residual error에 대해 새로운 모델을 학습Gradient Boosting ToolsCatBoostLGBMXGBoost for classificationML simple works - A Gentle Introduction to Gradient Boosting부스팅 알고리즘은 약한 학습기weak learner를 순차적으로 학습시키고 개별 학습기의 예측을 모두 더해 최종 예측을 만들어내는 앙상블 메소드의 한 종류입니다. 그 중 그래디언트 부스팅은 강력한 성능으로 가장 많이 애용되는 알고리즘입니다.https://metamath1.github.io/blog/posts/gradientboost/gradient_boosting.htmlGradient boostingGradient boosting is a machine learning technique used in regression and classification tasks, among others. It gives a prediction model in the form of an ensemble of weak prediction models, i.e., models that make very few assumptions about the data, which are typically simple decision trees. When a decision tree is the weak learner, the resulting algorithm is called gradient-boosted trees; it usually outperforms random forest. A gradient-boosted trees model is built in a stage-wise fashion as in other boosting methods, but it generalizes the other methods by allowing optimization of an arbitrary differentiable loss function.https://en.wikipedia.org/wiki/Gradient_boosting