tree-based model 2

[ML] Tree-based Methods 2편 (Bagging, Random Forests, Boosting)

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 지난 시간에 이어서 오늘은 tree-based method bagging, random forests, boosting에 대해서 배워본다 우선 bagging에 대해서 살펴보자 지난 시간에 tree-based method들의 장단점에 대해서 배웠었는데단점부터 살펴보자면 우선 decision tree는prediction accuracy가 그렇게 썩 좋지 않았다bagging은 이러한 낮은 성능을 극복하기 위한 방법이다 bagging을 지금은 decision tree에 적용할 수 있는 방법으로 배우고있지만bagging은 굉장히 general한 method이다 bagging..

[ML] Tree-based Methods 1편 (Decision Trees)

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간과 다음 시간에는tree-based methods에 대해서 배운다고한다오늘은 가장 기본이 되는 내용인 deicision tree에 대해 배운다 decision tree라는 이름만 듣고 classification이라고 착각하는 경우가 있는데이 decision tree는 regression과 classification 2개 다 사용할 수 있다 decision tree란 x predictor space가 있는데이걸 어떻게 하면 partition을 나눠서partition 안에 있는 y값들이 어떤 prediction을 갖는지를 찾는 과정이다 한 마디로 우리가 어떻..