subset selection 2

[ML] Subset Selection 2편 (Shrinkage Methods: Ridge, Lasso)

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다이번 시간은 지난 시간에 이은 model selection에 대한 내용이다지난시간의 subset selection은 내용 자체가 중요한게 아니고이번 시간에 배울 내용을 빌드업하기 위한 내용이다 이번 시간은 model selection 중에서도shrinkage method에 관한 내용이고Ridge와 Lasso라는 개념에 대해 배운다 지난 시간에는 여러 개의 subset을 만들어서best subset을 고르는 방식이었는데모든 부분 집합을 다 model fit을 시킨 다음에RSS가 가장 낮은 것을 선택하는 방법이었다 그 다음 stepwise 방식에 대해서도 배웠는데이도 결국..

[ML] Subset Selection 1편 (Best Subset Selection, Stepwise Selection)

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간과 다음 시간에 배울 내용은subset selection에 대한 내용이다 지금까지는 어떻게 model fit하는지를 배웠다면이번 시간은 어떻게하면 이 모델에 대해서 subset selection을 할 수 있을까에 대한 내용이다 linear regression을 한 번 생각해보자feature는 여러개이고 parameters는 p+1개이다 linear regression 자체가 상당히 strong한 가정이라고 생각할 수 있는데linear model을 사용하는데에 있어서데이터가 반드시 linear해야만 linear model을 사용할 수 있는 것은 아니다 아예 ..