대학원생 신짜오는 공부중

[DL] Regularization (Dropout, Early Stopping, Transfer Learning, Data Augmentation)

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 오늘은 딥러닝에서 사용할 수 있는 regularization에 대해서 배웠다 참고로 우리가 이전에 linear regression에서 ridge와 lasso를 배웠는데그때도 이 방법론들이 linear regression에만 국한된 것은 아니라고 했었다 일단 우리가 이 regularization을 왜 하는지부터 좀 생각을 해보자 우리가 이전시간부터 계속 말했는데왜 training data에서 학습을 열심히 시켰는데 test data에서 성능이 안나올까?라고 한다면첫 번째는 train data에 너무 overfit한 나머지 test에서 일반화가 안되는 경우가 있다 ..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 지난 시간에는 우리가 gradient descent, Adam 이런걸 봤고gradient를 정확하게 어떻게 구현하는지에 대해서는 얘기를 안했다 지난 시간에 얘기했던 gradient는 정확하게 어떻게 계산되는건지에 대해서 이번 시간에 배워보고사실 neural network에 대한 업데이트를 하려면각각의 레이어에 대해서 gradient를 구해야하는데 이를 어떻게 하는지 살펴본다 우리가 앞에서 봤던 loss function이다loss function은 데이터, 모델, 파라미터를 기준으로 구한다고 했다 위는 hidden layer가 3개가 있는 neural n..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간은 딥러닝의 두 번째 시간인Deep Neural Network에 대해 배웠다지난 시간에 배운 Shallow Network는 hidden layer가 1개인 것이었다면Deep Neural Network는 hidden layer가 2개 이상인 것을 말한다 오늘 내용의 목차는 위와 같다 우선 2개의 network를 합성하는 방법을 알아보고이게 어떻게 deep neural network와 연결이 되는지 살펴보자 이렇게 2개의 shallow network가 있다고 가정해보자input이 1개이고 hidden unit이 3개이다 첫 번째 input이 x이고 첫..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 오늘부터 딥러닝에 관한 내용을 배운다딥러닝부터는 새로운 교제를 사용한다고 한다 오늘 배울 내용은 shallow neural network이다보통 neural network에서 hidden layer개 인것을 shallow neural network2개 이상인 것을 deep nueral network라고 한다 우리가 처음에 배운 linear regression을 한 번 잘 생각해보자input으로 들어가는 여러 개의 feature들을 벡터로 만들고그 벡터를 어떠한 선형 모델에 집어넣은 다음 output을 받는다이 linear regression에서 모델의 예측..

본 게시글은 Stanford 대학교 Jure Leskovec 교수님의Stanford CS224W: Machine Learning with Graphs(2021) 강의를 듣고학습을 목적으로 재구성한 글입니다스스로 정리한 내용이라 오류가 있을 수 있습니다 https://web.stanford.edu/class/cs224w/ CS224W | HomeContent What is this course about? Complex data can be represented as a graph of relationships between objects. Such networks are a fundamental tool for modeling social, technological, and biological syste..

본 게시글은 Stanford 대학교 Jure Leskovec 교수님의Stanford CS224W: Machine Learning with Graphs(2021) 강의를 듣고학습을 목적으로 재구성한 글입니다스스로 정리한 내용이라 오류가 있을 수 있습니다 https://web.stanford.edu/class/cs224w/ CS224W | HomeContent What is this course about? Complex data can be represented as a graph of relationships between objects. Such networks are a fundamental tool for modeling social, technological, and biological syste..