대학원생 신짜오는 공부중

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 지난 시간에는 우리가 gradient descent, Adam 이런걸 봤고gradient를 정확하게 어떻게 구현하는지에 대해서는 얘기를 안했다 지난 시간에 얘기했던 gradient는 정확하게 어떻게 계산되는건지에 대해서 이번 시간에 배워보고사실 neural network에 대한 업데이트를 하려면각각의 레이어에 대해서 gradient를 구해야하는데 이를 어떻게 하는지 살펴본다 우리가 앞에서 봤던 loss function이다loss function은 데이터, 모델, 파라미터를 기준으로 구한다고 했다 위는 hidden layer가 3개가 있는 neural n..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간에는 neural network를 어떻게 fitting 시키는지에 대해서 배워보자이번 시간에는 기본적인 gradient descent에 대해서다음시간에는 back propagation에 대해서 배운다 우리가 training을 하려면 데이터가 있어야하고이걸 바탕으로 loss function이 있어야한다 이번 교재에서는 데이터의 개수를 I라고 표기하는데이걸 가지고 우리가 어떤 함수의 파라미터인 phi를 조절하는 것이다그래서 이때의 loss를 계산하라면 3개가 필요한데파라미터, 모델, 데이터이다 위를 바탕으로 loss를 계산하면 그게 train loss가..