대학원생 신짜오는 공부중

이 게시글은 서울대학교 데이터사이언스대학원 조요한 교수님의거대언어모델과 대화형 인공지능 강의를학습을 위해 재구성하였습니다이 수업을 중간에 청강 신청하는 바람에1강(OT) 내용은 못들었다..그래서 2강인 본격적인 수업부터 차근차근 정리해보려고 한다 오늘 배울 내용은 자연어처리의 기본이 되는word2vec과 seq2seq이다 word2vec의 기본 아이디어는 word를 벡터로 나타내는 것이다한 마디로 단어를 dense vector로 나타내는 것 이 word2vec 이전에 one hot vector라는게 있었는데이건 sparse vector로 단어를 나타내는 것이다우리가 단어를 표현할 때 사전에 5만개의 단어가 있다고 해보자그럼 그 전체 5만개 중에서 그 단어가 있는 인덱스를 찾아서그것만 1로..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다이 머신러닝 딥러닝 수업의 마지막 강의이자강화학습에서의 마지막 강의이다 이전 시간에 했던 내용에 이어서 다음 부분이다 지난 시간에 배운 내용들이 강화학습의 기본 개념들이었다MDP가 무엇인지 transition model이 무엇인지value function이 어떤 것인지에 대한 기본적인 내용들이었다잠깐만 recap해보자우리가 지난시간에 배운 것은 Bellman Optimally EquationOpitmal Policy, value function을 어떻게 찾는지 등이었다 그렇다면 의사결정을 수행하는 agent의 목적은 무엇일까?결국 optimal polic..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 지난 시간에 이어서 오늘도 강화학습에 대해서 공부한다지난 시간의 강화학습은 아주 특별한 case였던 multi-armed bandit을 다뤘는데오늘은 일반적인 강화학습에 대해서 공부한다 우리가 흔히 말해 인공지능이라고 하는 것들의 대표적인 사례이다chatGPT가 도래하기 전에 우리에게는 알파고가 있었다그리고 알파고가 인공지능의 mile stone이라고 하기 전에 우리에겐 강화학습이 있었다2016년에 나온 알파고에 비해 조금 더 최근에 나온 강화학습의 사례도 있다위 사진에서 오른쪽인데 또 하나는 2022년에 matrix를 계산하는 좀 더 빠른 방식을강화학습 알..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간과 다음 시간에는 강화학습에 대해서 배운데 크게 머신러닝 기법에 대해서지도학습과 비지도학습 그리고 강화학습이라는 범주로 볼 수 있다우리가 지금까지 지도학습과 비지도학습에 대해서는 배웠기에남은 시간 동안에는 강화학습에 대해서 배운다 본격적인 강화학습에 대해서 배우기 전에 오늘 배울 것은가장 기본적인 강화학습이라고 한다강화학습 중에서도 가장 심플한 문제이다 그러나 심플한 케이스라고 해서 쉽다는 건 아닌데아무튼 오늘 내용은 보다 조금 직관적으로 이해하려고하면 좋다고한다 우리가 오늘 배워 볼 내용은 Multi-armed Bandits 문제이다초기의 연구자..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간은 Graph Neural Network에 대한 얘기이다 우선 그래프라는 것이 무엇인지 알아보자 그래프는 데이터 자체의 structure를 말한다노드란 것이 있고 엣지란 것이 있는데어떤 엔티티들을 노드라고 하고 그 노드들을 연결하는 것을 엣지라고 한다 위 ppt 예시에서처럼 지도에서 각각 어떤 입지들이 노드들이 되고각각의 입지들이 도로로 어떻게 연결되었는지가 엣지가 된다화학에서도 화학식을 얘기할 때 원자들이 노드가 되고어떤 circuit도 그래프가 된다 따라서 다양한 것들을 그래프로 표현할 수 있다 인스타그램이나 페이스북에서 사람과..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간은 저번 시간에 계속해서 transformer를 배운다 지난 시간에는 attention을 배웠고그 attention이 transformer layer에서 어떻게 작동하는지를 배웠다 이번 시간에는 transformer가 어떻게 사용되는지즉, 우리가 사용하고 있는 language model에서 트랜스포머가 어떻게 사용되고있는지 배운다 일반적으로는 transformer = language model = NLP 이런 느낌인데우리가 지난 시간에 배운 Transformer layer는 상당히 general한 느낌이 강했다transformer에 input으..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간과 다음 시간에는 transformer에 대해서 배워본다우선 이번 시간에는 transformer에 대해서 배우기 이전에residual network라는 개념에 대해서도 배워본다 우선 Residual network에 대해서 살펴보자우리가 지난 시간에 CNN에 대해서 살펴봤는데레이어의 숫자가 큰 것과 작은 것을 상대적으로 비교해보자 왼쪽은 test 에러의 그래프이고 오른쪽은 train error의 그래프이다test error건 train error건 레이어의 숫자가 더 큰 것이퍼포먼스가 안좋게 나오는 것을 확인할 수 있다 종종 이런경우가 나오긴하는..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간부터는 이제 neural network의 다양한 활용에 대해 알아본다그 첫번째는 바로 Convolution Neural Network일명 CNN이다 이 CNN은 이미지에 아주 널리 쓰이는 테크닉인데우리가 이미지를 neural network의 input으로 받는다그렇게 되면 image가 neural network의 input으로 들어오면서숫자 혹은 pixel value로 들어가게 된다 색상값이 RGB이기 때문에 내가 어떤 색상 이미지를 받으면채널별로 RGB컬러가 있고 채널별로 pixel value가 존재한다이런 값이 input으로 들어가게 되서 아웃..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 오늘은 딥러닝에서 사용할 수 있는 regularization에 대해서 배웠다 참고로 우리가 이전에 linear regression에서 ridge와 lasso를 배웠는데그때도 이 방법론들이 linear regression에만 국한된 것은 아니라고 했었다 일단 우리가 이 regularization을 왜 하는지부터 좀 생각을 해보자 우리가 이전시간부터 계속 말했는데왜 training data에서 학습을 열심히 시켰는데 test data에서 성능이 안나올까?라고 한다면첫 번째는 train data에 너무 overfit한 나머지 test에서 일반화가 안되는 경우가 있다 ..

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 지난 시간에는 우리가 gradient descent, Adam 이런걸 봤고gradient를 정확하게 어떻게 구현하는지에 대해서는 얘기를 안했다 지난 시간에 얘기했던 gradient는 정확하게 어떻게 계산되는건지에 대해서 이번 시간에 배워보고사실 neural network에 대한 업데이트를 하려면각각의 레이어에 대해서 gradient를 구해야하는데 이를 어떻게 하는지 살펴본다 우리가 앞에서 봤던 loss function이다loss function은 데이터, 모델, 파라미터를 기준으로 구한다고 했다 위는 hidden layer가 3개가 있는 neural n..