대학원생 신짜오는 공부중

  • 홈
  • 태그
  • 기술
  • 서버관리
  • DB
  • 일상

batch norm 1

[DL] Transformer 1편 (Residual Network, Multi-head Self Attention)

본 게시글은서울대학교 데이터사이언스대학원 오민환 교수님의데이터사이언스를 위한 머신러닝 및 딥러닝1 수업을학습을 목적으로 재구성하였습니다 이번 시간과 다음 시간에는 transformer에 대해서 배워본다우선 이번 시간에는 transformer에 대해서 배우기 이전에residual network라는 개념에 대해서도 배워본다 우선 Residual network에 대해서 살펴보자우리가 지난 시간에 CNN에 대해서 살펴봤는데레이어의 숫자가 큰 것과 작은 것을 상대적으로 비교해보자 왼쪽은 test 에러의 그래프이고 오른쪽은 train error의 그래프이다test error건 train error건 레이어의 숫자가 더 큰 것이퍼포먼스가 안좋게 나오는 것을 확인할 수 있다 종종 이런경우가 나오긴하는..

강의/machine learning & deep learning 2025.11.23
이전
1
다음
더보기
프로필사진

대학원생 신짜오는 공부중

개발자 출신인 슬픈 대학원생 / 건설환경공학부에서 공간정보공학 전공

  • 분류 전체보기 (165)
    • 기술 (40)
      • 서버 (5)
      • DB (6)
      • 웹 개발 (13)
      • 알고리즘 (8)
      • 기타 (8)
      • JAVA (0)
    • 강의 (115)
      • computer programming (35)
      • database (23)
      • system programming (19)
      • graph neural network (11)
      • machine learning & deep lea.. (27)
    • 논문 (9)
      • spatial-operation (3)
      • 측량 (1)
      • spatio-temporal (1)
      • road-network (4)
      • spatial bigdata & machine l.. (0)

Tag

티스토리챌린지, Algorithm, Linux, machine learning, 우분투, database, gnn, Deep Learning, 오블완, 리눅스, System Programming, ubuntu, C++, GCN, docker, TypeScript, 알고리즘, 논문리뷰, React, db,

최근글과 인기글

  • 최근글
  • 인기글

Calendar

«   2026/02   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28

방문자수Total

  • Today :
  • Yesterday :
02-15 00:02

Copyright © Kakao Corp. All rights reserved.

  • 신짜오의 네이버 블로그

티스토리툴바