cs231n5 cs231n 9강 CNN Architectures 요약 9강은 CNN 아키텍쳐를 이용했던 모델들을 구체적으로 파헤쳐봅니다. LeNet AlexNet VGG GoogLeNet ResNet 특히 이미지넷에서 우승했던 모델들을 위주로 살펴봅니다. 먼저 일전에도 언급했던 LeNet부터 살펴봅시다. LeNet은 처음으로 성공한 instantiation 중에 1개였습니다. 이미지를 넣으면 5x5필터를 적용한 ConV층이 있고, Pooling 레이어를 거쳐서 FC 레이어로 넘어갔죠. 이 간단한 구조로 숫자인식에 성공했습니다. 지난 강의에서도 했던 내용이죠? 다음으로는 2012년 놀라운 성과를 보인 AlexNet입니다. AlexNet은 처음으로 large scale로 구성한 CNN이었습니다. 2012 컴피티션에 참가해서 이전의 모든 non deep learning 모델들을.. 2020. 12. 5. cs231n 7강 Training Neural Networks, Part 2 정리 7강 Neural NetworksTraining Neural Networks, Part 2를 포스팅하겠습니다. 내용이 점점 깊어질수록 어려워지네요. 지난 강의에서 많은 것들을 배웠습니다. 이번 강의는 지난강의의 연장선인 part 2부분입니다. 강의의 교수가 다시 바뀌면서 새로운 교수가 지난 6강에서의 첨언합니다. 지난 시간 배웠던 데이터 전처리입니다. zero - centered에 대해서 첨언합니다. 일단 선형분류인 위와같은 상황이 있습니다. 왼쪽의 데이터처럼 데이터가 normalization이 안되어 있고, zero centered가 되어있지 않으면, 선이 조금만 틀어져도 오분류의 위험이 더욱 크죠. (0,0에서 그리는 저 분류 함수가 10도 정도만 틀어진다고 생각해보세요. 오분류가 쉽게 일어날 것입니.. 2020. 12. 2. cs231n 4강 Introduction to Neural Networks정리 3강까지는 Loss function(손실 함수)의 정의를 알아보고 종류도 살펴봤습니다. 우리는 이 손실함수를 최소로하는 방향으로 가중치 W를 수정하는 optimization의 개념도 배웠습니다. 이번 4강은 가중치 W를 수정하는 방식에 대해 여러가지 예시로 자세히 살펴본 뒤, Neural Network의 개념을 배웁니다. 3가지 예시를 통한 Back propagation Neural Network 우선 우리가 3강에서 배운 것을 복기합니다. 이미지를 분류하기 위한 각 class별 스코어를 알려주는 scores function인 Wx를 배웠습니다. 그리고 Loss function(손실 함수)도 힌지로스와 cross-entropy 2가지를 배웠는데 여기서 과적합을 방지하기위한 규제항도 배웠습니다. 2번째 슬.. 2020. 10. 31. cs231n 3강 Loss Functions and Optimization요약 3강입니다. 목차는 아래와 같습니다. overview Loss function : SVM Loss(Hinge Loss) & Cross entropy Loss(soft max) Optimization 지난 강의에서는 6가지 Semantic Gap으로 이미지 데이터를 분류하는 데에 어려움이 있으며, NN&KNN을 살펴보며 Linear classification의 원리만 살펴보았습니다. 우선 지난 2강에서 뉴럴 네트웍의 기본 단위인 Linear Classifier를 배웠습니다. 픽셀을 1차원 array배열로 바꾼 뒤, 가중치 W를 곱하고 bias를 더해 각 클래스별 스코어를 산출합니다. 아직 최적의 가중치 W를 구하는 방법을 모르기 때문에 이번 강의는 이 부분에 집중합니다. loss function을 정의하는.. 2020. 10. 24. [가짜 연구소] 딥러닝 기초 이론 스터디 cs231n 최근에 Kaggle Days 한국팀에서 'Pseudo Labs' 라는 단체명으로 스터디원을 모집하면서 딥러닝 기초 이론 스터디에 참여하게 되었습니다. 여러 스터디들이 있었는데, 그 중에서도 딥러닝 기초 이론 스터디에 들어가게된 이유는 이전에 해당 단체와는 무관하게 같이 스터디하는 그룹의 팀원분이 기회를 잡고 리드하셨기에 좋은 기회를 갖게 되었네요! 사실 캐글 컴피티션에 참가하는 스터디가 굉장히 탐났지만, 그래도 이 참에 추천해주시는 유명한 강의중 하나인 cs231n을 듣고 좀 더 수학적으로도 공부 해보자! 하고 '기초 이론 스터디'에 들어갔습니다. 해당 단체는 비영리 단체로 공유의 가치를 추구하기 때문에 스터디 내용을 보고 싶거나 서브 스터디원으로 들어가고 싶다면, 아래 링크로 들어가시면 됩니다! blo.. 2020. 10. 8. 이전 1 다음
