경사 하강법5 cs231n 3강 Loss Functions and Optimization요약 3강입니다. 목차는 아래와 같습니다. overview Loss function : SVM Loss(Hinge Loss) & Cross entropy Loss(soft max) Optimization 지난 강의에서는 6가지 Semantic Gap으로 이미지 데이터를 분류하는 데에 어려움이 있으며, NN&KNN을 살펴보며 Linear classification의 원리만 살펴보았습니다. 우선 지난 2강에서 뉴럴 네트웍의 기본 단위인 Linear Classifier를 배웠습니다. 픽셀을 1차원 array배열로 바꾼 뒤, 가중치 W를 곱하고 bias를 더해 각 클래스별 스코어를 산출합니다. 아직 최적의 가중치 W를 구하는 방법을 모르기 때문에 이번 강의는 이 부분에 집중합니다. loss function을 정의하는.. 2020. 10. 24. [모두의 딥러닝] 8장 오차 역전파/ 9장 신경망에서 딥러닝으로 이번에도 8장, 9장이 짧아서 한 번에 포스팅을 합니다. 우선 8장의 오차 역전파를 알아보도록 할게요~ 책에서는 오차 역전파가 2장으로 설명했지만, 이게 또 굉장히 중요한 부분입니다! 오차 역전파에서 생긴 문제가 다시 한번 AI의 침체기를 야기시키는 원인이었거든요. 오차 역전파는 우리가 6,7장에서 배웠던 신경망의 가중치들을 출력층부터 반대로 거슬로 올라가면서 최적의 가중치들로 수정해나가는 방식입니다. 신경망의 성능을 높이는 핵심 개념이죠. 이는 우리가 앞서 배운 4장의 경사 하강법의 개념을 그대로 이용하면 됩니다. 1. 임의의 초기 가중치(W)를 준 뒤 결과(Y out)를 계산합니다. 2. 계산 결과와 우리가 원하는 값 사이의 오차를 구합니다. 3. 경사 하강법을 이용해 바로 앞 가중치를 오차가 작아지.. 2020. 6. 11. [모두의 딥러닝] 6장/7장 단층, 다층 퍼셉트론 6장부터는 신경망의 이해라는 큰 챕터로 들어섭니다. 드디어 인공지능, 딥러닝에 대해 한 발짝 다가가는 거예요~ 어떻게 인공지능이 21세기 최근에서야 발전하고 핫해졌는지 마주쳤던 한계들과 이를 극복했던 방법도 나옵니다. 그 방법론이 바로 다층 퍼셉트론 이거든요~ 'AI(Artificial Intelligence)' 어떻게 컴퓨터로 인간의 지능을 구현해 낼 수 있을까요? 이는 인간의 뇌 구조와 굉장히 비슷합니다. 인간의 뇌는 약 천억 개의 뉴런으로 이루어져서 각각의 뉴런은 자극을 받고 그 자극이 어느 정도의 임계값을 넘기면 다음 뉴런으로 전달합니다.(임계값을 넘기지 못하면 아무것도 하지 않아요.) 이렇게 계속 수많은 뉴런으로 뻗어나가 인간은 지능을 가지고 생각을 하게 되죠. AI는 바로 여기서 출발합니다. .. 2020. 6. 1. [모두의 딥러닝] 5장 참 거짓 판단 장치 : 로지스틱 회귀 이제껏 종속 변수 y 값이 연속형인 데이터의 수치를 예측하기 위한 선형 회귀를 알아봤습니다! 하지만 데이터는 다양합니다. 아래 그림처럼 종속 변수 y가 이산형이고, 범주형이라면? '예' or '아니오'로 수치가 아닌 정답을 원하는 데이터라면? 선형 회귀를 적용할 수 없습니다. 로지스틱 회귀는 바로 여기서 출발합니다. 로지스틱 회귀는 참 or 거짓을 판단해 주는 미니 판단 장치인 셈인 것이죠. 그림을 아무리 봐도 선형 회귀선을 그릴 수가 없죠? 직선이 아니라 S자 형태의 함수를 이용해야 합니다. 하지만 우리는 앞에서 S자 형태의 함수를 배운 적이 있습니다. 바로 '시그모이드 함수' 입니다. 로지스틱 회귀는 시그모이드 함수를 이용합니다. 로지스틱 회귀는 이렇게 시그모이드 함수로 표현이 가능합니다. 지수 부분.. 2020. 5. 18. [모두의 딥러닝] 4장 오차 수정하기 : 경사 하강법 4장 관련 포스팅입니다. 제목을 보면 알 수 있듯이 경사 하강법은 오차를 수정하는 기법입니다. 대부분의 데이터는 입력 변수가 여러개인 다중 회귀를 이용하며, 다중 회귀는 최소 제곱법을 쓰지 못하기 때문에 경사 하강법은 매우 중요합니다. 경사 하강법은 먼저 기울기 a와 오차간의 관계를 알아야 합니다. 왼쪽에 우리가 3장에서 최소 제곱법을 이용해 그었던 주황색 회귀선이 있습니다. 이 회귀선의 기울기가 커져서 가팔라 진다고 생각해봅시다. 예측값과 실제값과의 오차가 커지겠죠? 기울기가 작아져도 마찬가지일 겁니다. 그렇다면 우리는 이 관계를 좌표 평면위에 함수로 나타낼 수 있어요. 위에 그림은 기울기 a와 오차간의 관계를 나타낸 함수입니다. 그림을 보면 알겠지만, a와 오차의 관계함수를 이용해 그 기울기가 가장 .. 2020. 5. 10. 이전 1 다음
