시그모이드4 [로지스틱 회귀] 시그모이드 함수와 MSE, Cross entropy 로지스틱 회귀에 대한 스터디를 하는 도중에 시그모이드 함수를 최적화하는 데에 왜 mse를 쓰지 못하는지에 대한 질문이 나왔습니다. 그때 바로 명확하고 자세하게 설명할 수 없었기에 개념을 한번 정리해보려고합니다. 먼저 로지스틱 회귀부터 살펴봅니다. 로지스틱 회귀는 목표 변수 y가 이산형, 범주형일 때 쓰는 회귀 기법입니다. 그 중에서도 이진 분류를 하는 시그모이드 함수를 살펴볼 겁니다. 시그모이드 함수입니다. 우리는 어떤 데이터를 입력하면, 그 데이터가 어느 범주에 속하는지가 궁금하죠. 어느 범주에 속하는지 확률값(0~1)을 뱉도록 시그모이드 함수를 이용합니다. 독립변수들에 가중치 w를 부여하고, 최적화를 통해 cost(log 함수) 값이 가장 작게 나오는 최종 모델을 채택합니다. 그렇다면 왜 직선 회귀에.. 2021. 2. 9. cs231n 4강 Introduction to Neural Networks정리 3강까지는 Loss function(손실 함수)의 정의를 알아보고 종류도 살펴봤습니다. 우리는 이 손실함수를 최소로하는 방향으로 가중치 W를 수정하는 optimization의 개념도 배웠습니다. 이번 4강은 가중치 W를 수정하는 방식에 대해 여러가지 예시로 자세히 살펴본 뒤, Neural Network의 개념을 배웁니다. 3가지 예시를 통한 Back propagation Neural Network 우선 우리가 3강에서 배운 것을 복기합니다. 이미지를 분류하기 위한 각 class별 스코어를 알려주는 scores function인 Wx를 배웠습니다. 그리고 Loss function(손실 함수)도 힌지로스와 cross-entropy 2가지를 배웠는데 여기서 과적합을 방지하기위한 규제항도 배웠습니다. 2번째 슬.. 2020. 10. 31. [모두의 딥러닝] 6장/7장 단층, 다층 퍼셉트론 6장부터는 신경망의 이해라는 큰 챕터로 들어섭니다. 드디어 인공지능, 딥러닝에 대해 한 발짝 다가가는 거예요~ 어떻게 인공지능이 21세기 최근에서야 발전하고 핫해졌는지 마주쳤던 한계들과 이를 극복했던 방법도 나옵니다. 그 방법론이 바로 다층 퍼셉트론 이거든요~ 'AI(Artificial Intelligence)' 어떻게 컴퓨터로 인간의 지능을 구현해 낼 수 있을까요? 이는 인간의 뇌 구조와 굉장히 비슷합니다. 인간의 뇌는 약 천억 개의 뉴런으로 이루어져서 각각의 뉴런은 자극을 받고 그 자극이 어느 정도의 임계값을 넘기면 다음 뉴런으로 전달합니다.(임계값을 넘기지 못하면 아무것도 하지 않아요.) 이렇게 계속 수많은 뉴런으로 뻗어나가 인간은 지능을 가지고 생각을 하게 되죠. AI는 바로 여기서 출발합니다. .. 2020. 6. 1. [모두의 딥러닝] 5장 참 거짓 판단 장치 : 로지스틱 회귀 이제껏 종속 변수 y 값이 연속형인 데이터의 수치를 예측하기 위한 선형 회귀를 알아봤습니다! 하지만 데이터는 다양합니다. 아래 그림처럼 종속 변수 y가 이산형이고, 범주형이라면? '예' or '아니오'로 수치가 아닌 정답을 원하는 데이터라면? 선형 회귀를 적용할 수 없습니다. 로지스틱 회귀는 바로 여기서 출발합니다. 로지스틱 회귀는 참 or 거짓을 판단해 주는 미니 판단 장치인 셈인 것이죠. 그림을 아무리 봐도 선형 회귀선을 그릴 수가 없죠? 직선이 아니라 S자 형태의 함수를 이용해야 합니다. 하지만 우리는 앞에서 S자 형태의 함수를 배운 적이 있습니다. 바로 '시그모이드 함수' 입니다. 로지스틱 회귀는 시그모이드 함수를 이용합니다. 로지스틱 회귀는 이렇게 시그모이드 함수로 표현이 가능합니다. 지수 부분.. 2020. 5. 18. 이전 1 다음
