Cross Entropy3 [소프트맥스 회귀] softmax와 cross entropy 이해하기 소프트맥스 회귀도 종속 변수 y가 이산형, 다범주일때 쓰는 분류 모델입니다. 데이터를 예시로 설명합니다. y를 확률값으로 바꾸자. 독립 변수가 4개인 데이터입니다. w1x1 + w2x2 + w3x3 + w4x4 + b = y 이렇게 회귀식을 세울 수 있습니다. 물론 y는 범주형입니다. 이 문제는 분류 문제이므로 확률로 다가갑니다. MLE(최대 우도 추정)로 y가 어느 범주일지 확률을 추정하게 됩니다. max 확률 값을 soft하게 뽑아내어 y를 분류하는게 아이디어인 것이죠. 이렇게 w1x1 + w2x2 + w3x3 + w4x4 + b의 스코어 값을 각 범주마다 확률 값으로 뱉어내게 해야합니다. 이 과정에서 자연상수 e를 씌어 범주의 스코어값을 스코어 총합으로 나누어서 각 범주마다의 확률값으로 표현하게 되.. 2021. 2. 9. [로지스틱 회귀] 시그모이드 함수와 MSE, Cross entropy 로지스틱 회귀에 대한 스터디를 하는 도중에 시그모이드 함수를 최적화하는 데에 왜 mse를 쓰지 못하는지에 대한 질문이 나왔습니다. 그때 바로 명확하고 자세하게 설명할 수 없었기에 개념을 한번 정리해보려고합니다. 먼저 로지스틱 회귀부터 살펴봅니다. 로지스틱 회귀는 목표 변수 y가 이산형, 범주형일 때 쓰는 회귀 기법입니다. 그 중에서도 이진 분류를 하는 시그모이드 함수를 살펴볼 겁니다. 시그모이드 함수입니다. 우리는 어떤 데이터를 입력하면, 그 데이터가 어느 범주에 속하는지가 궁금하죠. 어느 범주에 속하는지 확률값(0~1)을 뱉도록 시그모이드 함수를 이용합니다. 독립변수들에 가중치 w를 부여하고, 최적화를 통해 cost(log 함수) 값이 가장 작게 나오는 최종 모델을 채택합니다. 그렇다면 왜 직선 회귀에.. 2021. 2. 9. cs231n 3강 Loss Functions and Optimization요약 3강입니다. 목차는 아래와 같습니다. overview Loss function : SVM Loss(Hinge Loss) & Cross entropy Loss(soft max) Optimization 지난 강의에서는 6가지 Semantic Gap으로 이미지 데이터를 분류하는 데에 어려움이 있으며, NN&KNN을 살펴보며 Linear classification의 원리만 살펴보았습니다. 우선 지난 2강에서 뉴럴 네트웍의 기본 단위인 Linear Classifier를 배웠습니다. 픽셀을 1차원 array배열로 바꾼 뒤, 가중치 W를 곱하고 bias를 더해 각 클래스별 스코어를 산출합니다. 아직 최적의 가중치 W를 구하는 방법을 모르기 때문에 이번 강의는 이 부분에 집중합니다. loss function을 정의하는.. 2020. 10. 24. 이전 1 다음
