Deep Learning 개념정리6 [시퀀스 모델] RNN, LSTM, GRU 설명 및 정리! 최근 시계열 데이터를 다루기 위해 관련 논문들을 찾아 RNN 계열의 모델들을 벤치마킹한 논문을 읽으면서, 한 번 정리해야겠다는 생각이 들었습니다. 해당 논문은 Time Series Forecasting (TSF) Using Various Deep Learning Models (2022)으로 제가 따로 리뷰하였으며, 논문 내에 figure를 이용해 정리하는 포스팅입니다. 해당 포스팅에서는 각 알고리즘의 원리와 특징을 정리합니다. 0. RNN 데이터의 특징 & RNN 알고리즘의 특징 Deep Learning Frameworks 1. RNN 2. LSTM 3. GRU 4. Transformer RNN 계열의 모델들은 Sequential data에 아주 적합합니다. 예를들면, Text나 TimeSeries 데이.. 2023. 3. 11. Learning rate & batch size best 조합 찾기 (feat.논문리뷰와 실험결과) * 2022-08-29 수정함. 이번 포스팅은 저의 지난 포스팅의 배경 지식이 요구되므로 읽고 오시기를 추천드립니다 :) 저는 모델링 경험이 엄청 많지는 않기 때문에 고수분들에게는 해당 포스팅이 당연한 인사이트일 수 있습니다... inhovation97.tistory.com/31 Transfer learning & fine tuning의 다양하고 섬세한 기법 우리가 어떤 문제에 직면했을 때 해당 문제와 비슷한 결과들이 있다면 훨씬 수월하고 빠르게 문제를 해결해 나갈 수 있을 겁니다. 이번에는 바로 그 개념인 *Transfer learning과 **fine tunning에 대한 inhovation97.tistory.com 아래 두 관점으로 실험을 진행했습니다. 1. pretrained model로 fine.. 2021. 3. 31. Transfer learning & fine tuning의 다양하고 섬세한 기법 우리가 어떤 문제에 직면했을 때 해당 문제와 비슷한 결과들이 있다면 훨씬 수월하고 빠르게 문제를 해결해 나갈 수 있을 겁니다. 이번에는 바로 그 개념인 *Transfer learning과 **fine tuning에 대한 내용을 다뤄볼까 합니다. 먼저 예를들면, 우리는 개와 고양이 이미지 데이터셋을 분류하고 싶습니다. 여기서 우리는 이미 개와 고양이 같은 수 많은 동물들의 class를 분류한 모델들을 알고있습니다. 가령 vgg net, google net, resnet 같은 모델들이 있죠. 이렇게 이미 학습된 pretrained model을 불러와서 pretrained model의 파라미터를 적용하는 transfer learning을 합니다. 이 과정에서 현재는 개와 고양이 이진 분류만 하면 되므로 불러온.. 2021. 3. 30. [소프트맥스 회귀] softmax와 cross entropy 이해하기 소프트맥스 회귀도 종속 변수 y가 이산형, 다범주일때 쓰는 분류 모델입니다. 데이터를 예시로 설명합니다. y를 확률값으로 바꾸자. 독립 변수가 4개인 데이터입니다. w1x1 + w2x2 + w3x3 + w4x4 + b = y 이렇게 회귀식을 세울 수 있습니다. 물론 y는 범주형입니다. 이 문제는 분류 문제이므로 확률로 다가갑니다. MLE(최대 우도 추정)로 y가 어느 범주일지 확률을 추정하게 됩니다. max 확률 값을 soft하게 뽑아내어 y를 분류하는게 아이디어인 것이죠. 이렇게 w1x1 + w2x2 + w3x3 + w4x4 + b의 스코어 값을 각 범주마다 확률 값으로 뱉어내게 해야합니다. 이 과정에서 자연상수 e를 씌어 범주의 스코어값을 스코어 총합으로 나누어서 각 범주마다의 확률값으로 표현하게 되.. 2021. 2. 9. [로지스틱 회귀] 시그모이드 함수와 MSE, Cross entropy 로지스틱 회귀에 대한 스터디를 하는 도중에 시그모이드 함수를 최적화하는 데에 왜 mse를 쓰지 못하는지에 대한 질문이 나왔습니다. 그때 바로 명확하고 자세하게 설명할 수 없었기에 개념을 한번 정리해보려고합니다. 먼저 로지스틱 회귀부터 살펴봅니다. 로지스틱 회귀는 목표 변수 y가 이산형, 범주형일 때 쓰는 회귀 기법입니다. 그 중에서도 이진 분류를 하는 시그모이드 함수를 살펴볼 겁니다. 시그모이드 함수입니다. 우리는 어떤 데이터를 입력하면, 그 데이터가 어느 범주에 속하는지가 궁금하죠. 어느 범주에 속하는지 확률값(0~1)을 뱉도록 시그모이드 함수를 이용합니다. 독립변수들에 가중치 w를 부여하고, 최적화를 통해 cost(log 함수) 값이 가장 작게 나오는 최종 모델을 채택합니다. 그렇다면 왜 직선 회귀에.. 2021. 2. 9. CNN( Convolutional Neural Network)이해하기 모두의 딥러닝이라는 서적을 통해 딥러닝을 처음 접하면서 CNN(합성곱 신경망)이라는 모델을 공부했습니다. 통계 전공이지만 처음 알게되는 사실들이 많아 책보다는 좀 더 딥하게 공부하고 싶어서 구글링으로 더 공부하여 따로 포스팅을 하고싶어서 하게 됐습니다! 책에서는 CNN을 이미지 인식의 꽃 이라고 표현했지만, CNN은 자연어 처리에도 이용한다고 합니다. 제가 이 CNN을 공부하면서 가졌던 의문들이 다른 분들도 궁금할 수 있을 것이라고 생각합니다. 이 관점으로 포스팅을 시작할게요. 우선 가장 처음에 CNN을 공부할 때는 이미지 데이터에 합성곱을 적용하는 부분이 어렵진 않았지만, 이 합성곱이란게 뭔지가 궁금했습니다. 들어본 적이 없었거든요. 합성곱이 뭔지만 알고 내용을 시작하겠습니다! 먼저 위키피디아에서 어떻.. 2020. 8. 13. 이전 1 다음
