논문 리뷰11 딥러닝 모델로 시계열 데이터 예측하기 - [논문 리뷰] Time Series Forecasting (TSF) Using Various Deep Learning Models (2022) 이 포스팅은 딥러닝 모델을 활용하여 시계열 데이터 예측한 논문을 리뷰하는 글입니다. 시계열 데이터의 경험이 적은 분들에게 유용한 논문인 것 같아서 리뷰합니다.읽은 뒤에는 시계열 데이터 핸들링과 실험 설계를 더욱 잘 할 수 있을겁니다. 이 논문의 main contribution은 Time Series data를 forecasting 할 때에 input data의 window size를 조절할 W, input data로부터 몇 step 만큼의 미래를 예측할 것인지 정하는 K 즉, 하이퍼 파라미터 W와 K를 조절해가며 각 딥러닝 모델마다 어떤 결과를 내는 특성이 있는지 비교 관찰한 것입니다. 쓰인 모델은 RNN, LSTM, GRU, Transformer입니다. RNN 계열 모델의 성능이 Transformer보.. 2023. 3. 12. RoI(Region of Interest) Pooling 이해하기 객체 탐지 모델을 공부하다보면, 객체를 분류함과 동시에 bbox를 추론하여 제안해야하기 때문에 일반적인 task들과는 달리 부수적인 알고리즘들이 많은 것 같습니다. Fast R-CNN 논문 리뷰 중 나왔던 RoI Pooling에 대해서 살펴봅니다. 1. RoI Pooling을 왜 쓸까? 2. RoI Pooling 원리 1. RoI( Region of Interest ) Pooling을 왜 쓸까? 객체 탐지 모델을 기준으로 설명합니다. 객체 탐지 모델은 CNN으로부터 획득한 Feature map을 원본 영상의 관심영역인 RoI 부분만큼만 이용합니다. RoI 내에 어떤 객체가 있는지 확인하려는 목적입니다. 해당 부분만 분류하기 위해서는 FC layer로 입력해야하는데, fc layer 고정길이의 벡터만 입력.. 2022. 12. 1. [논문 리뷰] SPPNet(2014) 설명 (Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition) R-CNN에 이어 SPPNet 논문을 리뷰합니다. 사실 SPPNet은 풀링기법을 제안하는 논문이라서 object detection뿐만 아니라 CNN에 전부 적용할 수 있지만, R-CNN에서의 큰 단점을 커버하면서 추천되는 object detection논문들에서 빠지지 않습니다. 해당 논문에서는 "SPP-Net for Object Detection"부분이 있습니다. 이 부분을 위주로 어떻게 적용하는지에 대해 포스팅합니다. 이전 R-CNN 포스팅 1. Abstract 2. 기존 CNN의 문제점 3. Spatial Pyramid Pooling Layer 작동원리 4. R-CNN 적용 5. 문제점 1. Abstract 당시 CNN은 고정된 사이즈의 224x224 해상도의 이미지만 입력 받았습니다. 이 조건은 굉.. 2022. 11. 3. [논문 리뷰] R-CNN (2014) 설명 위 계보대로 Obj Detection 모델들의 논문을 리뷰해볼까 합니다. Yolo시리즈부터는 조금 자세히 쓰고 그 이전 모델들은 너무 옛날이라 작동방식 정도만 리뷰합니다. 처음부터 공부하시는 분들은 가장 많이 쓰는 최신모델 Yolo만 공부하지 왜 다 읽나? 싶을 수 있는데 우선 저는 그냥 위 순서대로 공부했고, 아마 백그라운드 없이 최신 YoLo부터 보시면 이게뭐야~ 하면서 탑다운으로 쭉 내려와 2-stage detection모델부터 볼 확률이 높습니다 ㅎㅎ.. 특히 YoLov4 논문은... 2-stage detection모델인 R-CNN(2014)부터 리뷰합니다. 1. 1-stage detectior & 2-stage detectior 2. Abstract 3. R-CNN 구조 & 동작 원리 4. 문제.. 2022. 11. 2. [논문 리뷰] CBAM 설명 (Convolutional Block Attention Module)(2018) SENet(논문 리뷰 링크)은 CNN모델에서 feature map에 집중한 attention 모듈이었다면, 각 픽셀 자리값 Spatial axes에 집중한 attention 모듈도 있을겁니다. 이번 포스팅은 그 둘을 모두 활용한 attention 모듈 CBAM: Convolutional Block Attention Module을 리뷰합니다. (SENet보다 이 논문이 먼저라면, SENet을 먼저 공부하시는 것을 추천드립니다!) 저자가 한국분이셔서 저자가 직접 한국어로 작성하신 자료를 첨부합니다. 저자분이 이미 CBAM전에 BAM이라는 논문으로 연구를 하셨는데, 성능을 개선한 후속연구인 CBAM만 다루겠습니다. 논문 코드 링크 한글 자료가 있길래 아싸 꽁짜 논문 싶었는데 역시 원 논문과 코드를 살펴야했습니.. 2022. 3. 20. [논문 리뷰] SENet 설명 (Squeeze-and-Excitation Networks)(2018) 사실 SENet이라기보다는 SE block이 더 어울리는(?) SENet 논문을 리뷰합니다. 마찬가지로 Abstract는 자세히 짚고, 나머지는 중요한 부분들 위주와 저의 생각들로 포스팅합니다. 이 논문은 직접 읽지 않을 때는 느끼지 못했던 연구진들의 엄청난 관점이 이번에 논문을 읽고나서야 제대로 느낀 것 같습니다. 찾아보니 ILSVRC 2017에서 우승을 했다고 합니다. 1. Abstract 2. SE block 구조 3. SE block의 활용성 4. SE block 실험결과 5. 간단한 SE block 구현(케라스) Abstract 최근의 bulding block을 중심으로 CNN이 더욱 발전하면서, 각 layer의 공간적인 정보와 필터로 생성된 채널간의 정보를 결합하여 많은 정보를 쌓는 것이 가능.. 2022. 2. 7. [논문 리뷰] DenseNet(2017) 설명 논문 한편을 전부 번역하다시피 통째로 리뷰하니까 너무 힘든 것 같아서 Abstract만 자세히 살피고, 핵심 부분을 정리하여 리뷰하겠습니다. DenseNet 논문링크 DenseNet도 CNN에서는 매우 유명한 모델 중에 하나죠. 굉장히 다양한 task에서 Dense block을 차용하여 많이 이용합니다. 해당 논문을 보면, DenseNet 저자들이 ResNet을 많이 언급하고 비교도 많이 합니다. 아마 ResNet을 거의 counterpart로 두고 연구를 많이 진행한 것(?) 같습니다. 제가 리뷰한 ResNet 논문 리뷰를 같이 읽으시면, 도움이 많이 되실 겁니다! ResNet 논문리뷰 1. Abstract 2. Dense block 구조 3. DenseNet 전체 구조도 & 실험 4. ResNet과의.. 2022. 2. 5. [논문 리뷰] ResNet(2015) 설명 논문을 읽고 핵심 내용을 인용하고 제가 이해한대로 부연 설명합니다. 저의 솔로 프로젝트에서 이용했던 resnet입니다. 파이토치 클래스로 구현했지만, 제 프로젝트나 구현이 관심있으신 분들은 링크를 눌러주시면 됩니다. 4. Pytroch resnet50 구현하기 (이미지 수집부터 분류 모델까지) 이 포스팅은 아래 흐름대로 진행되는 포스팅입니다. 데이터 수집 - 전처리 - 모델링 - 성능 개선 이번 포스팅은 전처리한 이미지들을 분류하기위한 모델의 아키텍쳐를 구현하여 학습을 진행합 inhovation97.tistory.com 4.1 실험 부분이 흥미로웠습니다. Abstract 1. Introduce 2. Realated work 3. Deep residual Learning 4. Experiments Abst.. 2022. 1. 19. [논문 리뷰] GoogLeNet(2014) 설명 논문을 읽고 핵심 내용을 인용하고 제가 이해한대로 부연 설명합니다. 1. 당시 컴퓨터 비전과 인공지능의 배경 (1.introduction) 2. 저자들의 실험 초점 (2.related work & 3.Motivation and High Level Considerations) 3. 아키텍쳐 설명 (4.Architecture Details) 4. 개인적인 생각 이 부분은 논문 처음 introduction 부분의 내용입니다. 2014년도면 컴퓨터 비전 분야가 본격적으로 발전하기 시작한 때죠. 당시 비전 분야가 하드웨어의 발전이라기보다는 엄청난 아이디어들과 알고리즘의 향상들로 인해 견인되었을 정도로 많은 연구가 시작됐고, 사람들의 모바일 & computer의 메모.. 2021. 10. 3. 이전 1 2 다음
