Project14 6. 불균형 데이터 해결하기 (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 주식 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이전 포스팅은 주식 데이터의 특성에 맞는 최적의 스케일링을 선정했습니다. 현재 전처리한 주식 데이터는 불균형이 심하기 때문에 모델링이 .. 2022. 3. 16. 5. 주식 데이터 분석 - 가장 좋은 스케일링은? (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 주식 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이전 포스팅은 학습이 잘 되도록 EDA를 통해 주식 데이터의 질을 높이는 전처리 과정을 다루었습니다. 스케일링 방식에 따라서 얻는 결과.. 2022. 3. 13. 4. 주식 데이터 분석 - 전처리, EDA (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 저번 포스팅은 데이터 정보가 너무 적은 단점을 커버하기 위해 수십개의 보조 지표를 추가하는 방법을 다뤘습니다. 이번 포스팅은 EDA를 통해 .. 2022. 3. 12. 3. 주식 데이터 보조지표 추가하기 - TA패키지 (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이번 포스팅은 캔들에 대한 정보 외에 다른 보조 지표를 추가하는 방법에 대해 포스팅합니다. 1. 보조 지표를 추가해야 하는 이유 2. ta .. 2022. 3. 11. 2. 파이썬 멀티프로세싱 (feat.주식 데이터) - 주가예측 프로젝트 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 저번 포스팅에서는 한국 거래소에서 상장 회사 약 2,000개 가량의 종목코드를 얻었고, fdr 라이브러리를 통해 데이터를 얻었습니다. 이번 .. 2022. 3. 8. 1. Finance Data Reader로 주식 데이터 불러오기 ( 주가 예측 프로젝트 ) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이번 포스팅은 Finance Data Reader라는 라이브러리를 이용하여 종목 코드를 얻는 과정과 해당 라이브러리의 특징에 대해서 포스팅하.. 2022. 3. 7. 7. [최종] 이미지 분류 모델 인사이트 (이미지 수집부터 분류 모델까지) 이 포스팅은 아래 흐름대로 진행되는 포스팅입니다. 데이터 수집 - 전처리 - 모델링 - 성능 개선 이번 마지막 포스팅은 직접 수집한 이미지를 분류하면서 얻은 인사이트를 공유합니다. 1. 파이썬 이미지 데이터 크롤링하기 (이미지 수집부터 분류 모델까지) 2. 파이썬 파일 정리하기 (이미지 수집부터 분류 모델까지) 3. (1) 이미지 전처리 - augmentation, normalization(이미지 수집부터 분류 모델까지) 3. (2) Pytorch 데이터 클래스 정의 & albumentations 활용하기(이미지 수집부터 분류 모델까지) 4. Pytroch resnet50 구현하기 (이미지 수집부터 분류 모델까지) 5. Pytorch 텐서보드 활용 & image augmentation 중요성-실험 결과(.. 2021. 8. 2. 6. ResNet50 Transfer learning & fine tuning 적용하기(이미지 수집부터 분류 모델까지) 이 포스팅은 아래 흐름대로 진행되는 포스팅입니다. 데이터 수집 - 전처리 - 모델링 - 성능 개선 이 포스팅에서 저는 직접 이미지를 크롤링하여 수집하고(링크1), 수집한 이미지를 정리하고(링크2), 직접 전처리하며(링크3), 모델을 설계했고(링크4) 이번 포스팅을 마지막으로 finetuning으로 성능 개선을 합니다. 처음엔 Accuracy가 절반도 안됐지만, 성능이 얼마나 개선되었을까요?이 글을 통해 제 모델링 결과를 확인하시면, 아마 finetuning에 관한 감이 제대로 잡히실 것 같습니다. 먼저 fine tuning과 transfer learning의 개념이 헷갈리시는 분들은 이 글(fine tuning 설명)을 읽고 오시길 추천드립니다. 이전 포스팅 링크 5. Pytorch 텐서보드 활용 & i.. 2021. 8. 2. 5. Pytorch 텐서보드 활용 & image augmentation 중요성-실험 결과(이미지 수집부터 분류 모델까지) 이 포스팅은 아래 흐름대로 진행되는 포스팅입니다. 데이터 수집 - 전처리 - 모델링 - 성능 개선 이번 포스팅은 tensorboard를 활용하여 여러 가지를 시각화하여 학습 효율을 높여보겠습니다. 일전에 각각 다른 라이브러리로 전처리했던 데이터를 서로 비교해보겠습니다! 저도 결과보고 놀랐네요! 이전 포스팅 링크 [pytorch 라이브러리를 이용한 이미지 전처리] vs [albumentations 라이브러리를 이용한 이미지 전처리] 포스팅 순서 1. 텐서보드에 학습 이미지 올리기 2. 텐서보드로 모델 아키텍쳐 시각화 3. 텐서보드를 활용해 실시간 학습 상황 확인 & 두 데이터셋 비교 티스토리 코드 가독성 때문에 먼저 코드 파일을 공유합니다. (주석도 잘 달아놓음) 코랩으로 열.. 2021. 7. 5. 이전 1 2 다음
