본문 바로가기

분류 전체보기66

6. 불균형 데이터 해결하기 (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 주식 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이전 포스팅은 주식 데이터의 특성에 맞는 최적의 스케일링을 선정했습니다. 현재 전처리한 주식 데이터는 불균형이 심하기 때문에 모델링이 .. 2022. 3. 16.
5. 주식 데이터 분석 - 가장 좋은 스케일링은? (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 주식 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이전 포스팅은 학습이 잘 되도록 EDA를 통해 주식 데이터의 질을 높이는 전처리 과정을 다루었습니다. 스케일링 방식에 따라서 얻는 결과.. 2022. 3. 13.
4. 주식 데이터 분석 - 전처리, EDA (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 저번 포스팅은 데이터 정보가 너무 적은 단점을 커버하기 위해 수십개의 보조 지표를 추가하는 방법을 다뤘습니다. 이번 포스팅은 EDA를 통해 .. 2022. 3. 12.
3. 주식 데이터 보조지표 추가하기 - TA패키지 (주가 예측 프로젝트) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이번 포스팅은 캔들에 대한 정보 외에 다른 보조 지표를 추가하는 방법에 대해 포스팅합니다. 1. 보조 지표를 추가해야 하는 이유 2. ta .. 2022. 3. 11.
[OpenCV] 이미지 관심영역 (ROI) 추출하기 본 글은 파이썬으로 만드는 OpenCV프로젝트 서적의 내용을 포스팅하는 내용입니다. 4.1장 관심영역 해당 실습은 cv2 라이브러리를 이용하여 진행합니다. 1. 마우스로 관심영역 추출하기 2. cv라이브러리로 간단히 하기 obj detection 모델에서는 이미지의 관심영역 ROI( Region of Interest )가 라벨이 됩니다. 저는 roboflow라는 플랫폼에서 마우스로 드래그해가면서 이미지 데이터를 라벨링한 경험이 있는데, 이걸 직접 코딩해보는 실습입니다. 1. 마우스로 관심영역 추출하기 import cv2 import numpy as np isDragging = False # 마우스 드래그 상태 저장 x0,y0,w,h = -1,-1,-1,-1 # 영역 선택 좌표 저장 blue,red = (.. 2022. 3. 11.
[Open CV] 파이썬 여러개 이미지 동시 출력 본 글은 파이썬으로 만드는 OpenCV프로젝트 서적의 내용을 포스팅하는 내용입니다. 3장 Matplotlib 해당 실습은 cv2 라이브러리를 이용하여 진행합니다. 1. Matplotlib의 subplot을 이용하여 여러 이미지 동시 출력 1. Matplotlib의 subplot을 이용하여 여러 이미지 동시 출력 cv2 라이브러리를 통해 이미지 읽는 방식은 이미 포스팅을 했었지만, 이미지 여러개를 동시 출력하고 싶을 때가 있습니다. 가령 segmentation이나 gan모델을 학습할 때는 epoch마다 학습 전후 이미지 2개를 동시에 출력합니다. 이런 경우에는 matplotlib의 subplot을 이용해야하는데, 그 방식을 살펴봅니다. import cv2 import matplotlib.pyplot as .. 2022. 3. 11.
2. 파이썬 멀티프로세싱 (feat.주식 데이터) - 주가예측 프로젝트 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 저번 포스팅에서는 한국 거래소에서 상장 회사 약 2,000개 가량의 종목코드를 얻었고, fdr 라이브러리를 통해 데이터를 얻었습니다. 이번 .. 2022. 3. 8.
1. Finance Data Reader로 주식 데이터 불러오기 ( 주가 예측 프로젝트 ) 학부 연구생으로서 진행한 주가 예측 프로그램의 일련의 과정을 차례로 포스팅합니다. 위 그림처럼 어떤 종목이든 10일간의 데이터로 다음날 종가 상승 여부를 예측하는 머신러닝 프로젝트입니다. 주식 데이터는 여기저기 예제들도 굉장히 많이 있고, 비교적 얻기 쉬운 빅데이터이기 때문에 여러가지 프로젝트를 하시는 분들은 굉장히 많을 거라고 생각합니다. 하지만 어려운 도메인인만큼 유의미한 모델링을 한 사례는 굉장히 적습니다. 특히 주식을 잘 모르시는 분들에게는 정말 어려운 데이터죠... 제가 얻은 인사이트를 기록합니다. 데이터 수집 - EDA - 전처리 - 모델링 - 성능 개선 이번 포스팅은 Finance Data Reader라는 라이브러리를 이용하여 종목 코드를 얻는 과정과 해당 라이브러리의 특징에 대해서 포스팅하.. 2022. 3. 7.
[Open CV] 파이썬 창 관리 - 마우스,키보드 이벤트/트랙바 본 글은 파이썬으로 만드는 OpenCV프로젝트 서적의 내용을 포스팅하는 내용입니다. 2장 기본 입출력 해당 실습은 cv2 라이브러리를 이용하여 진행합니다. 1. 창 관리 2. 키보드 이벤트 처리 3. 마우스 이벤트 처리 4. 마우스 이벤트 처리 2 5. 트랙바 활용 1. 창 관리 import cv2 file_path = '../CV2/img/img1.PNG' img = cv2.imread(file_path) # 이미지 기본 값으로 읽기 img_gray = cv2.imread(file_path, cv2.IMREAD_GRAYSCALE) # 이미지를 그레이 스케일로 읽기 cv2.namedWindow('origin', cv2.WINDOW_AUTOSIZE) # origin이라는 이름으로 창 생성 cv2.named.. 2022. 3. 6.