오이의 개발자 되어가는 이야기

사용할 만한 머신러닝 / 딥러닝 모델을 만들기 위해서 알아야 할 사전 지식들 1. 데이터 수집 크롤링, 스크래이핑 1. HTML, CSS (selector) 웹 크롤링 (urllib.request / requests - bs4) 2. selenium 3. Naver / Kakao / google 등의 RESTful API 2. 데이터 저장 RDBMS, NOSQL + ( Hadoop - HDFS ) 1. MySQL, Oracle, Maria DB 등의 RDBMS 2. Redis, MongoDB 등의 NoSQL 3. 데이터 조회 및 분석( 시각화 ) Spark / Hive / Pandas / Matplotlib, seaborn 등이 포함 1. 상관 관계 조사하기 2. 인사이트 도출해 내기 4. 수학 Sum ..

1. 지도학습 (Supervise Learning): 아래와 같이 구성된 트레이닝 데이터셋으로 학습이 끝나면, 레이블이 지정되지 않은 테스트 데이터셋(Test Set)을 이용해, 학습된 알고리즘이 얼마나 정확히 예측하는지 측정 가능 - 지도학습에서 사용하는 데이터 셋 예시: 2. 비지도 학습(Unsupervised Learning): 정답 레이블 y없이 입력 데이터 x만을 이용해서 학습하는 알고리즘이다. 데이터의 숨겨진 특징(Hidden Feature)을 찾아내는 것에 목적이 있습니다. 3. 강화학습(Reinforcement Learning): 스키너의 강화 연구 참고 강화는 동물이 이전에 배우지 않았지만, 직접 시도하면서 행동과 그 결과로 나타나는 좋은 보상 사이의 상관관계를 학습하는 것이다. 강화의 ..