[빅데이터 분석 기사] 3. 빅데이터 모델링

Chapter 01 분석모형 설계

1. 분석 절차 수립

1. 분석모형 선정 

1. 통계 기반 분석모형(현상에서 패턴 발견(현상추청), 예측검정)

   -> 기술통계, 상관분석, 회귀분석, 분산분석, 주성분분석, 판별분석

 

2. 데이터마이닝 기반 분석모형(현상에서 인과 결론 도출)

   -> 분류(classification)모델, 예측(prediction), 군집화(Clustering), 연관규칙(Association Rule)

 

3. 머신러닝 기반 분석모형(현상을 예측)

   -> 지도학습(Supervised), 비지도학습(unSupervised), 강화학습(Reinforcement), 준지도학습(Semi-)

 

 

4. 변수에 따른 분석기법 선정

연속형x연속형: 

범주형x범주형: 

범주형x연속형: 

 

독립변수 종속변수

 

 

5. 분석모형 활용사례

연관규칙학습, 분류분석, 유전자 알고리즘, 기계학습, 회귀분석, 감성분석, 소셜 네트워크

 

2. 분석모형 정의

1. 분석모형 정의의 개념

 

파라미터와 하이퍼파라미터 설정

 

2. 

부적합 모형 현상: ①모형선택오류, ②변수누락, ③부적합 변수 생성, ④동시편향

 

3. 분석모형 구축 절차

1. 요건 정의 : 분석요건 도출, 수행방안설계, 요건 확정
2. 모델링(알고리즘) : 모델링 마트 설계 및 구축, 탐색적 분석 및 유의 변수 도출, 모델링, 모델링 성능평가
3. 검증 및 테스트 : 운영 환경에 실제 테스트, 비즈니스 영향도 평가
4. 적용: 운영 : 시스템에 적용 및 자동화, 주기적 리모델링

2. 분석환경구축

1. 분석 도구 설정

 R, Python

 

2. 데이터 분할

Train data                         ----  Test data

Train data / Validation data   ---- Test data

 

 

---

Chapter 02 분석기법 적용

1. 분석기법

1. 회귀분석

 

2. 로지스틱 회귀분석

 

3. 의사결정나무

 

4. 인공신경망

 

5. SVM

 

6. 연관성분석

 

7. 군집분석

2. 고급 분석기법

1. 범주형 자료분석

 

2. 다변량 분석

 

3. 시계열 분석

 

4. 베이지안 기법

 

5. 딥러닝 분석

 

6. 비정형 데이터 분석

 

7. 앙상블 분석

 

8. 비모수 통계

 

 

① ② ③ ④