Computer Science
[빅데이터 분석 기사] 4. 빅데이터 결과해석
Chapter 01 분석모형 평가 및 개선 1. 분석모형평가 1. 평가 지표 2. 분석모형 판단 3. 교차검증 4. 모수 유의성 검증 5. 적합도 검증 2. 분석모형 개선 1. 과대적합방지 2. 매개변수 최적화 3. 분석모형 융합 4. 최종모형 선정 Chapter 02 분석결과 해석 및 활용 1. 분석결과 해석 1. 분석결과해석 2. 비즈니스 기여도 평가 2. 분석결과 시각화 1. 시공간 시각화 2. 광계 시각화 3. 비교시각화 4. 인포그래픽 3. 분석결과 활용 1. 분석모형 전개 2. 분석결과 확용 시나리오 개발 3. 분석모형 모니터링 4. 분석모형 리모델링
[빅데이터 분석 기사] 3. 빅데이터 모델링
Chapter 01 분석모형 설계 1. 분석 절차 수립 1. 분석모형 선정 1. 통계 기반 분석모형(현상에서 패턴 발견(현상추청), 예측검정) -> 기술통계, 상관분석, 회귀분석, 분산분석, 주성분분석, 판별분석 2. 데이터마이닝 기반 분석모형(현상에서 인과 결론 도출) -> 분류(classification)모델, 예측(prediction), 군집화(Clustering), 연관규칙(Association Rule) 3. 머신러닝 기반 분석모형(현상을 예측) -> 지도학습(Supervised), 비지도학습(unSupervised), 강화학습(Reinforcement), 준지도학습(Semi-) 4. 변수에 따른 분석기법 선정 연속형x연속형: 범주형x범주형: 범주형x연속형: 독립변수 종속변수 5. 분석모형 활용..
[빅데이터 분석 기사] 2. 빅데이터 탐색
Chapter 01 데이터 전처리1. 데이터 정제1. 데이터 정제데이터 정제 절차 데이터 오류 원인분석(결측값, 노이즈, 이상값)> 데이터 정제 대상선정(모든데이터) > 데이터 정제 방법결정(삭제, 대체, 예측값) 데이터 정제 기법 변환, 파싱, 보강 데이터 정제 기술 ETL, 맵리듀스, 스파크/스톰, CEP, 피그, 플럼 데이터 세분화 방법 계층적 방법: 응집분석법, 분할분석법 비계층적 방법: 인공신경망 모델, K평균 군집화 2. 데이터 결측값 처리결측값 종류 완전 무작위 결측, 무작위 결측, 비 무작위 결측 결측값 처리 절차 결측값 식별 > 결측값 부호화 > 결측값 처리 방법 결측값 처리 방법 1️⃣ 단순 대치법 - 완전 분석법 - 평균 대치법 - 단순확률 대치법(핫덱/콜드덱/혼합) 2️⃣ 다중대치법..
[빅데이터 분석 기사] 1. 빅데이터 분석 기획
Chapter 01 빅데이터의 이해 1. 빅데이터 개요 및 활용 1. 빅데이터의 특징 2. 빅데이터의 가치 3. 데이터 산업의 이해 4. 빅데이터 조직 및 인력 2. 빅테이터 기술 및 제도 1. 빅데이터 플랙폼 2. 빅데이터와 인공지능 3. 개인정보보호법 Chapter 02 데이터 분석 계획 1. 분석 방안 수립 1. 분석 로드맵 설정 2. 분석 문제의 정의 3. 데이터 분석 방안 2. 분석 작업 계획 1. 데이터 확보 계획 2. 분석 절차 및 작업 계획 Chapter 03 데이터 수집 및 저장 계획 1. 데이터 수집 및 전환 데이터 처리기술: 데이터 필터링/변환/정제/통합/축소 1. 데이터 수집 데이터 수집 프로세스 수집 데이터 도출 → 목록작성 → 데이터 소유기관 파악 및 협의 → 데이터 유형 분류 ..
맥에서 아나콘다 가상환경 설정하기
윈도우에서 설정할때는 Anaconda prompt에서 설정했지만 맥에서는 terminal.app 으로 들어가서 윈도우에서와 동일한 방법으로 가상환경설정을 했다. 먼저 conda create -n jsEnv python=3.7 를 입력 한다. 가상환경 이름은 jsEnv 로 했을 경우다 여러가지가 주루륵 뜨고 나면 계속할것인지 물어본다 이때 y를 입력하면 설정 완료된다. 실제로 생성되었는지 아나콘다 폴더로 들어가서 envs 에 들어가서 확인하니 생성된것을 확인할 수 있었다. 그럼 이제 파이참에서 좀전에 생성한 가상환경으로 인터프리터를 설정해보려한다.
맥에서 주피터 노트북 사용 방법
아이맥에서 주피터 노트북을 사용하는 방법은 다음 두가지 이다. 방법1: 명령 터미널에 jupyter notebook을 입력한다. 방법2: 아나콘다 내비게이터에서 주피터 노트북 실행을 한다.