CRISP-DM

데이터 마이닝 기업들이 모여서 공동으로 제정한, 초보자나 전문가가 비즈니스 전문가와 함께 모형을 만들어 내는 포괄적인 방법론이며 어떤 산업 분야에도 적용할 수 있는 표준적 데이터마이닝 프로세스

절차

	절차	세부 활동	비고
①	Business Understanding	업무 목표 수립, 현재 상황 평가 마이닝 목표 수립, 프로젝트 계획
②	Data Understanding	초기 데이터 수집 데이터 기술 데이터 품질 검증	진행이 불가할 경우 ①로 회귀
③	Data Preparation	데이터 설정, 선택 데이터 생성, 정제 데이터 통합, 데이터 클렌징
④	Modeling	모델링 기법 선택 테스트 설계 생성 모델 생성 및 평가	진행이 불가할 경우 ②로 회귀
⑤	Evaluation	결과 평가 프로세스 재검토	진행이 불가할 경우 ①로 회귀
⑥	Deployment	전개 계획 수립 모니터링 및 유지 계획 최종 보고서 작성

단계 사이의 피드백

CRISP-DM 은 단방향 폭포수가 아니라 단계 사이를 오가는(피드백) 순환 구조다.

비즈니스 이해 ↔ 데이터 이해 : 데이터를 보다가 업무 목표를 다시 정할 수 있다.
데이터 이해 → 데이터 준비 로 넘어가고, 데이터 준비 ↔ 모델링 은 모델에 맞게 데이터를 다시 준비하며 오간다.
모델링 단계에서 학습용·테스트용 데이터로 과적합·과소적합을 확인한다.
평가 단계에서 모델이 비즈니스 목표를 달성하는지 보고, 미흡하면 비즈니스 이해로 돌아간다. 평가에서 적합하다고 바로 현업에 투입하는 것이 아니라 전개(배포 계획·모니터링·유지보수 계획) 단계를 거친다.

단계별 일반 태스크

CRISP-DM 은 단계(Phase) → 일반화 태스크(Generic Task) → 세분화 태스크(Specialized Task) → 프로세스 실행(Process Instance) 의 4 레벨로 짜여 있다. 시험에 나오는 것은 단계마다 정해진 일반화 태스크와 그 순서다.

단계	일반화 태스크(순서대로)
업무 이해	업무 목적 파악 → 상황 파악 → 데이터 마이닝 목표 설정 → 프로젝트 계획 수립
데이터 이해	초기 데이터 수집 → 데이터 기술 분석 → 데이터 탐색 → 데이터 품질 확인
데이터 준비	분석용 데이터셋 선택 → 데이터 정제 → 분석용 데이터셋 편성 → 데이터 통합 → 데이터 포맷팅
모델링	모델링 기법 선택 → 모델 테스트 계획 설계 → 모델 작성 → 모델 평가
평가	분석 결과 평가 → 모델링 과정 평가 → 모델 적용성 평가
전개	전개 계획 수립 → 모니터링과 유지보수 계획 수립 → 프로젝트 종료 보고서 작성 → 프로젝트 리뷰

업무 이해 단계는 업무 상황을 먼저 파악하고, 그 위에서 데이터 마이닝 목표를 정한 뒤, 마지막에 프로젝트 계획을 세운다. 계획 수립이 목표 설정보다 앞서거나 상황 파악이 맨 뒤로 가는 순서는 틀리다.
데이터 통합(여러 테이블·원천의 데이터를 합치는 일)은 데이터 준비 단계의 태스크다. 모델링 단계의 태스크가 아니다.
모델링 단계의 모델 평가는 만든 모델의 기술적 성능(정확도 등)을 보는 일이고, 평가 단계는 그 결과가 업무 목표를 달성하는지를 본다. 이름이 비슷해도 다른 단계의 일이다.

같이 보기