빅데이터 분석

Big Data Analysis

대량의 정형·비정형 데이터에서 규칙과 의미를 찾아 의사결정에 쓸 수 있는 결과를 얻는 분석 활동

개요

빅데이터 분석은 빅데이터를 대상으로 통계, 데이터 마이닝, 기계학습 기법을 적용해 숨은 패턴과 관계를 찾는 일이다. 분석은 기법을 바로 적용하는 것이 아니라, 무엇을 풀지 정하고 그 문제를 변수로 표현한 뒤 데이터를 모아 분석하는 순서를 밟는다.

분석 절차

순서	단계	하는 일
1	문제 인식	해결해야 할 문제와 분석 목적을 정한다
2	연구 조사	문제와 관련된 문헌·기존 연구·사례를 조사해 해결 방향을 찾는다
3	모형화	복잡한 문제를 단순화해 변수 사이의 관계로 정의한다. 어떤 변수를 쓸지 정한다
4	자료 수집	모형에 필요한 데이터를 모으고 변수를 측정한다
5	자료 분석	수집한 데이터에 통계·마이닝 기법을 적용해 분석한다
6	분석 결과 제시	결과를 해석하고 의사결정자에게 전달한다

• 문제를 단순화해 변수 간의 관계로 정의하는 단계는 모형화다. 연구 조사는 관련 자료를 조사하는 단계다.
• 탐색적 데이터 분석과 요인 분석은 자료 분석 단계에서 쓰는 분석 기법이지 절차의 단계 이름이 아니다.

기존 통계분석과의 차이

• 기존 통계분석은 모수를 파악하기 위해 표본을 추출하여 분석한다.
  • 빅데이터 분석은 전체 모수를 통해 규칙을 찾는다.
• 기존 통계분석은 수량적 비교를 기초로 관계를 파악한다.
  • 빅데이터 분석은 수치형/문자형 또는 정형/비정형 데이터 속에서 규칙을 찾는다.