데이터 변환

Data Transformation; 데이터 변환

수집한 데이터를 분석하기 좋은 형태와 형식으로 바꾸는 처리

원천마다 단위, 표현, 구조가 제각각이므로 그대로 합치면 비교가 안 된다. 변환은 수집 단계와 전처리 단계 모두에서 일어나며, 전처리 단계의 세부 기법은 변수 변환에서 다룬다.

변환 기법

기법	설명	예
평활화(Smoothing)	잡음(노이즈)을 줄여 추세를 드러낸다. 구간화(binning), 군집화, 이동평균 등을 쓴다	일별 매출을 7일 이동평균으로 바꾼다
집계(Aggregation)	여러 값을 요약해 상위 수준의 값으로 만든다	일별 판매량 → 월별 판매량
일반화(Generalization)	구체적인 값을 더 넓은 범주로 바꾼다. 개념 계층을 따라 올라간다	시·군·구 → 시·도, 나이 → 연령대
정규화(Normalization)	값을 정해진 범위나 분포로 맞춘다	최소-최대 정규화, Z-점수 표준화
속성 생성(Attribute Construction)	기존 속성을 조합해 새 속성을 만든다	키·몸무게 → BMI

정규화 공식

• 최소-최대 정규화 : $x^{\prime }=\frac{x-x_{min}}{x_{max}-x_{min}}$ (0~1 범위)
• Z-점수 정규화(표준화) : $z=\frac{x-\mu }{\sigma }$ (평균 0, 표준편차 1)
• 소수 스케일링 : $x^{\prime }=\frac{x}{10^j}$ ($j$는 $\max |x^{\prime }|<1$이 되는 가장 작은 정수)

저장 형식 변환

수집한 데이터를 저장소나 분석 도구가 다루기 쉬운 형식으로 바꾸는 일도 변환에 속한다.

• 반정형 → 정형 : JSON·XML을 파싱해 테이블(행·열)로 펼친다
• 비정형 → 정형 : 텍스트에서 키워드·빈도를 추출하고, 이미지에서 특징값을 추출한다
• 파일 형식 변환 : CSV·JSON을 분석용 컬럼 기반 형식(Parquet, ORC 등)으로 바꿔 저장 공간과 조회 속도를 개선한다
• 인코딩 변환 : 문자 인코딩(EUC-KR → UTF-8), 날짜·시간 표기, 단위 등을 통일한다

ETL과의 관계

ETL은 추출(Extract) → 변환(Transform) → 적재(Load)의 순서로 데이터를 옮기는 과정이다. 여기서 T가 데이터 변환이며, 코드 통일·중복 제거·집계·형식 변환이 이 단계에서 수행된다.

적재 뒤에 저장소 안에서 변환하는 방식은 ELT라고 한다. 데이터 레이크처럼 원본을 먼저 저장하고 필요할 때 변환하는 구조에서 많이 쓰인다.

비식별 조치와 변환

수집 데이터에 개인정보가 있으면 변환 단계에서 가명처리, 총계처리, 범주화, 삭제, 마스킹 같은 비식별 기법을 함께 적용한다. 일반화·집계는 비식별 기법과 겹치는 부분이 있다. 자세한 내용은 개인정보 비식별 기법을 참고한다.

시험 포인트

• 평활화·집계·일반화·정규화·속성 생성을 예시와 짝짓는 문제
• 최소-최대 정규화와 Z-점수 계산 문제
• ETL의 각 단계, ETL과 ELT의 차이

같이 보기

• 데이터 수집
• 변수 변환
• 데이터 정제
• ETL
• 빅데이터분석기사 교본

참고 문헌

• scikit-learn User Guide: Preprocessing data