멀티모달 데이터 품질검증
더 많은 작업
멀티모달 데이터 품질검증은 생성형 멀티모달 인공지능을 학습·미세조정하는 데 쓰는, 둘 이상의 모달리티(텍스트·음성·이미지·비디오·수치 등)가 짝지어진 데이터가 각 모달리티 자체의 정확성과 모달리티 사이의 대응·정렬 관계를 제대로 갖췄는지 검증하는 활동이다.
대형 멀티모달 모델(LMM)은 기초 모델(파운데이션 모델)을 특정 임무에 맞게 미세조정해 쓰며, 이때 두 가지 이상의 데이터 유형을 묶은 데이터셋이 필요하다. 유니모달 데이터는 라벨이 맞는지만 보면 되지만, 멀티모달 데이터는 "이 문장이 정말 이 이미지를 설명하는가", "이 자막이 이 영상 구간과 맞는가"처럼 모달리티 사이의 관계까지 맞아야 모델이 올바른 연결을 학습한다.
한국정보통신기술협회(TTA)는 2024년 정보통신단체표준 「생성형 인공지능 학습을 위한 멀티모달 데이터의 품질검증 방법」(TTAK.KO-10.1558)을 제정했다. 이 표준은 멀티모달 데이터의 품질특성을 정의하고, 학습 업무별로 어떤 품질특성을 검증할지를 제시한다. 각 모달리티 자체의 라벨 품질은 기존 단체표준(TTAK.KO-10.1419, TTAK.KO-10.1420 등)의 학습 임무별 품질검증 방법을 따른다.
모달리티 사이의 연결은 통계적 관점(상관·동시 발생, 인과·시간 의존)과 의미적 관점(대응, 관계)으로 볼 수 있다. 표준은 의미적 관점을 바탕으로 다음 세 가지 품질특성을 둔다.
| 품질특성 | 검증 내용 | 예 |
|---|---|---|
| 표현성(Representation) | 각 유니모달 데이터의 라벨링 정보가 실제 참값과 맞는지, 각 모달리티에서 개체를 식별할 수 있는지 | 이미지의 바운딩 박스가 정확한지, 전사 텍스트가 음성과 같은지 |
| 일치(변환)성(Translation) | 모달리티 간 매핑이 정확한지. 각 모달리티의 식별 대상(엔티티)이 같은 객체인지 일치 요소를 뽑아 의미가 같은지 판단 | 이미지 캡션의 단어·구가 가리키는 이미지 영역이 맞는지(하나의 장면·문장·발화를 한 단위로 비교) |
| 정렬(관계)성(Alignment) | 시간·공간에 종속되는 데이터에서, 모달리티의 하위 구성 요소(객체, 동작) 간 관계와 대응, 시간 순서가 정확한지 | 비디오 설명문이 영상의 장면 순서와 맞는지, 음성과 입 모양 프레임이 동기화됐는지 |
정렬성은 순서가 있는 데이터에만 적용한다. 예를 들어 한 장의 이미지와 그 설명문은 시퀀스가 없으므로 정렬성 대신 일치성만 검증한다.
| 학습 업무 | 데이터 구성 | 검증할 품질특성 |
|---|---|---|
| 시각적 음성 인식 | 비디오(입 모양 어노테이션)·음성·전사 텍스트 | 음성·비디오·전사 텍스트 간 일치성, 음성과 이미지 프레임의 정렬성 |
| 객체·행동 분류 | 비디오, 2D·3D 이미지, 수치 데이터 | 2D·3D 이미지의 동일 객체 일치성, 비디오-이미지 일치성, 객체 추적과 수치 데이터의 정렬성 |
| 이벤트·이상 탐지 | 비디오·이미지·센서 수치·텍스트 | 기상 텍스트·이미지·센서 간 일치성, 이미지와 센서 데이터의 정렬성(예: 열화상 영상의 온도 변화와 실제 온도) |
| 비디오 설명 | 비디오·텍스트 | 영상과 주요 객체·사건의 일치성, 영상과 설명문의 시간적 정렬성 |
| 이미지 설명 | 이미지·텍스트 | 이미지와 설명문의 일치성(정렬성은 부적합) |
| 시각적 질의응답 | 이미지·비디오·질의응답 텍스트(·번역문) | 시각 데이터와 질의응답의 일치성, 질의응답과 번역문의 일치성, 비디오 순서를 고려한 경우 정렬성 |
| 비디오·이미지 생성 | 비디오, 2D·3D 이미지, 음성, 텍스트 | 2D·3D 객체 일치성, 음성과 3D 입 모양 일치성, 동작과 스토리 텍스트 일치성, 프레임별 동일 화자 정렬성 |
생성형 모델이 만든 데이터(합성 데이터)를 다시 학습에 쓰거나 모델 성능을 평가할 때는 생성 결과가 실제 데이터와 얼마나 비슷한가(충실도), 얼마나 다양한가(다양성), 입력 조건과 맞는가(조건 정합성)를 본다. 데이터 유형별로 흔히 쓰는 방법은 다음과 같다.
| 생성 데이터 | 자동 지표 | 그 밖의 검증 |
|---|---|---|
| 텍스트 | 퍼플렉서티, BLEU·ROUGE(참조문 대비 중첩), BERTScore(의미 유사도) | 사실성·유해성 검토, 사람 평가 |
| 이미지 | FID, IS, KID, 정밀도·재현율, CLIP Score, (참조가 있으면) PSNR·SSIM·LPIPS | 사람의 선호도·사실감 평가, 개인정보·저작권 검토 |
| 음성·오디오 | FAD, 음성 인식 오류율(WER, 내용 일치), 화자 유사도 | MOS(평균 의견 점수) 청취 평가 |
| 비디오 | FVD, 프레임 간 일관성, CLIP 기반 텍스트-영상 정합도 | 움직임 자연스러움에 대한 사람 평가 |
| 지표 | 측정 대상 | 내용 | 해석 |
|---|---|---|---|
| FID(Fréchet Inception Distance) | 충실도+다양성(분포) | 사전학습된 Inception 망으로 실제·생성 이미지 특징을 뽑아, 두 분포(평균·공분산)의 프레셰 거리를 계산 | 낮을수록 좋음 |
| IS(Inception Score) | 선명도+다양성 | 생성 이미지마다 분류가 확실하고(선명), 전체적으로 여러 클래스가 고루 나오는지(다양) | 높을수록 좋음. 실제 데이터와 비교하지 않음 |
| KID(Kernel Inception Distance) | 분포 차이 | 특징 분포 차이를 커널 기반 MMD 로 계산. 표본이 적어도 편향이 작다 | 낮을수록 좋음 |
| 정밀도·재현율(Precision/Recall) | 충실도와 다양성을 분리 | 정밀도: 생성 이미지가 실제 분포 안에 드는 비율, 재현율: 실제 분포를 생성 이미지가 얼마나 덮는지 | 둘 다 높을수록 좋음 |
| CLIP Score | 조건(텍스트) 정합성 | 프롬프트와 생성 이미지의 CLIP 임베딩 유사도 | 높을수록 좋음 |
| PSNR·SSIM·LPIPS | 참조 이미지와의 유사도 | 화소 오차, 구조 유사도, 학습된 지각 유사도 | 복원·변환처럼 정답 이미지가 있을 때만 사용 |
- 목적: 사실감·분포 유사도가 중요하면 FID·KID, 충실도와 다양성을 따로 진단하려면 정밀도·재현율, 텍스트 조건을 잘 따르는지가 중요하면 CLIP Score
- 참조 데이터 유무: 같은 장면의 정답 이미지가 있으면 PSNR·SSIM·LPIPS, 없으면 분포 기반 지표(FID 등)
- 표본 수: FID 는 수천 장 이상에서 안정적이므로, 표본이 적으면 KID 를 쓴다
- 도메인: Inception 특징은 일반 사진(ImageNet)에 맞춰져 있어 의료·위성·문서 이미지는 해당 도메인 특징 추출기를 쓰거나 사람 평가를 함께 한다
- 단일 지표 금지: 지표마다 놓치는 측면이 있으므로 분포 지표 + 조건 정합 지표 + 사람 평가를 조합한다