멀티모달 인공지능
더 많은 작업
멀티모달 인공지능(Multimodal AI)은 텍스트·이미지·음성·영상·센서 신호처럼 형태가 다른 여러 종류의 데이터(모달리티)를 함께 입력받아 서로의 관계를 학습하고, 통합적으로 이해·추론하거나 다른 모달리티로 생성하는 인공지능이다.
모달리티(Modality)는 정보가 표현·전달되는 형식이나 감각 통로를 말한다. 사람은 말을 들으면서 입 모양과 표정을 보고, 그림을 보면서 설명을 읽어 상황을 이해한다. 하나의 모달리티만 다루는 유니모달 모델(텍스트만 보는 언어 모델, 이미지만 보는 분류 모델)은 이런 맥락을 놓친다. 멀티모달 인공지능은 여러 모달리티가 서로를 보완하게 해 정확도를 높이고, 한쪽 정보가 부족하거나 잡음이 있어도 다른 쪽으로 보충한다.
초기에는 음성 인식에 입 모양 영상을 더하는 식의 시청각 융합 연구가 중심이었다. 2021년 이미지와 문장을 같은 공간에 정렬한 CLIP, 텍스트로 이미지를 만드는 DALL·E 가 나왔고, 이후 GPT-4o, 제미나이(Gemini) 같은 대형 언어 모델 기반 멀티모달 모델(LMM, Large Multimodal Model)이 하나의 모델에서 텍스트·이미지·음성을 함께 다루게 되었다.
'멀티모달'이라는 말은 인간-컴퓨터 상호작용(HCI) 분야에서 먼저 쓰였다. 멀티모달 인터페이스는 음성·터치·펜·제스처·시선 등 여러 입력 수단을 함께 써서 사용자가 기기와 상호작용하게 하는 사용자 인터페이스이다. 멀티모달 인공지능은 이를 데이터·모델 관점으로 넓힌 것으로, 여러 형식의 데이터를 하나의 모델이 학습·추론하는 것을 말한다. 두 개념 모두 여러 모달리티의 입력을 융합·정렬한다는 핵심이 같다.
멀티모달 학습의 핵심 과제는 흔히 다음 다섯 가지로 정리된다(Baltrušaitis 등, 2019).
| 기술 요소 | 내용 | 예 |
|---|---|---|
| 표현(Representation) | 각 모달리티의 특징을 벡터로 만들고, 이를 결합한 공동 표현(joint) 또는 서로 비교할 수 있는 조정 표현(coordinated, 공유 임베딩 공간)을 학습 | 이미지·문장을 같은 벡터 공간에 넣는 CLIP |
| 변환(Translation) | 한 모달리티를 다른 모달리티로 바꿈 | 이미지 캡셔닝, 텍스트→이미지 생성, 음성 인식·합성 |
| 정렬(Alignment) | 모달리티의 하위 요소끼리 대응 관계를 찾음 | 문장 속 단어와 이미지 영역, 자막과 영상 구간 맞추기 |
| 융합(Fusion) | 여러 모달리티 정보를 합쳐 예측 | 영상+음성 감정 인식, 카메라+라이다 자율주행 인지 |
| 공동 학습(Co-learning) | 데이터가 풍부한 모달리티의 지식을 부족한 모달리티로 전이 | 텍스트 지식으로 저자원 음성 모델 보강 |
| 방식 | 내용 | 장단점 |
|---|---|---|
| 초기 융합(Early Fusion) | 입력·저수준 특징 단계에서 결합한 뒤 하나의 모델로 학습 | 모달리티 간 세밀한 상호작용 반영 / 시간·형식 동기화가 어렵고 차원이 커짐 |
| 후기 융합(Late Fusion) | 모달리티별 모델이 각자 판단한 결과를 투표·가중평균으로 결합 | 구현 쉽고 일부 모달리티가 빠져도 동작 / 상호작용 반영이 약함 |
| 중간·하이브리드 융합 | 중간 특징 단계에서 결합하거나 교차 어텐션으로 층마다 상호작용 | 성능이 좋아 최근 대형 모델의 주류 / 구조 복잡, 연산량 큼 |
- 시각적 질의응답(VQA), 이미지·영상 설명 생성, 문서(표·그림 포함) 이해
- 텍스트로 이미지·영상·음악 생성
- 의료: 영상과 진료 기록·유전체 정보를 함께 분석한 진단 보조
- 자율주행·로봇: 카메라·라이다·레이더 센서 융합, 언어 지시를 이해하는 로봇
- 음성 비서·상담: 음성·표정·텍스트를 함께 본 감정 인식과 대화
- 보안·관제: 영상과 소리로 이상 상황 탐지
- 데이터: 모달리티끼리 짝이 맞고 정렬된 대규모 데이터를 만들기 어렵고 비싸다 → 멀티모달 데이터 품질검증
- 모달리티 결측·불균형: 일부 입력이 없거나 한 모달리티에 지나치게 의존하는 문제
- 환각: 이미지에 없는 내용을 그럴듯하게 설명하는 등 모달리티 간 불일치
- 연산 비용: 고해상도 영상·긴 음성을 다루면 메모리와 계산량이 급증한다
- 평가: 모달리티를 넘나드는 정확도·일관성을 재는 기준이 아직 정립 중이다
- 안전·윤리: 딥페이크 생성, 이미지 속 개인정보 노출, 이미지를 통한 우회 프롬프트 공격