CDVS
더 많은 작업
CDVS(Compact Descriptors for Visual Search, 시각 검색용 압축 기술자)는 정지 영상에서 뽑은 특징을 수백 바이트~수십 킬로바이트 크기의 압축된 기술자로 만들어, 영상 대신 기술자만 주고받으며 같은 물체·장소를 찾게 하는 MPEG-7 표준(ISO/IEC 15938-13)이다.
스마트폰으로 상품·랜드마크·그림을 찍어 검색하는 모바일 시각 검색에서는 사진을 통째로 서버에 올리면 전송량과 지연이 커진다. 단말에서 특징을 뽑아 서버로 보내면 해결되지만, SIFT 같은 지역 특징을 그대로 보내면 사진보다 커질 수도 있고 회사마다 특징 형식이 달라 서로 맞물리지 않는다. MPEG 는 이 문제를 풀려고 2010년 1월 작업을 시작해 2014년 10월 최종안(FDIS)을 내고 2015년에 ISO/IEC 15938-13 으로 발행했다.[1]
CDVS 는 영상 압축 표준이 아니라 영상의 내용을 기술(記述)하는 MPEG-7 계열이다. 표준이 정하는 것은 기술자의 비트스트림 문법·의미와 추출 과정이며, 이것을 지키면 서로 다른 단말과 서버가 같은 기술자를 주고받을 수 있다(상호운용성).
| 구성 | 내용 | 쓰임 |
|---|---|---|
| 지역 기술자(local descriptor) | 영상에서 찾은 특징점 주변의 모양을 나타내는 특징을 압축한 것 | 두 영상이 실제로 같은 물체인지 정밀하게 맞춰 본다(기하 검증) |
| 특징점 좌표 | 지역 기술자가 영상의 어디에서 나왔는지 압축해 담은 것 | 특징점 배치가 일관되는지 확인 |
| 전역 기술자(global descriptor) | 지역 기술자들을 모아(aggregation) 영상 하나를 짧은 벡터로 요약한 것 | 대규모 데이터베이스에서 후보를 빠르게 추린다 |
- 모든 특징을 담지 않고 검색에 쓸모 있는 특징점만 골라 담는다.
- 크기는 영상당 512바이트(대역이 매우 좁은 경우)부터 16KB(최고 성능 모드)까지 여러 단계이며, 서로 다른 크기의 기술자끼리도 비교할 수 있다.[1]
- 기술자만으로 완결되며, 필요하면 GPS 좌표 같은 메타데이터와 함께 쓴다.
- 단말이 사진에서 특징점을 찾고 지역 특징을 뽑는다.
- 쓸모 있는 특징을 고르고, 지역 기술자·좌표·전역 기술자를 정해진 크기로 압축해 하나의 기술자로 만든다.
- 사진 대신 기술자를 서버로 보낸다.
- 서버는 전역 기술자로 후보를 빠르게 추리고, 지역 기술자와 좌표로 정밀하게 맞춰 결과를 돌려준다.
MPEG 가 밝힌 성능은 오경보율 1% 기준으로 16KB 에서 쌍 대조 검출률 95~99%, 512바이트에서 75~89% 이며, 기술자 추출은 약 0.2초, 100만 장 데이터베이스 검색은 약 2.5초였다.[1]
- 가림(부분 폐색), 시점, 카메라 설정, 조명이 달라져도 같은 물체를 찾도록 설계했다.
- 저전력·저메모리 하드웨어에서도 구현할 수 있게 복잡도를 낮췄다.
- 특정 분야용이 아니라 상품, 건물, 그림, 문서 등 어떤 영상에도 쓰는 범용 기술자다.
- 영상을 보내지 않으므로 전송량이 줄고, 사진 원본이 서버로 가지 않는다.
- 모바일 시각 검색 — 상품, 랜드마크, 미술관 작품
- 증강 현실, 실내 내비게이션
- 방송·IPTV 화면 속 로고·상품 인식
- 로봇, 자동차, 감시, 콘텐츠 관리
CDVA(Compact Descriptors for Video Analysis, ISO/IEC 15938-15)는 CDVS 를 동영상으로 넓힌 후속 표준이다. 장면이 이어지는 프레임 사이의 중복을 줄이고, CDVS 식의 전역·지역 기술자에 딥러닝(CNN) 특징을 더했다.
| 구분 | CDVS | CDVA |
|---|---|---|
| 대상 | 정지 영상 | 동영상 |
| MPEG-7 부 | Part 13 | Part 15 |
| 특징 | 압축한 지역·전역 기술자 | CDVS 계열 기술자 + CNN 특징, 시간 중복 제거 |