알리바바 큐원
더 많은 작업
- Qwen; 큐원
- 알리바바 클라우드가 2023년부터 개발해 온 대형 언어 모델 계열. 중국어 이름은 통의천문(通义千问)
큐원(Qwen, 중국어: 通义千问 퉁이첸원, 한국 한자음: 통의천문)은 중국 알리바바 그룹의 클라우드 자회사 알리바바 클라우드가 개발하는 대형 언어 모델 계열이다. 2023년 4월 통의천문이라는 이름의 대화형 AI로 처음 공개됐고,[1] 같은 해 8월부터 가중치를 내려받을 수 있는 모델을 차례로 공개했다. 영문 이름 Qwen은 Qianwen을 줄인 것으로, 한국 언론에서는 큐원, 큐웬 등으로 적는다.
큐원의 특징은 공개하는 모델의 수와 폭이다. 0.5B급 소형 모델부터 수천억~조 단위 매개변수의 전문가 혼합(MoE) 모델까지 크기를 잘게 나눠 내고, 코드·수학·시각·음성·이미지 생성 같은 특화 모델도 함께 공개한다. 상당수를 Apache 2.0으로 배포해 다른 회사와 개인이 미세 조정한 파생 모델이 가장 많은 오픈 웨이트 모델 계열이 되었다. 큐원 팀은 2026년 1월 기준 공개 모델이 400개 가까이, 파생 모델이 18만 개를 넘었다고 밝혔다.[2] 가장 큰 모델은 가중치를 공개하지 않고 Qwen-Max, Qwen-Plus 같은 이름으로 클라우드 API와 Qwen Chat 서비스에서 제공하는 이원 전략을 써 왔다.
| 공개 | 세대 | 공개 모델(매개변수) | 주요 변화 | 라이선스 |
|---|---|---|---|---|
| 2023-08~12 | Qwen | 1.8B, 7B, 14B, 72B | 기술 보고서 공개(2023-09). 대화 모델은 RLHF로 정렬, 코드·수학 특화 모델 동반[3] | 통의천문 라이선스 |
| 2024-02-04 | Qwen1.5 | 0.5B~110B, MoE 1종 | 전 크기 컨텍스트 32K 토큰, 허깅 페이스 트랜스포머스에 통합[4] | 통의천문 라이선스 |
| 2024-06-07 | Qwen2 | 0.5B, 1.5B, 7B, 57B-A14B, 72B | 영어·중국어 외 27개 언어 학습 데이터 추가, 모든 크기에 그룹 쿼리 어텐션(GQA), 7B·72B 지시 모델 128K 컨텍스트[5] | 72B만 통의천문, 나머지 Apache 2.0 |
| 2024-09-19 | Qwen2.5 | 0.5B~72B 7종 | 최대 18조 토큰으로 사전 학습. Qwen2.5-Coder(코드 5.5조 토큰), Qwen2.5-Math 동시 공개[6] | 3B·72B 외 Apache 2.0 |
| 2025-01-28 | Qwen2.5-Max | 비공개(API) | 20조 토큰 넘게 학습한 대형 MoE 모델[7] | 해당 없음 |
| 2025-04-29 | Qwen3 | 0.6B~32B 밀집 6종, 30B-A3B, 235B-A22B | 약 36조 토큰, 119개 언어·방언. 한 모델에서 사고 모드와 비사고 모드 전환[8] | 전부 Apache 2.0 |
| 2025-09 | Qwen3-Next | 80B-A3B | 게이트 델타넷과 게이트 어텐션을 섞은 혼합 어텐션 구조 시험[9] | Apache 2.0 |
| 2026-02-16 | Qwen3.5 | 397B-A17B, 이어서 122B-A10B, 35B-A3B, 27B, 9B~0.8B | 처음부터 시각·언어를 함께 학습한 통합 모델, 혼합 어텐션과 희소 MoE, 201개 언어·방언. 호스팅판 Qwen3.5-Plus는 100만 토큰 컨텍스트[10] | Apache 2.0 |
| 2026-04 | Qwen3.6 | 35B-A3B, 27B | 에이전트 코딩 강화, 이전 대화의 추론 내용 유지 옵션[11] | Apache 2.0 |
| 2026-08 | Qwen3.8 | 27B, 2.4T-A95B, Flash-Next(125B-A6B) | Max급 모델의 첫 가중치 공개(전체 2조 4천억, 활성 950억). Flash-Next는 차세대 Qwen4 구조의 실험판[12][13] | 27B는 Apache 2.0, 나머지는 자체 라이선스 |
알리바바 클라우드는 2023년 4월 11일 베이징 클라우드 서밋에서 통의천문을 발표하고, 협업 도구 딩톡(DingTalk)과 스마트 스피커 티몰 지니부터 넣겠다고 밝혔다.[1] 첫 기술 보고서는 기본 모델 Qwen, RLHF로 정렬한 대화 모델 Qwen-Chat, 코드 특화 Code-Qwen, 수학 특화 Math-Qwen을 소개했다.[3] 모델 구조는 라마와 비슷한 디코더 전용 트랜스포머다. Qwen1.5는 0.5B부터 110B까지 크기를 늘리고 모든 모델의 컨텍스트를 32K 토큰으로 맞췄으며, 코드를 허깅 페이스 트랜스포머스 라이브러리에 넣어 별도 코드 없이 불러올 수 있게 했다.[4]
Qwen2는 모든 크기에 그룹 쿼리 어텐션(GQA)을 적용해 추론 속도와 KV 캐시 메모리를 개선했고, 첫 MoE 공개 모델 57B-A14B(전체 570억, 활성 140억)를 포함했다. 다국어 데이터도 크게 늘려 영어·중국어 외에 한국어를 포함한 27개 언어를 명시적으로 학습했다.[5] Qwen2.5는 사전 학습 데이터를 18조 토큰으로 늘리고 14B·32B 크기를 다시 넣었으며, 큐원 팀은 이 발표를 "역사상 가장 큰 오픈소스 공개일 것"이라고 소개했다. 대부분을 Apache 2.0으로 바꾼 것도 이때다.[6] 같은 시기 비전-언어 모델 Qwen2-VL, 음성 이해 모델 Qwen2-Audio가 나왔고, 2025년 1월에는 Qwen2.5-VL과 100만 토큰 컨텍스트의 Qwen2.5-1M이 이어졌다.[14]
2025년 4월 29일 공개된 Qwen3는 MoE 2종(235B-A22B, 30B-A3B)과 밀집 6종(32B~0.6B)을 모두 Apache 2.0으로 냈다. 사전 학습은 약 36조 토큰, 3단계로 진행됐다. 먼저 4K 컨텍스트로 30조 토큰 넘게 기본 언어 능력을 익히고, STEM·코드·추론 데이터 비중을 높여 5조 토큰을 더 학습한 뒤, 고품질 장문 데이터로 컨텍스트를 늘렸다. PDF 문서에서 텍스트를 뽑는 데 Qwen2.5-VL을 쓰는 등 이전 세대 모델로 학습 데이터를 만들었다.[8] 큐원 팀은 Qwen3 밀집 기본 모델이 한 단계 큰 Qwen2.5 기본 모델과 비슷한 성능을 낸다고 밝혔다(예: Qwen3-32B-Base가 Qwen2.5-72B-Base와 비슷).[8]
2025년 7월에는 사고·비사고 모드를 다시 별도 모델로 나눈 2507 개정판과 코딩 에이전트용 Qwen3-Coder-480B-A35B를, 9월에는 Qwen3-Next, 전 감각 모델 Qwen3-Omni, Qwen3-VL을 공개했다.[9]
Qwen3.5(2026년 2월)는 Qwen3-Next에서 시험한 게이트 델타넷(선형 어텐션의 일종)과 일반 어텐션을 섞은 혼합 구조를 희소 MoE와 결합하고, 시각과 언어를 처음부터 함께 학습해 별도의 VL 모델 없이 이미지를 이해한다. 지원 언어는 201개로 늘었다.[10] 공개 모델의 기본 컨텍스트는 26만 2,144 토큰이고 약 100만 토큰까지 늘릴 수 있다. Qwen3.6(2026년 4월)은 35B-A3B와 27B를 먼저 공개하며 에이전트 코딩과 사용 안정성에 집중했다고 밝혔다.[11]
Qwen3.8(2026년 8월)은 큐원 계열 최초로 Max급 모델의 가중치를 공개했다. Qwen3.8-2.4T-A95B는 전체 2조 4천억, 토큰당 활성 950억 매개변수이며, 이를 바탕으로 기능을 더한 호스팅판이 Qwen3.8-Max다.[12] 같은 달 공개한 Qwen3.8-Flash-Next는 전체 1,250억(활성 60억) 매개변수에 별도의 N-gram 임베딩을 단 모델로, 게이트 델타넷과 블록 단위 희소 어텐션(QSA)을 결합한 다음 세대 Qwen4 구조의 실험판이라고 소개됐다.[13] 소형 밀집 모델 Qwen3.8-27B는 Apache 2.0으로 나왔다.[16] Qwen3.5 모델 카드가 공식 API를 알리바바 클라우드 모델 스튜디오로 안내한 것과 달리, Qwen3.8 모델 카드는 Qwen Cloud를 공식 API 서비스로 안내한다.[10][12]
| 계열 | 용도 | 대표 모델 |
|---|---|---|
| Coder | 코드 생성, 코딩 에이전트 | CodeQwen1.5, Qwen2.5-Coder, Qwen3-Coder, Qwen3-Coder-Next |
| Math | 수학 풀이 | Qwen2-Math, Qwen2.5-Math |
| VL | 이미지·영상 이해(비전-언어 모델) | Qwen-VL, Qwen2-VL, Qwen2.5-VL, Qwen3-VL. Qwen3.5부터는 기본 모델에 통합 |
| Audio, Omni | 음성 이해, 텍스트·이미지·음성·영상을 받아 텍스트와 음성으로 답 | Qwen2-Audio, Qwen2.5-Omni, Qwen3-Omni |
| Image | 이미지 생성·편집 | Qwen-Image(약 200억 매개변수, 2025-08), Qwen-Image-Edit |
| Embedding, Guard | 임베딩과 재순위, 입출력 안전 분류 | Qwen3 Embedding, Qwen3Guard |
이미지 생성 모델 Qwen-Image는 이미지 안의 글자, 특히 중국어를 정확히 그리는 능력을 앞세웠고, Qwen-Image-Edit는 이를 이미지 편집으로 넓힌 모델이다.[14]
큐원의 라이선스는 세대와 크기에 따라 다르다.
- 통의천문 라이선스(Qwen1, Qwen1.5, Qwen2-72B): 상업적 이용을 허용하되, 월간 활성 사용자가 1억 명을 넘는 제품·서비스에 쓰려면 알리바바의 별도 허락을 받아야 한다.[17] Qwen2.5-72B의 Qwen 라이선스도 같은 조건이고, Qwen2.5-3B는 연구·평가 목적으로만 쓸 수 있는 비상업 라이선스다.
- Apache 2.0: Qwen2의 대부분, Qwen2.5의 대부분, Qwen3·Qwen3.5·Qwen3.6 전 모델, Qwen3.8-27B. 사용자 수나 용도 제한이 없다.
- Qwen3.8 자체 라이선스: 2.4T-A95B는 월간 활성 사용자 1억 명 또는 월 매출 2천만 달러를 넘는 상업 서비스에 쓰면 모델 이름을 화면에 드러내야 하고, 연 매출 5천만 달러가 넘는 기업이 모델 서비스(MaaS)나 AI 업무 비서 사업에 쓰려면 별도 라이선스를 받아야 한다. Flash-Next의 커뮤니티 라이선스는 MaaS·AI 업무 비서 사업이면 매출과 관계없이 별도 라이선스가 필요하다.[18]
어느 경우든 공개되는 것은 가중치와 추론 코드이고 학습 데이터는 공개되지 않으므로, 엄밀한 오픈 소스라기보다 오픈 웨이트 모델에 해당한다. 라이선스 일반은 공개 소프트웨어 라이선스 문서 참고.
여러 크기의 모델을 대부분 Apache 2.0으로 푼 결과, 큐원은 허깅 페이스에서 파생 모델이 많은 기반 모델이 되었다. 신화통신이 전한 큐원 팀 발표에 따르면 2026년 1월 기준 허깅 페이스 누적 다운로드가 7억 회를 넘었고, 허깅 페이스 자료에서 2025년 10월 누적 다운로드가 메타 라마를 앞질렀다. 같은 발표에서 공개 모델은 400개 가까이, 파생 모델은 18만 개 이상이라고 밝혔다.[2]
다른 회사의 모델 개발에도 바탕이 됐다. 딥시크는 추론 모델 R1의 출력으로 Qwen2.5 1.5B·7B·14B·32B를 증류한 모델을 함께 공개했다.[19] 공개 가중치는 GGUF 포맷 같은 양자화 형식으로 변환되어 Ollama 같은 로컬 실행 도구에서도 돌릴 수 있다.
중국에서 서비스되는 Qwen Chat 등은 중국의 생성형 AI 규제를 받는다. 정치적으로 민감한 주제에 답을 거부하는 사례가 알려져 있고, 공개 가중치를 자체 서버에서 실행해도 학습 단계에서 들어간 응답 경향은 남을 수 있다. 관련 내용은 검열 문서 참고.
- ↑ 1.0 1.1 China Daily HK, Alibaba unveils its ChatGPT-like large language model Tongyi Qianwen, 2023-04-12.
- ↑ 2.0 2.1 eHangzhou(신화통신 전재), "Alibaba's Qwen leads global open-source AI community with 700 million downloads", 2026-01-13.
- ↑ 3.0 3.1 Jinze Bai 외, 〈Qwen Technical Report〉, 2023. arXiv:2309.16609
- ↑ 4.0 4.1 Qwen Team, "Introducing Qwen1.5", 2024-02-04.
- ↑ 5.0 5.1 Qwen Team, "Hello Qwen2", 2024-06-07.
- ↑ 6.0 6.1 Qwen Team, "Qwen2.5: A Party of Foundation Models!", 2024-09-19.
- ↑ Qwen Team, "Qwen2.5-Max: Exploring the Intelligence of Large-scale MoE Model", 2025-01-28.
- ↑ 8.0 8.1 8.2 Qwen Team, "Qwen3: Think Deeper, Act Faster", 2025-04-29.
- ↑ 9.0 9.1 Qwen, Hugging Face 조직 페이지, 각 모델 저장소 생성일, 2026-10-15 확인.
- ↑ 10.0 10.1 10.2 Qwen/Qwen3.5-397B-A17B, Hugging Face 모델 카드, 2026-10-15 확인.
- ↑ 11.0 11.1 Qwen/Qwen3.6-27B, Hugging Face 모델 카드, 2026-10-15 확인.
- ↑ 12.0 12.1 12.2 Qwen/Qwen3.8-2.4T-A95B, Hugging Face 모델 카드, 2026-10-15 확인.
- ↑ 13.0 13.1 Qwen/Qwen3.8-Flash-Next, Hugging Face 모델 카드, 2026-10-15 확인.
- ↑ 14.0 14.1 14.2 Qwen Team 블로그(구 주소) 글 목록, 2026-10-15 확인.
- ↑ Qwen Team, "QwQ-32B: Embracing the Power of Reinforcement Learning", 2025-03-06.
- ↑ Qwen/Qwen3.8-27B, Hugging Face 모델 카드, 2026-10-15 확인.
- ↑ Qwen/Qwen-7B, LICENSE(Tongyi Qianwen License Agreement), 2026-10-15 확인.
- ↑ Qwen/Qwen3.8-2.4T-A95B, LICENSE, Qwen/Qwen3.8-Flash-Next, LICENSE, 2026-10-15 확인.
- ↑ DeepSeek-AI, 〈DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning〉, 2025. arXiv:2501.12948