기계 번역

Machine Translation, MT; 기계 번역
한 언어로 된 글이나 말을 컴퓨터가 자동으로 다른 언어로 옮기는 기술

기계 번역(Machine Translation, MT)은 컴퓨터가 원문 언어(출발어)의 텍스트나 음성을 목표 언어(도착어)로 자동 번역하는 기술이다. 컴퓨터가 발명된 직후부터 연구된 자연어 처리의 가장 오래된 과제이며, 규칙 기반에서 예제 기반, 통계적 방법, 신경망, 대형 언어 모델로 방법론이 바뀔 때마다 자연어 처리 전체의 흐름을 이끌었다. 사람이 번역의 주체이고 컴퓨터가 번역 메모리·용어집·기계 번역 초안 등으로 돕는 컴퓨터 보조 번역(Computer-Assisted Translation, CAT)과는 구분한다.

웹 페이지와 문서 번역, 여행용 통역 앱, 메신저와 SNS의 자동 번역, 해외 쇼핑, 게임·영상 현지화, 번역가의 초벌 번역 등에 쓰인다. 2016년 신경망 기계 번역이 상용 서비스에 들어오면서 품질이 크게 좋아졌지만, 문맥이 부족하거나 언어 구조가 크게 다르면 여전히 오역이 생긴다. 번역 프로그램 일반은 언어 번역 프로그램 문서도 참고.

왜 어려운가

중의성: "Time flies like an arrow"는 '시간은 화살처럼 날아간다'가 맞지만 'Time flies'를 '시간파리'로 읽으면 '시간파리는 화살을 좋아한다'가 된다. 한국어 "인도로 가다"의 '인도'도 사람이 다니는 길(人道)인지 나라(印度)인지 문맥 없이는 정할 수 없다.
언어 구조 차이: 한국어는 주어-목적어-동사 어순이고 조사로 문법 관계를 나타내지만, 영어는 주어-동사-목적어 어순이다. 한국어는 주어·목적어 생략이 잦아 번역할 때 생략된 성분을 추측해 채워야 한다.
원문에 없는 정보: 한국어 "대통령은 자기 집무실로 갔다"를 영어로 옮기려면 대명사의 성별(his/her)을 정해야 하는데 원문에는 그 정보가 없다. 이런 경우 번역기는 학습 데이터에 흔한 쪽을 고르기 쉬워 성별 편향 문제로 이어진다.
관용구와 문화: 속담, 고사성어, 비유는 글자 그대로 옮기면 뜻이 통하지 않는다.
고유명사와 전문 용어: 사람 이름의 로마자 표기, 일반 명사에서 온 회사 이름, 드문 전문 용어는 잘못 번역되기 쉽다.
높임법과 문체: 한국어·일본어로 옮길 때는 존댓말과 반말, 문체를 상황에 맞게 골라야 한다.
데이터 불균형: 번역 성능은 학습 데이터의 양에 크게 좌우되어, 병렬 데이터가 많은 영어-프랑스어 같은 언어쌍은 품질이 높고 저자원 언어는 낮다.

방법론

방식	시기	원리	장점	한계
규칙 기반(RBMT)	1950~1980년대 주류	언어학자가 만든 대역 사전과 문법 규칙으로 원문을 분석하고 목표 언어로 변환·생성	결과를 설명할 수 있고 용어를 통제하기 쉬움	규칙 작성 비용이 막대하고, 언어쌍마다 새로 만들어야 하며, 예외와 신조어에 약함
예제 기반(EBMT)	1980~1990년대	기존 번역 예문 데이터베이스에서 입력과 비슷한 예문을 찾아 차이 나는 부분만 바꿔 번역(유추 원리)	예문만 추가하면 개선됨	비슷한 예문이 없으면 품질이 급락
통계적(SMT)	1990년대~2016년 무렵	대량의 병렬 말뭉치에서 단어·구 번역 확률과 어순 확률을 학습해 가장 확률 높은 번역을 탐색	데이터만 있으면 어떤 언어쌍에도 적용	어순이 크게 다른 언어쌍에 약하고, 학습 분야를 벗어나면 성능 저하
신경망(NMT)	2014년 연구, 2016년 상용화	인코더-디코더 신경망이 문장 전체를 보고 번역문을 생성	문장이 매끄럽고 문맥 반영이 좋음	대량 데이터·GPU 필요, 원문 일부를 빠뜨리거나 없는 말을 덧붙이는 오류
대형 언어 모델 기반	2020년대	범용 LLM에 번역 지시를 주거나 번역 데이터로 추가 학습	문서 단위 문맥, 문체 지정, 용어 지시, 설명까지 가능	비용과 속도, 할루시네이션, 지시를 놓치는 문제

규칙 기반 기계 번역

규칙 기반 방식은 원문을 얼마나 깊이 분석하느냐에 따라 세 가지로 나뉜다. 이 관계를 삼각형으로 그린 그림을 '보쿠아 삼각형'(Vauquois triangle)이라고 부른다.

방식	설명
직접 번역	단어를 사전으로 바꾸고 간단한 어순 규칙만 적용. 초기 시스템이 이 방식
변환(transfer) 방식	원문을 구문 구조로 분석하고, 목표 언어 구조로 변환한 뒤 생성. 상용 규칙 기반 번역기의 주류
중간 언어(interlingua) 방식	원문을 언어와 무관한 의미 표현으로 바꾼 뒤 그 표현에서 목표 언어를 생성. 언어쌍마다 변환 규칙을 만들 필요가 없지만 범용 의미 표현을 만들기가 매우 어려움

한국어용 규칙 기반 번역기는 형태소 분석, 품사 태깅, 구문 분석, 중의성 해소, 개체명 인식 같은 전처리를 거친 뒤 대역 사전과 술부 변환·어순 조정 규칙을 적용하는 구조였다. 한국어와 일본어처럼 어순이 같고 한자어를 공유하는 언어쌍은 규칙 기반으로도 비교적 좋은 결과를 냈다.

예제 기반 기계 번역

나가오 마코토가 1980년대 초 제안한 유추에 의한 번역 원리에서 출발했다. 사람은 외국어를 배울 때 문법을 분석하기보다 비슷한 예문을 떠올려 조금 바꿔 쓴다는 착안이다. 입력 문장과 유사도가 가장 높은 예문을 정보 검색 기법으로 찾고, 문장 전체가 맞지 않으면 절이나 구 단위로 나누어 적용한다. 이후 통계적 방법에 흡수되었고, 번역 메모리 같은 CAT 도구에 그 발상이 남아 있다.

통계적 기계 번역

통계적 기계 번역은 원문 $f$ 가 주어졌을 때 확률이 가장 높은 번역문 $e$ 를 찾는다. 베이즈 정리로 다음처럼 나누는 '잡음 채널 모델'이 출발점이다.

$\hat{e} = \arg \max_{e} P (e ∣ f) = \arg \max_{e} P (f ∣ e) P (e)$

$P (f ∣ e)$ 는 병렬 말뭉치에서 배우는 번역 모델, $P (e)$ 는 목표 언어 단일 말뭉치에서 배우는 N-Gram 언어 모델이다. 1990년대 초 IBM 연구진은 단어 정렬을 숨은 변수로 두고 EM 알고리즘으로 단어 번역 확률을 학습하는 'IBM 모델 1~5'를 발표했다^[1].

2003년에는 단어 대신 연속한 단어 묶음(구) 단위로 번역 확률을 학습하는 구 기반 통계 번역이 제안되어 이후 10여 년간 표준이 되었다^[2]. 구 번역 확률, 언어 모델, 어순 재배열, 길이 벌점 같은 여러 점수를 로그 선형 모델로 결합하고 가중치를 튜닝하는 방식이다. 2007년 공개된 오픈 소스 도구 Moses는 통계 번역 연구의 사실상 표준 도구가 되었다^[3]. 구 대신 구문 트리를 쓰는 계층적 구 기반·구문 기반 번역도 연구되었다.

통계적 방법은 번역 데이터만 있으면 어떤 언어쌍에도 적용할 수 있다는 장점이 컸지만, 쓸 만한 품질을 내려면 수백만 문장 쌍 이상의 병렬 말뭉치가 필요했고, 학습한 분야(뉴스, 특허, 일상 대화 등)를 벗어나면 성능이 크게 떨어졌다. 한국어-영어처럼 어순이 크게 다른 언어쌍에서는 장거리 어순 재배열을 잘 처리하지 못했다.

신경망 기계 번역

2014년 RNN·LSTM 인코더가 원문을 벡터로 요약하고 디코더가 그 벡터에서 번역문을 생성하는 시퀀스-투-시퀀스 모델이 제안되었다^[4]. 고정 길이 벡터 하나에 긴 문장을 모두 담기 어렵다는 문제는, 디코더가 단어를 만들 때마다 원문의 관련 위치를 골라 보는 어텐션으로 해결되었다^[5].

2016년 9월 구글은 신경망 번역 시스템 GNMT를 발표하고, 같은 달 27일 구글 번역의 중국어→영어 번역을 전부 GNMT로 바꿨다^[6]. GNMT 논문은 사람 평가에서 기존 구 기반 시스템보다 번역 오류를 평균 60% 줄였다고 보고했고, 드문 단어를 처리하려고 단어를 하위 단어(wordpiece)로 쪼개는 방식을 썼다^[7]. 2016년 11월 15일에는 한국어를 포함한 8개 언어와 영어 사이 번역으로 신경망 번역을 넓혔다^[8]. 네이버 파파고는 2016년 10월 한국어-영어 번역에 신경망 번역을 적용했고, 그해 12월 한국어-중국어로 넓혔다^[9].

2017년 트랜스포머는 순환 구조 없이 어텐션만으로 번역 모델을 만들어 학습 속도와 품질을 함께 끌어올렸고, 처음부터 영어-독일어·영어-프랑스어 번역 과제로 발표되었다^[10]. 이후 신경망 번역은 대부분 트랜스포머 기반이 되었다. 여러 언어쌍을 한 모델로 학습하는 다국어 번역도 발전해, 메타의 NLLB(No Language Left Behind)는 2022년 200개 언어를 다루는 모델을 공개하며 기존 최고 성능보다 BLEU를 평균 44% 높였다고 보고했다^[11].

신경망 번역의 품질을 높이는 대표 기법은 다음과 같다.

하위 단어 단위: BPE, SentencePiece 등으로 단어를 쪼개 미등록어 문제를 줄인다. 자세한 내용은 토큰화 (자연어 처리) 참고.
역번역(back-translation): 목표 언어 단일 말뭉치를 역방향 모델로 번역해 가짜 병렬 데이터를 만든다.
빔 탐색(beam search) 디코딩과 길이 정규화. 자세한 내용은 언어 모델 디코딩 참고.
도메인 적응과 용어 사전 강제 반영.

대형 언어 모델 기반 번역

번역 전용으로 학습하지 않은 대형 언어 모델도 대량의 다국어 텍스트로 사전학습되어 높은 번역 능력을 보인다. LLM 번역은 문장 단위가 아니라 문서 전체 문맥을 보고, 문체·말투·용어를 지시문으로 지정하고, 번역 이유를 설명하거나 고쳐 달라는 요청에도 응할 수 있다는 점이 기존 번역기와 다르다. 반면 원문에 없는 내용을 덧붙이거나 일부를 빼먹는 오류, 긴 글에서 앞의 지시를 잊는 문제, 높은 계산 비용이 한계로 꼽힌다.

2024년 WMT 일반 번역 과제의 결과 보고서는 제목부터 "LLM 시대가 왔지만 기계 번역은 아직 풀리지 않았다"고 정리했다. 이 과제는 참가 시스템과 함께 대형 언어 모델 8종의 번역을 수집해 전문 평가자가 오류 구간 표시(ESA) 방식으로 평가했다^[12].

평가

번역 품질은 사람이 직접 평가하는 것이 가장 정확하지만 비용과 시간이 많이 들고 평가자마다 기준이 달라, 여러 평가자 사이의 일치도(카파 계수 등)를 함께 보고한다. 개발 과정에서는 사람 번역(참조 번역)과 비교하는 자동 지표를 쓴다.

지표	연도	방식
사람 평가	-	적절성(adequacy, 뜻이 맞는가)과 유창성(fluency, 자연스러운가)을 척도로 채점, 두 번역 중 나은 쪽 고르기, 오류 유형과 심각도를 표시하는 MQM 등
BLEU	2002	참조 번역과 겹치는 1~4-gram 정밀도의 기하 평균에 짧은 번역 벌점(brevity penalty)을 곱함^[13]. 가장 널리 인용되는 자동 지표
NIST	2002	BLEU를 변형해 드물게 나오는 n-gram에 더 높은 가중치
METEOR	2005	정밀도와 재현율을 함께 보고 어간·동의어 일치까지 인정^[14]
TER	2006	기계 번역을 참조 번역으로 고치는 데 필요한 편집 횟수 비율. 낮을수록 좋음
chrF	2015	단어 대신 문자 n-gram의 F 점수. 형태 변화가 많은 언어에 유리^[15]
COMET	2020	원문, 기계 번역, 참조 번역을 사전학습 다국어 모델에 넣어 사람 평가 점수를 예측하도록 학습한 신경망 지표^[16]

BLEU 같은 표면 일치 지표는 뜻이 같지만 표현이 다른 번역을 낮게 평가하고, 점수 차이가 작을 때는 사람 평가와 어긋나는 경우가 많다. 그래서 최근 연구와 경진대회는 COMET 같은 신경망 지표와 사람 평가를 함께 쓴다.

경진대회

대회	특징
WMT (Conference on Machine Translation)	2006년 통계 번역 워크숍으로 시작한 대표 학술 행사. 매년 일반 번역, 평가 지표, 품질 추정 등 공동 과제를 연다
NIST OpenMT	미국 국립표준기술연구소(NIST)가 주관한 평가. 아랍어·중국어 등과 영어 사이 번역 위주
IWSLT	음성 번역(음성 인식 + 번역)과 강연 번역에 초점
WAT (Workshop on Asian Translation)	일본어·중국어·한국어 등 아시아 언어 번역 위주

주요 서비스

서비스	운영	특징
구글 번역	구글	2006년 4월 아랍어-영어 통계 번역을 온라인으로 공개했다^[17]. 2016년 신경망 번역으로 전환. 크롬 브라우저의 페이지 번역, 카메라 번역(구글 렌즈)과 연동
파파고	네이버	한국어 중심 번역 서비스. 2016년 신경망 번역 적용. 웨일 브라우저 번역과 이미지 번역에 쓰임
딥엘(DeepL)	딥엘(독일)	신경망 번역 서비스. 2023년 1월 31일 한국어와 노르웨이어(보크몰)를 추가해 31개 언어를 지원하게 되었다^[18]
마이크로소프트 번역기(Bing 번역)	마이크로소프트	엣지 브라우저 번역과 API로 많은 앱·웹사이트에 번역 기능 제공
시스트란	시스트란	규칙 기반 시대부터 이어진 번역 기업. 2016년 12월 하버드 NLP 그룹과 함께 오픈 소스 신경망 번역 도구 OpenNMT를 시작했다^[19]
카카오 i 번역, 애플 번역, 얀덱스 번역 등	각 기업	자체 신경망 번역 엔진 운영
범용 대형 언어 모델	OpenAI, 구글 딥마인드, 앤트로픽 등	ChatGPT, 구글 제미나이 같은 대화형 AI를 번역기로 사용

1990년대 후반 검색 포털 알타비스타의 바벨피시(Babel Fish)는 웹에서 무료로 쓸 수 있는 초기 번역 서비스로 이름을 알렸고, 일본어-한국어 번역에서는 규칙 기반 번역 엔진을 쓰는 PC용 번역기가 게임·문서 번역에 오래 쓰였다.

쓸 때 주의할 점

기계 번역 결과를 그대로 공식 문서나 계약서에 쓰면 위험하다. 특히 일반 번역기에서는 다음 요령이 품질을 높인다.

맞춤법과 띄어쓰기를 지킨다. 철자 하나가 틀려도 문장 전체가 엉뚱하게 번역될 수 있다.
생략된 주어와 목적어를 채우고, 긴 문장은 짧게 나눈다.
비유, 속담, 고사성어, 줄임말은 풀어 쓴다.
고유명사는 원하는 표기를 직접 써 넣는다.
결과를 다시 원래 언어로 되돌려 번역(역번역)해 뜻이 유지되는지 확인한다.
대형 언어 모델을 쓸 때는 글의 성격, 독자, 말투, 용어 대응표를 함께 주면 품질이 올라가지만, 빠진 문장이나 덧붙은 내용이 없는지 대조해야 한다.

역사

연도	사건
1949	워런 위버가 기계 번역의 가능성을 논한 메모를 회람^[20]
1954	1월 7일 조지타운-IBM 실험. IBM 701 컴퓨터가 어휘 250개, 문법 규칙 6개로 러시아어 문장 60여 개를 영어로 번역하는 공개 시연을 해 큰 기대를 모음^[20]
1966	미국 자동 언어 처리 자문 위원회(ALPAC)가 기계 번역이 사람 번역보다 느리고 부정확하며 비싸다고 평가하고 기초 연구에 투자하라고 권고한 보고서를 냄. 이후 미국의 기계 번역 연구비가 크게 줄었다^[21]
1970년대	규칙 기반 상용 시스템(시스트란 등)이 정부·국제기구에서 쓰이기 시작. 캐나다의 일기예보 번역 시스템 METEO처럼 좁은 분야에서 성공한 사례가 나옴
1980년대	일본을 중심으로 규칙 기반 연구가 활발해지고 예제 기반 번역이 제안됨
1990년대 초	IBM 통계 번역 모델 발표
1990년대 후반	알타비스타 바벨피시 등 무료 웹 번역 서비스 등장
2003	구 기반 통계 번역 제안
2006	구글 번역 공개, WMT 공동 과제 시작
2007	오픈 소스 Moses 공개
2014	seq2seq, 어텐션 기반 신경망 번역 제안
2016	구글 GNMT, 네이버 파파고 등 신경망 번역 상용화
2017	트랜스포머 발표
2022	메타 NLLB, 200개 언어 번역 모델 공개
2020년대	대형 언어 모델 기반 번역 확산

ALPAC 보고서 이후의 침체는 AI 겨울 문서에서 더 다룬다.

같이 보기

각주

↑ Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, Robert L. Mercer, 〈The Mathematics of Statistical Machine Translation: Parameter Estimation〉, Computational Linguistics 19(2), 1993. ACL Anthology J93-2003
↑ Philipp Koehn, Franz J. Och, Daniel Marcu, 〈Statistical Phrase-Based Translation〉, HLT-NAACL 2003. ACL Anthology N03-1017
↑ Philipp Koehn 외, 〈Moses: Open Source Toolkit for Statistical Machine Translation〉, ACL 2007 Demo. ACL Anthology P07-2045
↑ Ilya Sutskever, Oriol Vinyals, Quoc V. Le, 〈Sequence to Sequence Learning with Neural Networks〉, NeurIPS 2014. arXiv:1409.3215
↑ Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio, 〈Neural Machine Translation by Jointly Learning to Align and Translate〉, 2014. arXiv:1409.0473
↑ Google Research Blog, A Neural Network for Machine Translation, at Production Scale, 2016-09-27
↑ Yonghui Wu 외, 〈Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation〉, 2016. arXiv:1609.08144
↑ Google 블로그, Found in translation: More accurate, fluent sentences in Google Translate, 2016-11-15
↑ 네이버 보도자료, 2016-12-15
↑ Ashish Vaswani 외, 〈Attention Is All You Need〉, NeurIPS 2017. arXiv:1706.03762
↑ NLLB Team, 〈No Language Left Behind: Scaling Human-Centered Machine Translation〉, 2022. arXiv:2207.04672
↑ Tom Kocmi 외, 〈Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet〉, WMT 2024. ACL Anthology 2024.wmt-1.1
↑ Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu, 〈BLEU: a Method for Automatic Evaluation of Machine Translation〉, ACL 2002. ACL Anthology P02-1040
↑ Satanjeev Banerjee, Alon Lavie, 〈METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments〉, 2005. ACL Anthology W05-0909
↑ Maja Popović, 〈chrF: character n-gram F-score for automatic MT evaluation〉, WMT 2015. ACL Anthology W15-3049
↑ Ricardo Rei, Craig Stewart, Ana C. Farinha, Alon Lavie, 〈COMET: A Neural Framework for MT Evaluation〉, EMNLP 2020. arXiv:2009.09025
↑ Google Research Blog, Statistical machine translation live, 2006-04-28
↑ DeepL 보도자료, DeepL 번역기, 한국어 및 노르웨이어(보크몰) 추가, 2023-01-31
↑ OpenNMT 공식 사이트
↑ ^20.0 ^20.1 John Hutchins, 〈The first public demonstration of machine translation: the Georgetown-IBM system, 7th January 1954〉, 2005. PDF
↑ National Research Council, Automatic Language Processing Advisory Committee, 《Language and Machines: Computers in Translation and Linguistics》, 1966. National Academies Press

참고 문헌

Philipp Koehn, 《Statistical Machine Translation》, Cambridge University Press, 2009.
Philipp Koehn, 《Neural Machine Translation》, Cambridge University Press, 2020.
ACL Anthology

[1] Peter F. Brown, Stephen A. Della Pietra, Vincent J. Della Pietra, Robert L. Mercer, 〈The Mathematics of Statistical Machine Translation: Parameter Estimation〉, Computational Linguistics 19(2), 1993. ACL Anthology J93-2003

[2] Philipp Koehn, Franz J. Och, Daniel Marcu, 〈Statistical Phrase-Based Translation〉, HLT-NAACL 2003. ACL Anthology N03-1017

[3] Philipp Koehn 외, 〈Moses: Open Source Toolkit for Statistical Machine Translation〉, ACL 2007 Demo. ACL Anthology P07-2045

[4] Ilya Sutskever, Oriol Vinyals, Quoc V. Le, 〈Sequence to Sequence Learning with Neural Networks〉, NeurIPS 2014. arXiv:1409.3215

[5] Dzmitry Bahdanau, Kyunghyun Cho, Yoshua Bengio, 〈Neural Machine Translation by Jointly Learning to Align and Translate〉, 2014. arXiv:1409.0473

[6] Google Research Blog, A Neural Network for Machine Translation, at Production Scale, 2016-09-27

[7] Yonghui Wu 외, 〈Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation〉, 2016. arXiv:1609.08144

[8] Google 블로그, Found in translation: More accurate, fluent sentences in Google Translate, 2016-11-15

[9] 네이버 보도자료, 2016-12-15

[10] Ashish Vaswani 외, 〈Attention Is All You Need〉, NeurIPS 2017. arXiv:1706.03762

[11] NLLB Team, 〈No Language Left Behind: Scaling Human-Centered Machine Translation〉, 2022. arXiv:2207.04672

[12] Tom Kocmi 외, 〈Findings of the WMT24 General Machine Translation Shared Task: The LLM Era Is Here but MT Is Not Solved Yet〉, WMT 2024. ACL Anthology 2024.wmt-1.1

[13] Kishore Papineni, Salim Roukos, Todd Ward, Wei-Jing Zhu, 〈BLEU: a Method for Automatic Evaluation of Machine Translation〉, ACL 2002. ACL Anthology P02-1040

[14] Satanjeev Banerjee, Alon Lavie, 〈METEOR: An Automatic Metric for MT Evaluation with Improved Correlation with Human Judgments〉, 2005. ACL Anthology W05-0909

[15] Maja Popović, 〈chrF: character n-gram F-score for automatic MT evaluation〉, WMT 2015. ACL Anthology W15-3049

[16] Ricardo Rei, Craig Stewart, Ana C. Farinha, Alon Lavie, 〈COMET: A Neural Framework for MT Evaluation〉, EMNLP 2020. arXiv:2009.09025

[17] Google Research Blog, Statistical machine translation live, 2006-04-28

[18] DeepL 보도자료, DeepL 번역기, 한국어 및 노르웨이어(보크몰) 추가, 2023-01-31

[19] OpenNMT 공식 사이트

[hutchinsGU-20] 20.0 ^20.1 John Hutchins, 〈The first public demonstration of machine translation: the Georgetown-IBM system, 7th January 1954〉, 2005. PDF

[21] National Research Council, Automatic Language Processing Advisory Committee, 《Language and Machines: Computers in Translation and Linguistics》, 1966. National Academies Press

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]