알고리즘 편향
더 많은 작업
- Algorithmic bias; 알고리즘 편향
- 알고리즘이나 기계 학습 모델이 특정 집단에 체계적으로 불리하거나 유리한 결과를 내는 현상
알고리즘 편향(algorithmic bias)은 자동화된 의사결정 시스템이 인종, 성별, 나이, 지역 같은 집단에 따라 체계적으로 다른 결과를 내어 불공정한 차별을 만드는 현상이다. 개발자가 차별할 의도가 없어도, 과거의 차별이 담긴 데이터, 잘못 고른 측정 대상, 소수 집단이 적은 표본, 원래 목적과 다른 사용 환경 때문에 생긴다.
채용, 대출 심사, 형사 사법, 의료처럼 결과가 사람의 권리에 직접 영향을 주는 분야에서 문제가 되었다. 2016년 미국 재범 예측 도구 COMPAS 보도 이후 공정성을 수학적으로 정의하는 연구가 쏟아졌고, 여러 공정성 기준을 동시에 만족할 수 없다는 불가능성 정리가 증명되면서 "어떤 공정성을 택할 것인가"는 기술 문제이자 가치 판단의 문제가 되었다. EU 인공지능법이 채용, 신용 평가, 법 집행에 쓰이는 AI를 고위험으로 분류하고 한국 인공지능기본법이 채용과 대출 심사를 고영향 인공지능 영역에 넣은 것도 이런 배경에서다.
통계에서 편향은 추정값이 참값에서 체계적으로 벗어나는 것을 뜻하고, 기계 학습의 편향-분산 트레이드오프에서도 같은 의미로 쓴다. 알고리즘 편향은 이와 달리 사회적 의미의 편향, 곧 집단에 따른 부당한 차이를 가리킨다. 피해는 보통 두 종류로 나눈다.
- 배분적 피해(allocative harm): 대출, 일자리, 의료 서비스 같은 자원이나 기회를 불공정하게 나누는 피해.
- 표상적 피해(representational harm): 고정관념을 강화하거나 특정 집단을 지우고 비하하는 피해. 이미지 자르기, 검색 결과, 생성 모델의 출력에서 주로 나타난다.
수레시(Harini Suresh)와 구탁(John Guttag)은 기계 학습의 생애 주기 전체에서 해가 들어오는 지점을 일곱 가지로 나눴다.[1]
| 단계 | 편향 | 내용 | 예 |
|---|---|---|---|
| 데이터 수집과 준비 | 역사적 편향 | 데이터가 세상을 정확히 반영해도, 세상 자체에 차별이 있으면 모델이 그것을 배운다 | 남성 위주였던 과거 채용 기록으로 학습한 채용 모델 |
| 표현 편향 | 표본이 모집단의 일부 집단을 적게 담는다 | 밝은 피부색 얼굴이 대부분인 얼굴 데이터셋 | |
| 측정 편향 | 측정하고 싶은 개념 대신 고른 대리 변수가 집단마다 다르게 작동한다 | 건강 필요를 의료비로 대신 잼, 범죄를 체포 기록으로 대신 잼 | |
| 모델 개발 | 집계 편향 | 서로 다른 집단에 하나의 모델을 적용한다 | 인종마다 기준치가 다른 검사 수치를 한 모델로 판정 |
| 학습 편향 | 손실 함수나 모델 선택이 특정 집단의 오류를 키운다 | 전체 정확도만 최적화하면 소수 집단 오류가 묻힘 | |
| 평가 편향 | 평가용 벤치마크가 실제 사용 집단을 대표하지 못한다 | 특정 집단 위주의 벤치마크로 성능을 보고 | |
| 배포 | 배포 편향 | 설계 의도와 다른 맥락이나 방식으로 쓰인다 | 위험 점수를 형량 결정에 참고 |
여기에 사용자의 반응이 다시 학습 데이터가 되면서 차이가 커지는 피드백 고리도 있다. 예측 치안 시스템이 순찰을 많이 보낸 지역에서 체포가 늘고, 그 기록이 다시 그 지역을 위험하게 예측하는 식이다. 대규모 텍스트로 학습한 모델은 데이터 속 고정관념을 그대로 흡수한다. 구글 뉴스로 학습한 Word2Vec 단어 임베딩에서 "남자와 컴퓨터 프로그래머의 관계는 여자와 주부의 관계와 같다" 같은 유추가 나온다는 2016년 연구가 대표적이다.[2]
| 연도 | 사례 | 분야 | 핵심 원인 |
|---|---|---|---|
| 2016 | COMPAS 재범 예측 | 형사 사법 | 집단별 기저율 차이와 오류율 불균형 |
| 2016 | 단어 임베딩 성 고정관념 | 자연어 처리 | 역사적 편향 |
| 2018 | 아마존 채용 도구 | 채용 | 역사적 편향 |
| 2018 | Gender Shades 얼굴 분석 | 컴퓨터 비전 | 표현 편향 |
| 2019 | 미국 의료 위험 예측 알고리즘 | 의료 | 측정 편향 |
| 2020~2021 | 트위터 이미지 자동 자르기 | 소셜 미디어 | 현저성 모델과 argmax 선택 |
| 2020~2021 | 챗봇 이루다 | 대화형 AI | 학습 대화 데이터, 개인정보 무단 이용 |
미국 비영리 언론 프로퍼블리카(ProPublica)는 2016년 5월 23일 〈Machine Bias〉 기사에서 노스포인트(Northpointe)의 재범 위험 평가 도구 COMPAS를 분석했다. 플로리다주 브로워드 카운티에서 2013~2014년 체포된 7,000여 명의 점수와 이후 2년간의 재범 여부를 대조한 결과, 전체 예측 정확도는 61%였고, 고위험으로 분류되었지만 재범하지 않은 비율이 흑인 피고인 44.9%, 백인 피고인 23.5%로 흑인이 거의 두 배였다. 반대로 저위험으로 분류되었지만 재범한 비율은 백인이 47.7%, 흑인이 28.0%였다.[3]
개발사는 같은 점수대 안에서 흑인과 백인의 실제 재범률이 비슷하므로(보정이 맞으므로) 공정하다고 반박했다. 이 논쟁에서 양쪽이 서로 다른 공정성 기준을 쓰고 있었다는 점이 드러났고, 곧이어 두 기준을 동시에 만족하는 것이 수학적으로 불가능하다는 증명이 나왔다(아래 불가능성 정리 참고).[4]
로이터는 2018년 10월 아마존이 2014년부터 이력서를 1~5점으로 매기는 AI 채용 도구를 개발했으나 성차별 문제로 폐기했다고 보도했다. 지난 10년간 회사에 들어온 이력서로 학습했는데 그 대부분이 남성 지원자의 것이어서, 2015년 무렵 모델이 소프트웨어 개발 직군 등에서 성별 중립적으로 평가하지 않는다는 사실이 드러났다. 모델은 "여성 체스 동아리 주장"처럼 "women's"라는 단어가 들어간 이력서와 여자 대학 두 곳 졸업생의 점수를 깎았다. 아마존은 해당 단어에 중립적이도록 고쳤지만 다른 차별 방식을 찾지 않으리라는 보장이 없어 결국 팀을 해산했다.[5] 문제가 되는 단어를 지워도 다른 변수가 대리 변수 역할을 할 수 있다는 점을 보여 준 사례다.
조이 부올람위니(Joy Buolamwini)와 팀닛 게브루(Timnit Gebru)는 2018년 상용 성별 분류 서비스 세 곳을 피부색과 성별을 교차해 평가했다. 기존 얼굴 분석 벤치마크 IJB-A와 Adience는 밝은 피부 비율이 각각 79.6%, 86.2%로 치우쳐 있었기 때문에, 피부색과 성별의 균형을 맞춘 새 데이터셋을 만들었다. 그 결과 어두운 피부의 여성 오류율은 최대 34.7%, 밝은 피부의 남성 오류율은 최대 0.8%였다.[6] 집단을 하나의 속성으로만 나누면 보이지 않는 교차적 격차를 드러냈다는 점에서 평가 방법론에도 영향을 주었다.
오버마이어(Ziad Obermeyer) 등은 미국 의료 체계에서 추가 관리가 필요한 환자를 고르는 데 쓰이던 상용 알고리즘을 분석해, 같은 위험 점수를 받은 흑인 환자가 백인 환자보다 실제로 더 아프다는 것을 발견했다. 알고리즘이 건강 필요의 대리 변수로 의료비를 썼는데, 같은 필요를 가진 흑인 환자에게 쓰이는 의료비가 더 적었기 때문이다. 이 편향 때문에 추가 관리 대상으로 선정되는 흑인 환자 수가 절반 넘게 줄었고, 의료비 대신 건강 지표를 예측하도록 바꾸자 편향이 사라졌다.[7] 측정 편향의 교과서적 사례다.
2020년 가을 트위터 사용자들은 사진 미리보기를 자동으로 자르는 기계 학습 시스템이 어두운 피부보다 밝은 피부의 사람을, 여성의 얼굴보다 몸을 중심으로 자른다는 문제를 제기했다. 트위터 연구진은 2021년 분석에서 체계적 격차를 확인하고, 가장 두드러진 한 점을 중심으로 자르는 방식이 격차를 키운다(argmax 편향)고 보고했다. 또 공정성 지표만으로는 표상적 피해를 다 잡아낼 수 없다며 자동 자르기 대신 사용자가 선택하는 방식을 권고했다.[8]
스캐터랩의 챗봇 이루다는 2020년 12월 22일 출시 뒤 소수자 혐오 발언, 성희롱 악용, 개인정보 침해 논란이 겹쳐 2021년 1월 서비스를 중단했다.[9][10] 개인정보보호위원회는 2021년 4월 28일 스캐터랩이 자사 앱 '텍스트앳'과 '연애의 과학'에서 수집한 이용자 약 60만 명의 카카오톡 대화 문장 94억여 건을 이루다 개발과 운영에 쓰면서 명시적 동의를 받지 않았고, 20대 여성의 대화 문장 약 1억 건으로 응답 데이터베이스를 만들었다고 보고, 과징금 5,550만 원과 과태료 4,780만 원 등 총 1억 330만 원을 부과했다. AI 기업의 개인정보 처리를 제재한 첫 사례였다.[11] 실제 사람의 대화를 거의 그대로 응답으로 쓰는 구조가 데이터 속 혐오 표현을 걸러내지 못한 사례로 꼽힌다.
이진 분류기의 예측을 , 실제 결과를 , 보호 속성(인종, 성별 등)을 라 할 때 대표적인 집단 공정성 기준은 다음과 같다.
| 기준 | 수식 | 의미 | 다른 이름 |
|---|---|---|---|
| 인구통계 동등성 | 집단마다 양성 판정 비율이 같다 | 통계적 동등성, 독립성 | |
| 균등화 오즈 | 집단마다 참양성률과 거짓양성률이 모두 같다 | 분리성 | |
| 기회 균등 | 위 식에서 만 요구 | 자격이 있는 사람이 선택될 확률(참양성률)이 같다 | |
| 예측 동등성 | 양성 판정을 받은 사람의 실제 양성 비율(정밀도)이 같다 | ||
| 보정 | 같은 점수 를 받은 사람의 실제 결과 비율이 같다 | 충분성 | |
| 개인 공정성 | 비슷한 개인은 비슷하게 대우 | 집단이 아니라 개인 간 거리로 정의 |
균등화 오즈와 기회 균등은 하트(Moritz Hardt) 등이 2016년 제안했으며, 이미 학습된 예측기의 판정 기준을 집단별로 조정해 이를 만족시키는 후처리 방법도 함께 제시했다.[12] 실무에서는 미국 고용 차별 지침의 '5분의 4 규칙'이 자주 인용된다. 어떤 인종, 성별, 민족 집단의 선발 비율이 가장 높은 집단 선발 비율의 5분의 4(80%)에 못 미치면 일반적으로 불리한 영향(adverse impact)의 증거로 본다는 규정으로, 인구통계 동등성의 비율 형태에 해당한다.[13] 지표 계산에 쓰는 참양성률, 거짓양성률, 정밀도는 혼동 행렬에서 나온다.
클라인버그(Jon Kleinberg) 등은 집단 내 보정, 양성 집단에 대한 균형, 음성 집단에 대한 균형이라는 세 조건을, 예측이 완벽하거나 집단의 기저율이 같은 매우 제한된 경우를 빼면 동시에 만족할 수 없음을 증명했다.[14] 촐데코바(Alexandra Chouldechova)도 재범률이 집단마다 다르면 예측 동등성을 맞춘 도구는 거짓양성률과 거짓음성률이 집단마다 달라질 수밖에 없음을 보였다.[4] COMPAS 논쟁에서 프로퍼블리카는 오류율 균형을, 개발사는 보정을 기준으로 삼았기 때문에, 둘 다 자기 기준으로는 옳았다. 따라서 공정성 기준의 선택은 데이터만으로 정할 수 없고, 어떤 오류가 누구에게 더 해로운지에 대한 사회적 판단이 필요하다.
개입 시점에 따라 셋으로 나눈다.
| 시점 | 기법 | 설명 |
|---|---|---|
| 전처리(학습 전) | 재가중·재표집 | 집단과 결과의 조합별로 표본 가중치를 조정하거나 소수 집단을 더 뽑는다. 클래스 불균형 처리와 비슷하다 |
| 데이터 보강·수집 | 부족한 집단의 데이터를 새로 모은다. Gender Shades의 균형 데이터셋이 예다 | |
| 표현 변환 | 보호 속성 정보를 지운 표현으로 바꾼다. 단어 임베딩의 성별 방향을 제거하는 방법이 대표적이다[2] | |
| 학습 중 | 공정성 제약·정규화 | 손실 함수에 공정성 지표 위반 정도를 벌점으로 더한다 |
| 적대적 편향 제거 | 예측기와 함께 예측 결과에서 보호 속성을 맞히려는 적대자를 학습하고, 예측기는 적대자를 속이도록 학습한다. UCI 성인 소득 데이터에서 정확도를 크게 잃지 않고 균등화 오즈에 가까운 결과를 냈다[15] | |
| 후처리(학습 후) | 집단별 임계값 조정 | 균등화 오즈나 기회 균등을 만족하도록 판정 기준을 집단마다 다르게 둔다[12] |
| 거부 선택 분류 | 판정이 애매한 경계 근처 표본에서 불리한 집단에 유리하게 판정을 바꾼다 |
이런 기법은 IBM의 AI Fairness 360 같은 오픈 소스 도구로 묶여 제공된다.[16] 다만 보호 속성을 입력에서 빼는 것만으로는 효과가 없다. 아마존 사례처럼 우편번호, 출신 학교, 단어 선택 같은 다른 변수가 대리 변수가 되기 때문이다. 편향을 재려면 오히려 보호 속성 정보가 필요한데, 이는 개인정보 보호와 충돌한다. EU 인공지능법 제10조 제5항은 고위험 AI 시스템의 편향 탐지와 교정에 꼭 필요한 경우에 한해 엄격한 안전 조치 아래 민감 정보 처리를 예외적으로 허용한다.[17]
생성형 모델에서는 분류 결과보다 생성물의 고정관념, 특정 집단에 대한 혐오 표현, 문화권 편향이 문제가 된다. 영어권 데이터 위주로 학습한 모델이 다른 문화권 사용자에게 영어권의 가치관과 관습을 기준으로 조언하는 경우가 지적된다. 사후 학습 단계에서 평가자의 선호가 또 다른 편향을 더할 수 있고(인간 피드백 기반 강화 학습 참고), 사용자 견해에 맞장구치는 아첨 경향도 일종의 편향으로 다뤄진다. 정렬 관점의 논의는 인공지능 정렬 문서를 참고한다.
- ↑ Harini Suresh, John Guttag, 〈A Framework for Understanding Sources of Harm throughout the Machine Learning Life Cycle〉, EAAMO 2021. arXiv:1901.10002
- ↑ 2.0 2.1 Tolga Bolukbasi 외, 〈Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings〉, NeurIPS 2016. arXiv:1607.06520
- ↑ Julia Angwin, Jeff Larson, Surya Mattu, Lauren Kirchner, Machine Bias, ProPublica, 2016-05-23.
- ↑ 4.0 4.1 Alexandra Chouldechova, 〈Fair prediction with disparate impact: A study of bias in recidivism prediction instruments〉, FATML 2016. arXiv:1610.07524
- ↑ Jeffrey Dastin, Amazon scraps secret AI recruiting tool that showed bias against women, 로이터, 2018-10-10.
- ↑ Joy Buolamwini, Timnit Gebru, 〈Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification〉, Proceedings of the 1st Conference on Fairness, Accountability and Transparency, PMLR 81:77~91, 2018. PMLR
- ↑ Ziad Obermeyer 외, 〈Dissecting racial bias in an algorithm used to manage the health of populations〉, Science 366(6464), 447~453쪽, 2019. doi:10.1126/science.aax2342
- ↑ Kyra Yee, Uthaipon Tantipongpipat, Shubhanshu Mishra, 〈Image Cropping on Twitter: Fairness Metrics, their Limitations, and the Importance of Representation, Design, and Agency〉, CSCW 2021. arXiv:2105.08667
- ↑ 강은성, 이루다 2.0, 개인정보, 인공지능, CIO Korea, 2022-04-15.
- ↑ 개인정보 유출·혐오 발언 '챗봇' 개발사에 과징금·과태료 1억, 세계일보, 2021-04-28.
- ↑ 이유지, '이루다' 개발사 과징금 등 1억원…AI 기업 무단 개인정보 처리 첫 제재, 바이라인네트워크, 2021-04-28.
- ↑ 12.0 12.1 Moritz Hardt, Eric Price, Nathan Srebro, 〈Equality of Opportunity in Supervised Learning〉, NeurIPS 2016. arXiv:1610.02413
- ↑ 29 CFR 1607.4(D) Adverse impact and the "four-fifths rule", 미국 연방규정집.
- ↑ Jon Kleinberg, Sendhil Mullainathan, Manish Raghavan, 〈Inherent Trade-Offs in the Fair Determination of Risk Scores〉, ITCS 2017. arXiv:1609.05807
- ↑ Brian Hu Zhang, Blake Lemoine, Margaret Mitchell, 〈Mitigating Unwanted Biases with Adversarial Learning〉, AIES 2018. arXiv:1801.07593
- ↑ Rachel K. E. Bellamy 외, 〈AI Fairness 360: An Extensible Toolkit for Detecting, Understanding, and Mitigating Unwanted Algorithmic Bias〉, 2018. arXiv:1810.01943
- ↑ Regulation (EU) 2024/1689 (Artificial Intelligence Act), 제10조, EUR-Lex.