블로그

Nov 09, 2023

ChatGPT를 사용한 인종차별적 AI 알고리즘 기시감: 컴퓨터 과학자

1998년 나는 본의 아니게 인종편향적인 인공지능을 만들어냈다.

1998년에 나는 본의 아니게 인종편향적인 인공지능 알고리즘을 만들어냈다. 그 이야기에는 오늘날 더욱 강하게 울려 퍼지는 교훈이 있습니다.

AI 알고리즘의 편향과 오류의 위험성은 이제 잘 알려져 있습니다. 그렇다면 최근 몇 달 동안 특히 AI 챗봇과 이미지 생성기 분야에서 기술 회사들이 실수를 많이 하는 이유는 무엇입니까? ChatGPT의 초기 버전은 인종차별적 결과를 낳았습니다. DALL-E 2와 Stable Diffusion 이미지 생성기는 모두 자신이 만든 사진에서 인종적 편견을 보여주었습니다.

백인 남성 컴퓨터 과학자로서 제가 깨닫게 된 깨달음은 2021년에 컴퓨터 과학 수업을 가르치던 중이었습니다. 그 수업에서는 방금 AI 연구원이자 예술가이자 자칭 코드 시인인 Joy Buolamwini의 비디오 시를 시청했습니다. 그녀의 2019년 비디오 시 "AI, 나는 여자가 아닌가?" 자동 얼굴 인식 시스템(Google 및 Microsoft와 같은 기술 회사에서 개발한 시스템)의 인종 및 성별 편견을 3분 동안 폭로한 작품입니다.

시스템은 종종 유색인종 여성에게 실패하여 남성으로 잘못 분류됩니다. 일부 실패는 특히 심각합니다. 흑인 시민권 운동가 Ida B. Wells의 머리카락에는 "쿤스킨 캡"이라는 라벨이 붙어 있습니다. 또 다른 흑인 여성은 "해마 콧수염"을 가진 것으로 분류됩니다.

나는 그 컴퓨터 과학 수업에서 끔찍한 데자뷰 순간을 겪었습니다. 나 역시 한때 인종적으로 편향된 알고리즘을 만든 적이 있다는 사실이 문득 기억났습니다. 1998년에 저는 박사과정 학생이었습니다. 내 프로젝트에는 비디오 카메라의 입력을 기반으로 사람의 머리 움직임을 추적하는 작업이 포함되었습니다. 내 박사 지도교수는 특정 상황에서 머리를 정확하게 따라가는 수학적 기술을 이미 개발했지만 시스템은 훨씬 더 빠르고 강력해야 했습니다. 1990년대 초, 다른 연구실의 연구자들은 이미지의 피부색 영역을 실시간으로 추출할 수 있음을 보여주었습니다. 그래서 우리는 추적기에 대한 추가 단서로 피부색에 초점을 맞추기로 결정했습니다.

당시에는 흔치 않았던 디지털 카메라를 사용해 내 손과 얼굴을 몇 장 찍기도 했고, 우연히 건물 안에 있던 다른 두세 사람의 손과 얼굴도 찍었습니다. 이러한 이미지에서 피부색 픽셀 중 일부를 수동으로 추출하고 피부색에 대한 통계 모델을 구성하는 것은 쉬웠습니다. 약간의 조정과 디버깅을 거친 후 놀랍도록 강력한 실시간 머리 추적 시스템을 갖추게 되었습니다.

얼마 지나지 않아 내 고문은 방문하는 회사 임원들에게 시스템을 시연해 달라고 요청했습니다. 그들이 방에 들어왔을 때 나는 즉시 불안에 휩싸였습니다. 간부들은 일본인이었습니다. 간단한 통계 모델이 우리의 프로토타입에 적합한지 알아보기 위한 일상적인 실험에서 나는 나 자신과 우연히 건물에 있던 소수의 다른 사람들로부터 데이터를 수집했습니다. 그러나 이들 피험자 중 100%는 "하얀" 피부를 가졌습니다. 일본 경영진은 그렇지 않았습니다.

기적적으로, 어쨌든 이 시스템은 임원들에게 합리적으로 잘 작동했습니다. 그러나 나는 백인이 아닌 다른 사람들에게는 쉽게 실패할 수 있는 인종적으로 편향된 시스템을 만들었다는 사실을 깨닫고 충격을 받았습니다.

잘 교육받고 선의를 가진 과학자들이 편향된 AI 시스템을 생산하는 방법과 이유는 무엇입니까? 특권에 관한 사회학적 이론은 하나의 유용한 렌즈를 제공합니다.

내가 머리 추적 시스템을 만들기 10년 전에 학자 페기 매킨토시(Peggy McIntosh)는 백인들이 들고 다니는 "보이지 않는 배낭"에 대한 아이디어를 제안했습니다. 배낭 속에는 "나는 인종의 공로를 욕하지 않고도 어려운 상황에서도 잘 해낼 수 있다", "나는 우리 정부를 비판하고 정부의 정책과 행동이 얼마나 두려운지 이야기할 수 있다" 등 특권의 보물창고가 들어 있다. 문화적 아웃사이더로 여겨진다."

AI 시대에 그 배낭에는 "내 인종 때문에 AI 시스템이 나쁜 결과를 내지 않을 것이다"와 같은 새로운 아이템이 필요합니다. 백인 과학자의 보이지 않는 배낭에는 "나는 내 외모를 기반으로 AI 시스템을 개발할 수 있고 그것이 대부분의 사용자에게 잘 작동할 것이라는 것을 알 수 있습니다."도 필요합니다.

백인 특권에 대해 제안된 해결책 중 하나는 적극적으로 반인종차별주의자가 되는 것입니다. 1998년 머리 추적 시스템의 경우 인종차별 반대 치료법은 모든 피부색을 동일하게 취급하는 것이 분명해 보일 수 있습니다. 확실히 우리는 시스템의 훈련 데이터가 모든 피부색의 범위를 가능한 한 동일하게 나타내도록 보장할 수 있고 보장해야 합니다.