책임 있는 AI 여섯 원칙

책임 있는 AI는 AI-901에서 개수도 적고 계산도 없는 자리라 만만해 보이지만, 실제로 점수를 잃기 쉬운 자리입니다. 원칙 여섯 개의 이름을 외우는 것은 5분이면 끝나는데 문항은 이름을 묻지 않기 때문입니다. 문항은 사례 한 문단을 주고 「이 상황에서 지켜지지 않은 원칙은 무엇인가」를 묻고, 보기 넷에 여섯 중 넷이 들어옵니다. 어느 사례든 두세 원칙에 조금씩 걸리므로, 그 사례의 피해가 어디서 생겼는지를 짚어 하나로 좁히는 연습이 필요합니다.

공정성 — 누구에게 다르게 대했는가

공정성(fairness)은 AI 시스템이 사람을 성별·인종·연령·지역 같은 속성에 따라 다르게 대하지 않아야 한다는 원칙입니다. 여기서 다르게 대한다는 것은 개발자가 그렇게 코딩했다는 뜻이 아닙니다. 대부분은 학습 데이터에 이미 들어 있던 치우침이 그대로 모델에 옮겨 온 결과입니다. 지난 10년의 채용 결과로 학습한 모델은 그 10년 동안 덜 뽑힌 집단을 계속 덜 뽑고, 그 결과가 다시 다음 학습 데이터가 됩니다.

그래서 공정성을 지키는 일은 대개 데이터 쪽에서 시작합니다. 집단별로 데이터가 얼마나 있는지 세어 보고, 모델의 정확도를 전체 평균이 아니라 집단별로 나눠 재고, 차이가 크면 데이터를 보완하거나 모델을 다시 만듭니다. 사례 문항에서 「특정 집단에 대해서만 결과가 나쁘다」·「지원자 중 여성의 통과율이 절반이다」 같은 문장이 보이면 공정성입니다.

신뢰성과 안전 — 틀렸을 때 무슨 일이 벌어지는가

신뢰성과 안전(reliability and safety)은 시스템이 예상치 못한 입력이나 상황에서도 일관되고 안전하게 동작해야 한다는 원칙입니다. 눈이 오는 밤길, 학습 때 본 적 없는 표지판, 비어 있는 입력값 같은 것이 여기서 말하는 예상치 못한 상황입니다.

이 원칙이 요구하는 것은 「틀리지 않는 모델」이 아닙니다. 모델은 틀립니다. 요구하는 것은 틀렸을 때의 피해를 줄이는 설계입니다 — 배포 전 여러 조건에서 시험하고, 확신이 낮으면 사람에게 넘기고, 이상이 감지되면 안전한 상태로 멈추는 것입니다. 의료 진단 보조나 자율 주행처럼 오작동이 사람을 다치게 하는 시나리오가 나오면 이 원칙 쪽입니다.

개인정보와 보안 — 데이터가 어디까지 갔는가

개인정보와 보안(privacy and security)은 시스템이 다루는 데이터를 수집·저장·사용하는 모든 단계에서 보호해야 한다는 원칙입니다. 학습에 쓰는 데이터, 사용자가 요청에 실어 보낸 데이터, 모델이 만들어 낸 결과가 모두 대상입니다.

이름이 둘인 이유도 짚고 갑니다. 개인정보는 「이 데이터를 써도 되는가」를 묻고 보안은 「이 데이터에 누가 닿을 수 있는가」를 묻습니다. 동의 없이 수집한 데이터는 아무리 암호화해도 개인정보 쪽이 어긋난 것이고, 정당하게 수집했어도 권한 없는 사람이 열람할 수 있으면 보안 쪽이 어긋난 것입니다. 시험은 둘을 한 보기로 묶어 내므로 사례에서 어느 쪽이 문제인지까지 갈라 볼 필요는 없지만, 대응 방법이 갈리므로 뜻은 갈라 두는 편이 낫습니다.

시험이 이 원칙을 가리키는 표현은 꽤 정형화되어 있습니다 — 동의 없이 수집했다, 익명화하지 않은 개인정보를 학습에 썼다, 접근 권한이 없는 사람이 데이터를 볼 수 있었다, 저장 중이거나 전송 중인 데이터가 암호화되지 않았다. 실무의 대응도 그만큼 정해져 있습니다. 이름·주민번호·연락처 같은 것은 PII(개인 식별 정보)라 부르고, 학습이나 로그에 넣기 전에 검출해 가리는 절차를 둡니다. 가리는 방법도 둘로 갈리는데, 값을 지우는 것과 값을 일정한 가짜 값으로 바꾸는 것이며 뒤쪽은 데이터의 형태를 유지해야 할 때 씁니다.

포용성 — 쓸 수 없는 사람이 생기지 않았는가

포용성(inclusiveness)은 능력·언어·환경이 어떻든 모든 사람이 그 시스템의 혜택을 받을 수 있어야 한다는 원칙입니다. 공정성과 가장 자주 헷갈리는 자리인데, 가르는 질문은 결과가 다른가, 접근 자체가 막혔는가입니다.

시각장애가 있는 사용자가 화면의 이미지 설명을 들을 수 없다면, 사투리를 쓰는 사용자에게 음성 인식이 동작하지 않는다면, 서비스가 한 언어로만 제공된다면 포용성 쪽입니다. 결과값이 집단마다 유리하고 불리한 것이 아니라 애초에 쓰지 못하는 사람이 있다는 점이 다릅니다.

투명성 — 무슨 일이 벌어지는지 알렸는가

투명성(transparency)은 시스템이 무엇을 하는지, 어떤 한계가 있는지, 왜 그런 결과가 나왔는지를 사용자가 이해할 수 있어야 한다는 원칙입니다. 세 가지가 함께 들어갑니다 — 지금 상대하는 것이 AI라는 사실을 알리는 것, 어떤 데이터를 근거로 판단했는지 밝히는 것, 그리고 무엇을 못 하는지 미리 알리는 것입니다.

「대출 거절 사유를 설명하지 못한다」·「사용자가 상담원인 줄 알았는데 챗봇이었다」·「모델이 어떤 데이터로 학습했는지 공개하지 않았다」가 전부 이 원칙입니다. 실무에서는 모델의 용도·성능·한계를 적어 두는 문서를 함께 배포해 이 원칙을 지킵니다.

책임성 — 결과를 누가 책임지는가

책임성(accountability)은 시스템이 만든 결과에 대해 그것을 만들고 운영한 사람이 책임을 져야 한다는 원칙입니다. 나머지 다섯 원칙 위에 서서 그것들이 실제로 지켜지도록 거버넌스와 절차를 세우는 자리라, 여섯 중 성격이 가장 다릅니다.

문항에서는 조직과 절차를 가리키는 말로 나타납니다 — 내부 검토 위원회가 없다, 배포 승인 절차가 없다, 문제가 생겼을 때 누구에게 알려야 할지 정해져 있지 않다, 감사 로그를 남기지 않는다. 사례가 개별 사용자의 피해가 아니라 조직의 관리 체계 부재를 말하고 있으면 책임성입니다.

원칙이 제품 기능으로 내려온 자리

AI-901이 이 여섯을 윤리 과목이 아니라 기술 과목으로 묻는 이유는, Azure 안에 원칙마다 대응하는 기능이 실제로 있기 때문입니다. 뒤 도메인에서 다시 만나므로 이름과 짝만 미리 붙여 둡니다.

여기서 한 가지를 기억해 둡니다. 콘텐츠 필터는 기본값으로 켜져 있고 끄는 것이 아니라 수준을 조절하는 것이며, 그 수준을 낮추는 결정은 원칙 위반을 감수하는 결정이라 근거를 남겨야 합니다. 「필터가 정상 문서를 막아서 껐다」는 문항은 대개 오답 보기로 나옵니다.

사례를 원칙에 매칭하는 법

여섯을 한 표로 놓고 「그래서 무엇이 문제인가」를 한 문장으로 적으면 이렇습니다.

헷갈리는 짝이 셋입니다. 첫째, 공정성과 포용성 — 결과의 차이면 공정성, 접근의 차단이면 포용성입니다. 둘째, 투명성과 책임성 — 사용자에게 알리는 문제면 투명성, 조직 안에 절차가 없는 문제면 책임성입니다. 셋째, 신뢰성과 개인정보 — 시스템이 잘못 동작해 생긴 피해면 신뢰성이고, 잘 동작했는데도 데이터가 새어 나갔으면 개인정보입니다.

한 사례가 둘 이상에 걸릴 때는 피해를 입은 쪽이 누구인지를 봅니다. 특정 사용자가 다치거나 손해를 봤으면 그 손해의 성격을 따라가고, 아무도 아직 다치지 않았는데 「이런 일이 생겨도 아무도 모른다」가 문제이면 책임성입니다.

연습 문제

1. 한 은행이 대출 심사 모델을 배포한 뒤, 승인율이 특정 지역 거주자에게만 눈에 띄게 낮다는 것을 발견했습니다. 원인은 지난 심사 기록에 그 지역 표본이 거의 없었다는 점이었습니다. 지켜지지 않은 원칙은?
   ① 투명성
   ② 공정성
   ③ 포용성
   ④ 책임성

   ②. 집단마다 결과가 다르고 원인이 학습 데이터의 치우침입니다. 승인 자체는 누구나 신청할 수 있으므로 접근이 막힌 포용성 문제는 아닙니다.
2. 음성 명령으로 동작하는 가전 앱이 표준 발음 데이터로만 학습되어, 방언을 쓰는 사용자는 명령이 거의 인식되지 않아 앱을 쓸 수 없습니다. 가장 알맞은 원칙은?
   ① 포용성
   ② 신뢰성과 안전
   ③ 개인정보와 보안
   ④ 투명성

   ①. 결과가 유불리하게 갈리는 것이 아니라 그 집단이 기능을 아예 쓰지 못합니다. 접근이 막힌 자리이므로 포용성입니다.
3. 의료기관이 판독 보조 모델을 도입하면서, 배포 전에 야간 촬영본이나 장비가 다른 영상에서는 성능을 확인하지 않았습니다. 어느 원칙에 해당합니까?
   ① 공정성
   ② 신뢰성과 안전
   ③ 책임성
   ④ 포용성

   ②. 학습 때 보지 못한 조건에서 어떻게 동작하는지 시험하지 않았고, 틀렸을 때 사람이 다치는 시나리오입니다.
4. 다음 중 책임성 원칙에 가장 직접적으로 해당하는 것은?
   ① 사용자에게 지금 대화 상대가 AI임을 알린다
   ② 요청에 담긴 주민등록번호를 저장 전에 가린다
   ③ 모델 배포 전 검토와 승인을 맡는 담당 조직과 감사 로그를 둔다
   ④ 이미지에 대체 텍스트를 붙여 화면 낭독기로 읽히게 한다

   ③. ①은 투명성, ②는 개인정보와 보안, ④는 포용성입니다. 책임성은 개별 기능이 아니라 관리 체계에 관한 원칙입니다.
5. 쇼핑몰 챗봇이 고객 문의를 처리하면서, 대화 내용 전체를 별도 고지 없이 학습용 데이터셋에 그대로 쌓고 있었습니다. 여기에는 주소와 연락처가 포함되어 있습니다. 지켜지지 않은 원칙으로 가장 알맞은 것은?
   ① 신뢰성과 안전
   ② 개인정보와 보안
   ③ 공정성
   ④ 포용성

   ②. 시스템은 정상 동작했지만 개인 식별 정보가 동의 없이 수집·보관되었습니다. 오작동으로 인한 피해가 아니므로 신뢰성 쪽이 아닙니다.
6. 대출 심사 결과를 받은 고객이 「왜 거절되었는지」를 물었으나 회사가 「모델이 정한 것이라 알 수 없다」고만 답했습니다. 이 답변이 어긋나는 원칙은?
   ① 투명성
   ② 포용성
   ③ 신뢰성과 안전
   ④ 공정성

   ①. 결과가 집단마다 다르다는 사실은 제시되지 않았으므로 공정성이 아니라, 판단의 근거를 사용자가 이해할 수 없다는 점이 문제입니다.
7. 다음 중 여섯 원칙 가운데 나머지 다섯이 실제로 지켜지도록 절차와 조직을 세우는, 성격이 다른 하나는?
   ① 공정성
   ② 투명성
   ③ 책임성
   ④ 신뢰성과 안전

   ③. 나머지는 시스템이 갖춰야 할 성질을 말하고, 책임성은 그 성질들을 누가 어떻게 보장하느냐를 말합니다.

일곱 문항을 풀며 쓴 방법이 이 절의 전부입니다. 사례를 읽고 누가 어떤 피해를 입었는지 한 줄로 적어 보면 여섯 중 남는 것은 대개 하나이고, 둘이 남으면 위의 헷갈리는 짝 셋 중 하나에 걸려 있으니 그 가르는 질문을 다시 던지면 됩니다.