대량살상 수학무기

책 링크

작가는 겉으로 보기에 공정하게만 생각되는 알고리즘에 편견과 차별이 들어가 있는 점을 꼬집는다. 이를 막기 위해 끊임없이 의식하고 경계, 감찰해야한다고 강조한다. 작가는 편견, 차별이 들어가 있으며 불투명하고 급속도로 확장하며 피해를 주는 알고리즘을 WMD라고 이름짓는다. 이 책의 각 장에서 사회 각층의 WMD 사례들을 소개한다. 작가는 좋은 알고리즘이 되려면 결과 피드백을 잘 반영해야 한다고 강조한다.

WMD (Weapons of Math Destruction)

-       세가지 특징 : 불투명성, 확장성, 피해

-       사람들을 대리데이터를 이용해 불공정하게 분류하고 처리한다.

-       사회적 약자 (인종적, 가난, 빈민가)들은 WMD 같은 알고리즘에 의해 좌절하고 실패하게 된다. 또한 이는 다시 알고리즘에 입력되어 더욱 악화된다.

-       알고리즘을 잘 공개하지 않고, 공개하더라도 잘 이해할 수 없어 반박도 할 수 없다.

-       단지 피부색, 사는 곳만을 이유로 내 자신이 평가되고 피해를 볼 수 있다.

-       기계가 처리해 비용적, 시간적으로 싸고 효율적이다. 이러한 이유로 급속도로 확장중이다.

 

요약

서론

-       나쁜 교사 색출 작전 -> 불공정하게 교사해임 (시험 성적만으로는 좋은 선생인지 판단 불가)

1장

-       알고리즘을 작동시키기 위해 모형이 필요하다. 이 모형을 디자인할 때 인간의 편견이 개입할 수 있다. 재범 위험성 모형 사례 (주변 사람의 범죄여부가 모형에 포함 => 형량 강화 => 악순환)

2장

-       주택 저당 증권을 묶어 증권화 (위험등급 복잡하게 설계 -> 잘 이해하기 어려움) 위험 등급 측정해주는 회사도 손님 잃을까 AAA 등급 뿌림 -> 금융위기

-       데이터 과학에서도 똑같은 패턴을 보인다. 불완전한 모형, 차별적인 피드백 루프가 확산되고 있다.

3장

-       대리 데이터를 이용해 대학 줄 세우기 => 대학들이 모형에 맞춰 좋은 점수 받으려 안간힘 씀, 모형 밖 요소 홀대

-       모형 개발자들이 어떤 목적을 가지고 기준을 정하는가?

4장

-       약탈적 광고주들(영리대학)은 약자의 아픔을 집중 공략해 돈 뜯어낸다. 약자들은 이에 넘어가 학자금 대출을 받고 고통이 증가한다.

5장

-       범죄예측 소프트웨어 -> 경범죄 포함 -> 유색인종, 가난한 사람들 집중 공략 -> 가벼운 범죄 더 많이 걸림 -> 소프트웨어 강화

-       소프트웨어가 어디에 집중하게 할 지 기준을 조정해 결정할 수 있다.

-       효과성에 의해 공정성이 희생당한다. (사는 곳으로 분류 쉬움)

6장

-       채용시 불투명한 인성적성검사 (저렴한 비용으로 많이 걸러내야함)

-       효율성을 중시, 어떤 사람은 효율성의 피해자로 기회를 잃는다.

7장

-       회사의 인력 적정 시간에 배치 시스템 => 인간이 쉬지 못하고 혹사당하게 됨

-       SAT 성적 낮아진 것( 다양한 계층 시험 보면서 낮아진건데 통계의 오류) => 교사 평가 시스템

8장

-       신용 평가 점수 (명확한 피드백, 투명성) 규제 O

-       e점수(우편번호, 서핑 패턴, 최근 구매 행위에 의해 점수 매겨짐) 규제 X

-       현재 e점수가 신용평가 점수 대체중

-       취직, 대출, 데이팅 등 관련 없는 곳에서도 신용평가점수가 대리 데이터로 사용됨

-       인간만이 시스템에 공정성을 넣을 수 있다.

9장

-       보험료 산정에서 신용평가점수, e점수 반영 -> 불공정하다

-       사고위험을 고려하는 게 아니라 돈을 더 낼 사람한테 더 뜯어낸다.

-       자동차 운행, 행동 반경등 사생활 정보 수집해 분류한다.

10장

-       페이스북은 사람에 사고, 행동에 영향을 미칠 수 있는 힘을 가졌다.(투표 관련 게시글 사례)

-       정치에서도 빅데이터를 이용한다. -> 유권자별로 공약 전략 다르게

 

결론

-       사람들은 WMD가 경제적으로 이득이 되서 놔둔다. 수학 모형을 만드는 개발자들은 양심을 가지고 모든 가능성을 고려해야 한다. 알고리즘은 만들어진 후에 감사되어야 한다. 투명하게 공개해야 한다. 착한 모형으로 사람들에게 도덕적으로 도움이 되는 모형을 만들어야 한다.