귀하의 돈, 우편번호, 친구 및 가족이 범죄 시스템에서 귀하를 대하는 방식에 큰 영향을 미칠 수 있다.
뉴 사우스 웨일즈(NSW) 경찰은 최근 용의자 표적 관리 계획(Suspect Targeting Management Plan)으로 알려진 널리 비난받는 프로그램을 폐기했다. 경찰 감시를 위해 알고리즘 위험 점수를 사용하여 10세 정도의 어린 "표적"을 선별했다.
그러나 유사한 프로그램이 여전히 남아 있다. 예를 들어, NSW 교정 서비스는 LSI-R이라는 통계 평가 도구를 사용하여 수감자가 재범할지 여부를 예측한다.
"고위험" 수감자는 "고강도 개입"을 받고 가석방이 거부될 수 있다. 위험 점수는 "범죄 친구", 범죄나 마약에 연루된 가족, 재정 문제, "범죄율이 높은 지역"에 거주, 빈번한 주소 변경 등의 사실을 토대로 계산된다.
예측 알고리즘은 데이터의 패턴을 기반으로 컴퓨터(때로는 사람)가 따라야 할 일련의 규칙이다. 편향된 검색 엔진부터 건강 데이터베이스에 이르기까지 알고리즘이 우리를 어떻게 차별하는지에 대해 많은 글이 작성되었다.
새로 출판된 저서인 인공 정의(Artificial Justice)에서 빈곤이나 가족 배경과 같은 요인을 기반으로 우리의 행동을 예측하는 도구를 사용하는 것도 우리는 걱정해야 한다고 주장한다. 우리가 벌을 받는다면 그것은 우리가 받은 카드 때문에 가 아니라 우리가 잘못한 일 때문에 처벌을 받아야 한다.
알고리즘이 우리를 지켜보고 있다.
알고리즘은 전 세계 형사 사법 시스템에 사용되는 위험 점수를 생성한다. 영국에서는 OASys(범죄자 평가 시스템)가 판사에게 제공되는 선고 전 정보의 일부로 사용된다. 이를 통해 보석, 가석방 및 선고 결정이 결정된다. 미국에서는 COMPAS라는 도구가 비슷한 기능을 수행한다.
위험 점수는 형사 사법 외에도 사용되며 점수를 생성하는 데 항상 컴퓨터가 필요한 것은 아니다. 오피오이드 위험 도구(Opioid Risk Tool)로 알려진 간단한 설문 조사는 환자가 약물을 오용할지 여부를 예측하여 호주 및 전 세계 의사가 급성 및 만성 질환에 대한 통증 완화 처방 여부를 결정하는 데 도움이 된다.
예측 알고리즘은 말 그대로 생명을 구한다. 기증 장기를 할당하고, 환자를 선별하고, 긴급한 의학적 치료 결정을 내리는 데 사용된다. 그러나 그들은 또한 정당화되지 않은 불평등을 만들고 유지할 수도 있다.
경찰이 범죄 "핫스팟"을 순찰하는 데 도움이 되는 알고리즘인 "CrimeBuster"를 개발한다고 상상해 보라. 우리는 범죄와 저소득층이 거주하는 지역을 연결하는 데이터를 사용된다. “범죄”를 직접적으로 측정할 수 없기 때문에 대신 체포율을 살펴본다.
그러나 이 지역의 체포율이 높다는 사실은 경찰이 순찰에 더 많은 시간을 할애한다는 사실을 말해 줄 수 있다. 이러한 집중 치안 관행에 대한 정당성이 없다면 CrimeBuster를 출시하면 이러한 편견이 정책의 위상을 갖게 될 것이다.
알고리즘이 우리를 판단하고 있다.
통계를 사용하여 의도적인 행동, 즉 우리가 선택하는 행동에 대해 예측할 때 문제는 더욱 심화된다.
이는 누군가가 "독성" 직원이 될지, 범죄를 저지르거나 약물을 남용할지에 대한 예측일 수 있다.
이러한 예측에 영향을 미치는 요인은 거의 공개되지 않는다. 영국 선고 알고리즘 OASys의 경우 누군가 가정 폭력의 피해자인지 여부를 포함한다.
미국 COMPAS 시스템은 부모의 이혼과 아동 학대를 포착한다. 오피오이드 위험 도구는 환자의 가족에게 약물 남용 병력이 있는지, 환자(여성인 경우)가 "사춘기 이전 성적 학대" 병력이 있는지 여부를 묻는다.
각각의 경우에 이러한 사실로 인해 누군가가 감옥에 가거나 치료를 받지 못하는 등의 가능성이 높아진다.
우리 모두는 자신이 누구인지에 맞는 선택을 하고 자신의 필요 사항과 목표를 충족할 수 있는 기회를 갖고 싶어한다. 그리고 우리는 선택을 잘 못하는 사람으로 분류되기보다는 다른 사람들과 같은 선택권을 갖고 싶어한다.
쉽게 영향을 미칠 수 없는 사실 때문에 누군가를 처벌할 때 우리는 이렇게 한다. 즉, 그 사람이 나쁜 선택을 할 수밖에 없는 것처럼 대하는 것이다.
혹시라도 사람들을 가둘 수는 없다.
문제는 알고리즘 자체를 사용하는 것이 아니다. 19세기 이탈리아 의사 체사레 롬브로소(Cesare Lombroso)는 기형적인 두개골, 넓은 턱, 긴 팔다리 또는 큰 귀와 같은 신체적 특징을 통해 "타고난 범죄자"를 식별할 수 있다고 주장했다.
얼마 지나지 않아 영국의 범죄학자인 찰스 고링(Charles Goring)은 이러한 생각을 가지고 특정한 “결함”이 있는 정신적 특성으로 인해 “투옥되는 운명”이 불가피하다고 주장했다.
알고리즘은 범죄 위험 평가 세계에서 무슨 일이 일어나고 있는지 확인하는 것을 훨씬 더 어렵게 만든다.
그러나 우리가 살펴보면 무슨 일이 일어나고 있는지가 롬브로소-고링(Lombroso-Goring) 비전과 매우 유사하다는 것이 밝혀졌다. 우리는 사람들을 마치 나쁜 일을 할 운명인 것처럼 대하고 만일의 경우에 대비해 그들을 가두어 둔다(또는 계속 가두어 둔다).
공공기관은 그러한 결정의 이면에 있는 예측을 알리는 사실을 공개해야 한다. 머신러닝은 이러한 출판 요구 사항을 충족할 수 있는 경우에만 사용해야 한다. 이렇게 하면 어디에 선을 그어야 할지에 관해 의미 있는 대화를 나누기가 더 쉬워진다.
형사 사법의 맥락에서 그 경계는 분명하다. 우리는 다른 신체적, 정신적, 사회적 특성이 아닌 나쁜 행동에 대해서만 더 가혹한 처벌을 가해야 한다. 이러한 접근 방식을 취하는 지침은 많이 있으며, 이는 호주 기관이 따라야 할 노선이다.
범죄에 대한 형벌이 적용되면 수감자들은 친구와 가족, 재정 상태 또는 다른 사람이 받는 대우 방식 때문에 다르게 대우받거나 더 오랫동안 갇혀 있어서는 안 된다.
