와튼스쿨의 부교수인 에단 몰릭(Ethan Mollick)은 기계 친구 문제를 해결해야 하는 이유를 설명한다.

AI가 일자리에 미치는 영향을 이론적으로 분석하는 것과 이를 테스트하는 것은 또 다른 일이다. 에단 몰릭은 하버드 사회과학자 파브리치오 델아쿠아, 에드워드 맥포랜드 3세, 카림 라카니, 워릭 경영대학원의 힐라 리프시츠-아사프 및 MIT의 캐서린 켈로그를 포함한 연구팀과 함께 이 작업을 수행해 왔다. 이들은 연구를 진행한 세계 최고의 경영 컨설팅 기관 중 하나인 보스턴 컨설팅 그룹(BCG)과 실험에 참여한 약 800명의 컨설턴트의 도움을 받았다.

컨설턴트는 무작위로 두 그룹으로 나뉘었다. 하나는 표준 방식으로 작업해야 했고 다른 하나는 169개국의 모든 사람이 액세스할 수 있는 LLM의 상용 바닐라 버전인 GPT-4를 사용해야 했다. 그런 다음 그들에게 AI 교육을 제공하고 BCG가 컨설턴트의 표준 업무처럼 보이도록 설계한 18개 작업에 대해 타이머를 사용하여 풀어 놓았다.

창의적 작업(“서비스가 부족한 시장이나 스포츠를 대상으로 하는 새로운 신발에 대해 최소 10가지 아이디어 제안”), 분석 작업(“사용자를 기반으로 신발 산업 시장 세분화”), 작성 및 마케팅 작업(“보도자료 마케팅 초안 작성”)이 있었다. 귀하의 제품에 대한 카피”) 및 설득력 작업(“귀하의 제품이 경쟁사보다 뛰어난 이유를 자세히 설명하는 영감을 주는 메모를 직원에게 작성하시요”). 이들은 이 작업이 현실적인지 확인하기 위해 신발 회사 임원들과도 확인했다.

AI로 작업하는 그룹은 그렇지 않은 컨설턴트보다 훨씬 더 나은 성과를 거두었다. 이들은 컨설턴트의 기술을 살펴보거나 인간 채점자가 아닌 AI를 사용하여 결과를 평가하는 등 가능한 모든 방법으로 결과를 측정했지만 118가지의 다양한 분석을 통해 효과가 지속되었다. AI 기반 컨설턴트는 더 빨랐으며 그들의 작업은 동료보다 더 창의적이고, 더 잘 작성되었으며, 더 분석적인 것으로 간주되었다.

그러나 데이터를 좀 더 주의 깊게 살펴보면 더 인상적이면서도 다소 걱정스러운 점이 드러났다. 컨설턴트는 AI를 사용하여 업무를 도울 것으로 예상되었지만 AI가 많은 작업을 수행하는 것처럼 보였다. 대부분의 실험 참가자들은 질문을 간단히 붙여 넣었고 매우 좋은 답변을 얻었다.

MIT의 경제학자 쉐익드 노이(Shakked Noy)와 휘트니 장(Whitney Zhang)이 수행한 글쓰기 실험에서도 같은 일이 일어났다. 대부분의 참가자는 AI의 출력이 일단 생성되면 편집하는 데 신경도 쓰지 않았다. 사람들이 AI를 처음 사용할 때 반복적으로 보는 문제는 바로 그들이 묻는 정확한 질문을 붙여넣고 AI가 대답하도록 하는 것이다. AI와 함께 작업하는 데에는 위험이 있다. 물론 우리 자신을 불필요하게 만들 위험도 있지만 AI를 업무에 너무 많이 신뢰하는 위험도 있다.

그리고 BCG가 또 하나의 작업을 설계했기 때문에 이들은 스스로 위험을 확인했다. 이 작업은 AI가 정답을 찾을 수 없도록 신중하게 선택한 작업, 즉 "Jagged Frontier" 외부에 있는 작업이다. AI가 다양한 업무에 뛰어나기 때문에 쉽지 않았지만, 하지만 이들은 까다로운 통계 문제와 오해의 소지가 있는 데이터가 결합된 작업을 식별했다. 인간 컨설턴트는 AI의 도움 없이 84%의 확률로 문제를 해결했지만, 컨설턴트가 AI를 사용한 경우에는 60~70%의 확률로 문제를 해결했다. 무슨 일일까?

강력한 AI 덕분에 컨설턴트가 운전석에서 잠들어 계산할 때 큰 오류를 범할 가능성이 높아졌다.-에단 몰릭

다른 논문에서 파브리치오 델아쿠아(Fabrizio Dell'Acqua)는 AI에 너무 많이 의존하면 역효과를 낳을 수 있는 이유를 보여준다. 그는 고품질 AI를 사용하는 채용 담당자가 게으르고 부주의하며 자신의 판단에 능숙하지 않다는 것을 발견했다. 그들은 뛰어난 지원자를 놓치고 품질이 낮은 AI를 사용하거나 AI를 전혀 사용하지 않는 채용 담당자보다 더 나쁜 결정을 내렸다. 그는 181명의 전문 채용 담당자를 고용하고 그들에게 수학 능력을 바탕으로 44개의 입사 지원서를 평가하라는 까다로운 작업을 주었다. 데이터는 성인 기술에 대한 국제 테스트에서 나온 것이므로 이력서에서 수학 점수가 명확하지 않았다. 채용 담당자에게는 다양한 수준의 AI 지원이 제공되었다. 일부는 AI 지원이 좋거나 나빴고 일부는 전혀 지원되지 않았다. 그는 그들이 얼마나 정확하고, 얼마나 빠르고, 얼마나 열심히 일하고, 얼마나 자신감이 있는지를 측정했다.

높은 품질의 AI를 갖춘 채용 담당자는 낮은 품질의 AI를 갖춘 채용 담당자보다 나빴다. 그들은 각 이력서에 더 적은 시간과 노력을 쏟았으며 맹목적으로 AI 추천을 따랐다. 또한 시간이 지나도 개선되지 않았다. 반면, 품질이 낮은 AI를 사용하는 채용 담당자는 더 경계심이 많고 비판적이며 독립적이었다. 그들은 AI와의 상호작용과 자신의 기술을 향상시켰다. 델아쿠아는 AI 품질과 인간 노력 간의 균형을 설명하기 위해 수학적 모델을 개발했다. AI가 아주 좋으면 인간이 열심히 일하고 주의를 기울일 이유가 없다. 그들은 AI를 도구로 사용하는 대신 AI가 대신하도록 하여 인간의 학습, 기술 개발 및 생산성을 해칠 수 있다. 그는 이것을 “운전대에서 잠드는 것”이라고 불렀다.

델아쿠아의 연구는 BCG 컨설턴트와의 연구에서 어떤 일이 일어났는지 보여준다. 강력한 AI 덕분에 컨설턴트가 운전석에서 잠들어 계산할 때 큰 오류를 범할 가능성이 높아졌다. 그들은 들쭉날쭉한 프론티어의 모양을 오해했다.