인간의 개입 없이 과학 논문을 쓸 수 있는 AI 과학자

 

과학적 발견은 가장 정교한 인간 활동 중 하나이다. 먼저 과학자는 기존 지식을 이해하고 상당한 격차를 파악해야 한다. 다음으로, 연구 질문을 공식화하고 답을 찾기 위해 실험을 설계하고 수행해야 한다. 그런 다음 실험 결과를 분석하고 해석해야 하며, 이는 또 다른 연구 질문을 제기할 수 있다.

 

이렇게 복잡한 프로세스를 자동화할 수 있을까? 지난주 Sakana AI Labs는 "AI 과학자"를 만들었다고 발표했다. 이는 완전히 자동화된 방식으로 머신러닝 분야에서 과학적 발견을 할 수 있다고 주장하는 인공지능 시스템이다.

 

ChatGPT 및 기타 AI 챗봇의 기반이 되는 생성적 대규모 언어 모델(LLM)을 사용하여 이 시스템은 브레인스토밍을 하고, 유망한 아이디어를 선택하고, 새로운 알고리즘을 코딩하고, 결과를 구성하고, 참고 문헌을 포함하여 실험과 그 결과를 요약한 논문을 작성할 수 있다. Sakana는 이 AI 도구가 논문당 15달러에 불과한 비용으로 과학 실험의 전체 수명 주기를 수행할 수 있다고 주장한다. 이는 과학자의 점심 식사 비용보다 저렴하다.

 

이것들은 큰 주장이다. 이것들이 쌓일까? 그리고 설령 그렇다 하더라도, AI 과학자 군대가 비인간적인 속도로 연구 논문을 쏟아내는 것이 정말 과학에 좋은 소식일까?

 

컴퓨터가 '과학을 하는' 방법

많은 과학이 공개적으로 이루어지고 거의 모든 과학적 지식은 어딘가에 기록되어 있다(그렇지 않았다면 우리는 그것을 "알" 방법이 없었을 것이다). arXiv 및 PubMed와 같은 저장소에서 수백만 개의 과학 논문을 온라인으로 무료로 이용할 수 있다.

 

이 데이터로 훈련된 LLM은 과학의 언어와 패턴을 포착한다. 따라서 생성적 LLM이 좋은 과학 논문처럼 보이는 것을 생성할 수 있다는 것은 전혀 놀라운 일이 아닐 것이다. 복사할 수 있는 많은 예를 수집했다.

AI 시스템이 흥미로운 과학 논문을 생성할 수 있는지 여부는 덜 명확하다. 중요한 것은 좋은 과학에는 참신함이 필요하다는 것이다.

 

하지만 그것이 흥미로운 것일까?

과학자들은 이미 알려진 것에 대해 듣고 싶어하지 않는다. 오히려 그들은 새로운 것, 특히 이미 알려진 것과 상당히 다른 새로운 것을 배우고 싶어한다. 이를 위해서는 기여의 범위와 가치에 대한 판단이 필요하다.

 

Sakana 시스템은 두 가지 방법으로 흥미로움을 다루려고 한다. 첫째, 기존 연구(Semantic Scholar 저장소에 색인됨)와 유사한 새로운 논문 아이디어를 "점수" 매긴다. 너무 유사한 것은 모두 삭제된다.

 

둘째, Sakana의 시스템은 "동료 검토" 단계를 도입한다. 다른 LLM을 사용하여 생성된 논문의 품질과 참신성을 판단한다. 여기서도 openreview.net과 같은 사이트에서 논문을 비판하는 방법을 안내할 수 있는 온라인 동료 검토의 예가 많이 있다. LLM도 이를 섭취했다.

 

AI는 AI 출력을 제대로 판단하지 못할 수 있음

Sakana AI의 출력에 대한 피드백은 엇갈린다. 일부에서는 "끝없는 과학적 엉터리"를 생산한다고 설명했다.

시스템 자체의 출력 검토에서도 논문이 기껏해야 약하다고 판단한다. 이는 기술이 발전함에 따라 개선될 가능성이 있지만 자동화된 과학 논문이 가치 있는지에 대한 의문은 여전히 ​​남는다.

 

LLM이 연구의 품질을 판단할 수 있는 능력도 미지수이다. 내 연구(곧 연구 합성 방법 Research Synthesis Methods에 게재될 예정)에 따르면 LLM은 의학 연구 조사에서 편향 위험을 판단하는 데 능숙하지 않지만, 시간이 지나면서 이 역시 개선될 수 있다.

 

Sakana의 시스템은 물리적 실험이 필요한 다른 유형의 과학보다 훨씬 쉬운 계산 연구에서 발견을 자동화한다. Sakana의 실험은 코드로 수행되며, 이는 LLM이 생성하도록 훈련할 수 있는 구조화된 텍스트이기도 하다.

 

과학자를 대체하는 것이 아니라 지원하는 AI 도구

AI 연구자들은 수십 년 동안 과학을 지원하는 시스템을 개발해 왔다. 출판된 연구의 양이 방대하기 때문에 특정 과학적 질문과 관련된 출판물을 찾는 것조차 어려울 수 있다.

 

전문 검색 도구는 AI를 활용하여 과학자가 기존 작업을 찾고 종합하는 데 도움을 준다. 여기에는 위에서 언급한 Semantic Scholar가 포함되지만 Elicit, Research Rabbit, scite 및 Consensus와 같은 새로운 시스템도 포함된다.

 

PubTator와 같은 텍스트 마이닝 도구는 논문을 더 깊이 파고들어 특정 유전자 돌연변이 및 질병과 확립된 관계와 같은 주요 초점 사항을 식별한다. 이는 특히 과학 정보를 정리하고 구성하는 데 유용하다.

 

머신러닝은 Robot Reviewer와 같은 도구에서 의학적 증거의 합성 및 분석을 지원하는 데에도 사용되었다. Scholarcy의 논문에서 주장을 비교하고 대조하는 요약은 문헌 검토를 수행하는 데 도움이 된다.

이러한 모든 도구는 과학자가 업무를 대체하는 것이 아니라 보다 효과적으로 수행할 수 있도록 돕는 것을 목표로 한다.

 

AI 연구는 기존 문제를 악화시킬 수 있다.

Sakana AI는 인간 과학자의 역할이 줄어들지 않을 것이라고 말하지만, "완전한 AI 기반 과학 생태계"라는 회사의 비전은 과학에 큰 영향을 미칠 것이다.

우려되는 점 중 하나는 AI가 생성한 논문이 과학 문헌에 넘쳐나면 미래의 AI 시스템이 AI 출력에 따라 훈련되어 모델이 붕괴될 수 있다는 것이다. 즉, 혁신에 점점 더 비효율적으로 될 수 있다.

 

그러나 과학에 미치는 영향은 AI 과학 시스템 자체에 미치는 영향을 훨씬 넘어선다.

과학에는 이미 가짜 논문을 쏟아내는 "paper mills"을 포함한 나쁜 행위자가 있다. 이 문제는 15달러와 모호한 초기 프롬프트로 과학 논문을 생산할 수 있을 때 더욱 악화될 것이다.

자동으로 생성된 연구의 산더미에서 오류를 확인해야 할 필요성은 실제 과학자의 역량을 빠르게 압도할 수 있다. 동료 검토 시스템은 이미 망가졌다고 할 수 있으며, 의심스러운 품질의 연구를 더 많이 시스템에 투입해도 해결되지 않는다.

 

과학은 근본적으로 신뢰에 기반한다. 과학자들은 과학적 과정의 무결성을 강조하여 우리가 세상(그리고 지금은 세상의 기계)에 대한 이해가 타당하고 개선되고 있다는 확신을 가질 수 있도록 한다.

 

AI 시스템이 핵심 플레이어인 과학 생태계는 이 과정의 의미와 가치, 그리고 AI 과학자에 대한 신뢰 수준에 대한 근본적인 질문을 제기한다. 이것이 우리가 원하는 종류의 과학 생태계일까?