AI 전문가의 경고: 생성 AI 개선이 벽에 부딪히면서 충돌이 임박했다.

충돌과 화재

생성 AI 모델이 기술적 벽에 부딪혔다는 보고가 나오면서 기술 산업의 눈에서 저울이 떨어지고 있다.

일부 전문가들이 오랫동안 예측했듯이, 한때 대규모 언어 모델을 확장하기만 하면 쉽게 얻을 수 있었던 개선 사항(즉, 매개변수, 학습 데이터, 처리 능력 추가)이 이제 느려지고 있으며, 상당한 이득을 전혀 얻지 못하고 있다.

인지 과학자이자 AI 회의론자인 게리 마커스는 모든 사람이 이러한 단점을 알게 되면 전체 산업이 붕괴될 수 있다고 경고하고 있다.

"경제는 암울할 가능성이 크다." 마커스는 Substack에 글을 올렸다. "OpenAI와 Microsoft와 같은 회사의 엄청난 가치 평가는 LLM이 지속적인 확장을 통해 인공 일반 지능(AGI)이 될 것이라는 개념에 크게 기인한다."

"내가 항상 경고했듯이" 그는 덧붙여 말했다. "그것은 그저 환상일 뿐이다."

수익 감소

The Information에서 이번 주에 보도한 바에 따르면 OpenAI 연구원들은 코드명 Orion인 차기 플래그십 모델이 이전 모델인 GPT-4보다 눈에 띄게 개선이 덜 되었다는 사실을 은밀히 알아냈다. GPT-4가 GPT-3보다 개선이 덜 되었다는 것이다.

이러한 LLM에게 큰 매력인 코딩과 같은 분야에서는 전혀 개선이 없을 수도 있다.

이는 업계의 다른 곳에서도 반향을 일으켰다. 스타트업 Safe Superintelligence의 설립자이자 OpenAI의 공동 설립자이자 전 최고 과학 책임자인 일리아 수츠케버는 로이터에 AI 모델 확장으로 인한 개선이 정점에 도달했다고 말했다.

간단히 말해, 업계의 터무니없는 성장을 예고했던 AI 모델에 관한 "크면 클수록 좋다"는 교조주의는 더 이상 사실이 아닐 수 있다.

이는 AI의 종말을 알리는 종소리가 아니다. "하지만" 마커스는 "경제적 측면은 결코 말이 되지 않을 것이다. 추가 학습은 비용이 많이 들고, 확장할수록 비용이 더 많이 든다."라고 썼다.

틀에서 벗어나기

로이터에 따르면, 대형 모델에 대한 학습 실행에는 수천만 달러가 들고, 수백 개의 AI 칩을 사용해야 하며, 한 번에 완료하는 데 몇 달이 걸릴 수 있다. 기술 회사도 모델을 학습할 수 있는 무료로 사용할 수 있는 데이터가 고갈되어 사실상 전체 표면 웹을 긁어냈다.

"LLM은 상품이 될 것이다. 가격 전쟁으로 인해 수익이 낮아질 것이다. 칩 비용을 감안하면 이익은 찾기 힘들 것이다."라고 마커스는 예측한다. "모두가 이를 깨닫게 되면 금융 거품이 빠르게 터질 수 있다."

이 경제적 침체에서 벗어날 방법이 있을 수 있다. The Information과 로이터의 보도에 따르면 OpenAI 연구자들은 인간과 비슷한 방식으로 "생각"하거나 "추론"하도록 모델을 훈련하는 것과 같이 확장 문제를 극복하는 방법을 개발하고 있다. 이러한 기능은 o1 모델에서 미리 볼 수 있다.

이를 수행하는 한 가지 방법은 "테스트 타임 컴퓨팅"이라는 기술을 사용하는 것이다. 이 기술은 AI 모델이 복잡한 문제에 대한 여러 가능성을 탐색한 다음 결론을 내리지 않고 가장 유망한 것을 선택한다.

그러나 이러한 작업이 상당한 AI 개선을 추구하는 새로운 방식을 개척할지는 장기적으로 입증되어야 한다. 현재 AI 산업은 수익성 문제가 계속되고 있으며 경제 시장은 거의 인내심이 없기 때문에 이러한 개선이 신속하게 이루어지지 않으면 또 다른 AI 겨울이 올 수 있다.