이름에도 불구하고 OpenAI의 AI는 그다지 개방적이지 않다. OpenAI의 헤비급 챗봇 챔피언인 GPT-4와 Google의 Bard를 포함하여 빅 테크의 최고 성능과 가장 높은 프로필을 자랑하는 대규모 언어 모델(LLM)의 내부는 점점 더 불투명해지고 있다.

TechTalks의 벤 딕슨(Ben Dickson)은 "트레이닝 데이터 및 모델 아키텍처에 대한 세부 정보도 더 이상 공개하지 않는다."고 지적한다. 즉, GPT-4의 세부 사항이 알려지지 않았을 뿐만 아니라 이를 훈련하는 데 사용되는 데이터가 정확히 무엇인지도 알 수 없다.

알려지지 않은 수십억 개의 매개변수가 있는 모델을 개발하고 실행하는 데 필요한 엄청난 양의 컴퓨팅 성능에 더해 가장 가능성이 높은 미래는 높은 비용과 진입 장벽이 있는 독점 AI가 지배하는 것처럼 보였다.

그러나 대신 누구나 사용할 수 있는 오픈 소스 대형언어모델(LLM)의 새로운 물결이 이러한 장벽을 무너뜨리고 있다. 그리고 흥미롭게도 AI가 필드를 시작하는 데 도움을 준 또 다른 기술 거물인 Meta였다. Meta가 LLAMA라는 모델을 출시한 후 다른 연구원들이 이를 기반으로 구축하기 시작했다고 딕슨(Dickson)은 썼다. 결국 이것은 Alpaca 7b와 같은 다른 오픈 소스 LLM으로 이어질 것이다. 이 LLM은 너무 가벼워서 가정용 장비에서 실행할 수 있다.

다양한 블로그, Github 개발자, 심지어 머신러닝 개발자인 Hugging Face도 이제 연구원, 애호가 및 다이빙을 원하는 모든 사람이 사용할 수 있는 오픈 소스 LLM 목록을 공유, 강조 표시 및 순위 지정한다.

Hugging Face의 Open LLM 순위표는 4가지 벤치마크에서 오픈 소스 LLM 순위를 매긴다. "상식 추론" 테스트; 모델이 멀티태스킹에서 얼마나 정확한지 측정하는 테스트 모델이 온라인에서 흔히 발견되는 잘못된 정보를 반복할 가능성이 얼마나 되는지 검사하는 테스트이다.

현재의 리더? UAE의 기술 혁신 연구소에서 만든 Falcon-40B-Instruct라는 모델이다.

Hugging Face가 순위에 사용하는 벤치마크를 개발한 Eleuther AI의 연구 책임자인 스텔라 비더맨(Stella Biderman)은 오픈 소스 LLM 분야가 "폭발"하고 있다고 네이쳐에 말했다. 오픈 소스 모델을 보유하는 것은 학문적 및 경제적 이유로 중요할 수 있으며, 거대 기업이 유일한 게임이 되는 것을 방지함으로써 경쟁의 장을 평준화할 수 있다.

또한 오픈 소스 LLM을 통해 연구원은 모델의 내장을 들여다보고 AI가 때때로 거짓되거나 이상하거나 유독한 반응을 내뱉는 이유를 알아내려고 노력할 수 있다고 브라운 컴퓨터 과학 교수인 엘리 파블릭(Ellie Pavlick)은 네이쳐에 말했다. (파블릭은 Google AI에서도 작동한다.)

이러한 시스템을 한계까지 밀어붙이는 더 많은 레드 팀과 탈옥자가 있으면 시스템이 작동하는 방식과 실패하는 이유를 더 잘 이해하고 안전 조치 및 제어의 결함을 식별하는 데 도움이 될 수 있다.

파블릭(Pavlick)은 "한 가지 이점은 특히 학계의 많은 사람들이 완화 전략에 대해 작업할 수 있다는 것이다."고 말했다. "천 개의 눈이 있다면 더 나은 방법을 찾아낼 것이다."

오픈 소스 LLM 모델을 사용할 수 있게 되면 이러한 강력한 도구를 민주화하여 자본과 컴퓨팅 능력이 적은 프로그래머와 연구원이 자신의 능력을 활용할 수 있다.

부분적으로는 오픈 소스 개발자가 효과적인 LLM을 만들고 실행하는 데 필요한 비용과 마력을 줄여왔기 때문이다.

소규모 오픈 소스 LLM의 성공은 충분히 큰 데이터 세트에서 훈련된 경우 큰 모델의 경우 수천억 개에 비해 "단지" 몇 십억 개의 매개 변수로 강력한 챗봇을 만들 수 있음을 입증했다고 TechTalks의 딕슨(Dickson)은 썼다. 이러한 모델은 처음 생각했던 것보다 적은 데이터와 비용으로도 미세 조정할 수 있으며, 초강력 서버 대신 노트북이나 휴대폰과 같은 로컬 장치에서도 실행할 수 있다.