인공지능이 눈물을 흘리고 있다. 기계는 말하고, 쓰고, 게임을 하고, 원본 이미지, 비디오 및 음악을 생성할 수 있다. 그러나 AI의 기능이 성장함에 따라 알고리즘도 성장했다.

10년 전 머신러닝 알고리즘은 수천만 개의 내부 연결 또는 매개변수에 의존했다. 오늘날의 알고리즘은 정기적으로 수천억, 심지어는 수조 개의 매개변수에 도달한다. 연구원들은 확장이 여전히 성능 향상을 가져오고 수십조 개의 매개변수가 있는 모델이 단기간에 도착할 수 있다고 말한다.

그렇게 큰 모델을 훈련시키려면 강력한 컴퓨터가 필요하다. 2010년대 초 AI는 소수의 그래픽 처리 장치(AI에 중요한 병렬 처리에 탁월한 컴퓨터 칩)에서 실행되었지만 컴퓨팅 요구 사항은 기하급수적으로 증가했으며 상위 모델에는 이제 수백 또는 수천 개의 그래픽 처리 장치가 필요하다. OpenAI, Microsoft, Meta 및 기타 회사는 작업을 처리하기 위해 전용 슈퍼컴퓨터를 구축하고 있으며 이러한 AI 기계는 지구상에서 가장 빠른 기계 중 하나라고 한다.

그러나 GPU가 AI 확장에 결정적인 역할을 했음에도 불구하고(예를 들어 Nvidia의 A100은 여전히 ​​AI 클러스터에서 가장 빠르고 가장 일반적으로 사용되는 칩 중 하나이다) AI를 위해 특별히 설계된 더 이상한 대안이 최근 몇 년 동안 나타났다. Cerebras는 그러한 대안 중 하나를 제공한다.

AI의 식사 만들기

한 쪽이 약 8.5인치인 디너 플레이트 크기인 이 회사의 웨이퍼 스케일 엔진은 단일 실리콘 웨이퍼에 에칭된 2조 6000억 개의 트랜지스터와 850,000개의 코어를 자랑하는 세계에서 가장 큰 실리콘 칩이다. 각 웨이퍼 스케일 엔진은 회사 CS-2 컴퓨터의 핵심 역할을 한다.

CS-2는 그 자체로 짐승이지만, 작년에 Cerebras는 MemoryX라는 외부 메모리 시스템 및 SwarmX라는 CS-2를 연결하는 시스템과 함께 CS-2를 연결하는 계획을 발표했다. 회사는 새로운 기술이 최대 192개의 칩을 연결하고 오늘날 가장 크고 가장 발전된 AI보다 2배 더 큰 모델을 훈련할 수 있다고 말했다.

Cerebras의 CEO이자 공동 설립자인 앤드류 펠드만(Andrew Feldman)은 “업계는 1조 매개변수 모델을 지나고 있으며 우리는 그 경계를 1000조 개의 매개변수로 확장하여 120조 매개변수로 뇌 규모의 신경망을 가능하게 하고 있다.”고 말했다.

당시에는 이 모든 것이 이론적인 것이었다. 그러나 지난 주에 회사는 16개의 CS-2를 함께 연결하여 세계적 수준의 AI 슈퍼컴퓨터로 만들겠다고 발표했다.

안드로메다를 만나다

Andromeda라고 하는 새로운 기계에는 16비트 절반 정밀도에서 엑사플롭(초당 1000조 작업) 이상의 속도를 낼 수 있는 1,350만 개의 코어가 있다. 코어의 고유한 칩으로 인해 Andromeda는 기존 CPU 및 GPU에서 실행되는 슈퍼컴퓨터와 쉽게 비교되지 않지만 Feldman은 HPC Wire에 Andromeda가 Argonne National Laboratory의 Polaris 슈퍼컴퓨터와 거의 동등하다고 말했다. 최신 Top500 목록에 따르면 세계에서 17번째로 빠른 순위이다.

성능 외에도 Andromeda의 빠른 빌드 시간, 비용 및 설치 공간은 주목할 만하다. Argonne은 2021년 여름에 Polaris를 설치하기 시작했으며 약 1년 후 슈퍼컴퓨터가 가동되었다. 40개의 랙을 차지하며, 파일링 캐비닛과 같은 인클로저에는 슈퍼컴퓨터 구성 요소가 들어 있다. 그에 비해 Andromeda는 3,500만 달러(동급 기계 치고는 적당한 가격)에 조립하는 데 단 3일이 걸렸고 16개의 랙만 사용한다.

Cerebras는 OpenAI의 대형 언어 모델 GPT-3과 Eleuther AI의 오픈 소스 GPT-J 및 GPT-NeoX의 5가지 버전을 교육하여 시스템을 테스트했다. 그리고 Cerebras에 따르면 아마도 가장 중요한 발견은 Andromeda가 대규모 언어 모델에 대한 AI 워크로드의 "거의 완벽한 선형 확장"이라고 부르는 것을 입증했다는 것이다. 즉, CS-2가 추가됨에 따라 훈련 시간이 그에 비례하여 감소한다.

일반적으로 회사는 더 많은 칩을 추가할수록 성능 향상이 감소한다고 말했다. 반면에 Cerebras의 WSE 칩은 850,000개의 코어가 동일한 실리콘 조각에서 서로 연결되어 있기 때문에 더 효율적으로 확장할 수 있다. 또한 각 코어에는 바로 옆에 메모리 모듈이 있다. 종합하면 이 칩은 코어와 메모리 간에 데이터를 이동하는 데 소요되는 시간을 줄인다.

“선형 확장이란 하나에서 두 개의 시스템으로 전환할 때 작업을 완료하는 데 절반의 시간이 걸린다는 것을 의미한다. 이는 컴퓨팅에서 매우 특이한 속성이다.”라고 Feldman은 HPC Wire에 말했다. 그리고 그는 16개의 연결된 시스템 이상으로 확장할 수 있다고 말했다.

Cerebras의 자체 테스트 외에도 선형 확장 결과는 연구원들이 안드로메다를 사용하여 코로나19 게놈의 긴 시퀀스에 대해 GPT-3-XL 대형 언어 알고리즘을 훈련시킨 아르곤 국립 연구소의 작업 중에도 시연되었다.

물론 시스템이 16 CS-2를 초과하여 확장될 수 있지만 선형 확장이 어느 정도 지속되는지는 두고 봐야 한다. 또한 Cerebras가 다른 AI 칩과 어떻게 일대일을 수행하는지 아직 모른다. Nvidia 및 Intel과 같은 AI 칩 제조업체는 MLperf와 같은 정기적인 타사 벤치마킹에 참여하기 시작했다. Cerebras는 아직 참여하지 않았다.

여유 공간

그럼에도 불구하고 이 접근 방식은 슈퍼컴퓨팅 세계에서 자체 틈새 시장을 개척하는 것으로 보이며 큰 언어 AI의 지속적인 확장이 주요 사용 사례이다. 실제로 Feldman은 작년에 Wired에 회사가 이미 대규모 언어 모델의 선두 주자인 OpenAI의 엔지니어들과 이야기하고 있다고 말했다. (OpenAI 설립자인 Sam Altman도 Cerebras의 투자자이다.)

2020년 출시된 OpenAI의 대형 언어 모델 GPT-3은 성능과 크기 면에서 게임을 변화시켰다. 1,750억 개의 매개변수를 고려하면 당시 가장 큰 AI 모델이었고 그 능력으로 연구자들을 놀라게 했다. 그 이후로 언어 모델은 수조 개의 매개 변수에 도달했으며 더 큰 모델이 출시될 수 있다. OpenAI가 멀지 않은 미래에 GPT-4를 출시하고 GPT-3에서 또 다른 도약이 될 것이라는 소문이 있다. (우리는 그 수에 대해 기다려야 할 것이다.)

즉, 기능에도 불구하고 큰 언어 모델은 완벽하지도 않고 보편적으로 사랑받는 것도 아니다. 그들의 결함에는 거짓, 편향, 공격적일 수 있는 출력이 포함된다. 과학 텍스트로 훈련된 Meta의 Galactica가 최근의 예이다. 개방형 인터넷에서 훈련하는 것보다 독성이 덜하다고 가정할 수 있는 데이터 세트에도 불구하고 모델은 쉽게 유해하고 부정확한 텍스트를 생성하도록 유도되어 단 3일 만에 삭제되었다. 연구원들이 언어 AI의 단점을 해결할 수 있는지 여부는 불확실하다.

그러나 수익 감소가 시작될 때까지 규모 확대가 계속될 것 같다. 다음 도약은 코앞에 닥칠 수 있으며 우리는 이미 이를 실현할 하드웨어를 보유하고 있을 수 있다.

이미지 출처: Cerebras