OpenAI의 ChatGPT 및 Google의 Bard와 같은 대화형 AI 모델은 전체 인터넷 정보를 마음대로 사용할 수 있는 것처럼 보이지만 사용자 프롬프트에 관한 한 한계가 있다. AI 봇은 인간처럼 단어와 문장을 처리하지 않는다. 대신 토큰의 형태로 분해한다. OpenAI에 따르면 토큰은 영어로 약 4자 또는 단어의 약 3/4에 해당한다.

몇 개의 문장은 최대 30개의 토큰을 사용하는 반면 1,500단어 에세이는 2,048개의 토큰을 사용한다. 하지만 상한선이 있다. ChatGPT는 최대 8,000개의 토큰을 사용하는 프롬프트만 처리할 수 있는 반면, 확장 버전은 32,000개의 토큰 프롬프트를 허용한다. 간단히 말해서, ChatGPT가 모든 내용을 흡수하고 관련 답변을 제공하기를 기대하면서 책 한 권 분량의 프롬프트를 입력할 수 없다.

OpenAI 졸업생이 시작한 샌프란시스코 기반 AI 연구소인 Anthropic을 살펴본다. 이 회사는 자사의 Claude AI 모델이 이제 최대 100,000개의 토큰을 사용하는 입력을 처리할 수 있다고 말했는데, 이는 이전의 9,000개 토큰 한도에서 크게 증가한 것이다. 새로운 천장을 원근감 있게 보기 위해 100,000개의 토큰은 75,000단어의 프롬프트 또는 전체 소설로 변환된다.

즉, Claude는 버지니아 울프의 "댈러웨이 부인", 로버트 루이스 스티븐슨의 "보물섬", 오스카 와일드의 "도리안 그레이의 초상"과 같은 단어 수의 책 전체에 해당하는 프롬프트를 받아들일 수 있다. 기본적으로 이 책들을 Claude의 프롬프트 필드에 복사하여 붙여넣을 수 있으며 책의 등장인물과 줄거리 왜곡에 대해 가질 수 있는 모든 후속 질문에 답하게 된다.

Anthropic은 약 72,000 토큰에 해당하는 F. 스콧 피츠제럴드의 "위대한 개츠비"의 전체 텍스트를 제공했으며 책에서 잘못된 줄을 따랐다. Claude는 책 전체를 파싱하여 22초 만에 올바른 줄을 뽑았다. Anthropic 주장하길 Claude는 1분 이내에 100,000 토큰에 해당하는 입력을 처리할 수 있다. 실제 관점에서 보면 인간은 약 100,000개의 토큰이 필요한 텍스트를 읽는 데 5시간 이상이 걸린다.

그러나 광범위한 텍스트 자료를 읽는 것은 방정식의 한 부분일 뿐이다. 관련 질문에 답할 수 있으려면 자료를 내면화해야 하며, 이 과정은 5시간 이상 소요된다. 수정 사항을 발견하려면 사람이 모든 단어를 기억해야 한다. 그것은 엄청난 노력이며 달성하는 데 며칠, 어쩌면 몇 달이 걸릴 것이다. Claude는 1분도 안 되어 그 위업을 달성할 수 있다.

Anthropic은 Claude가 간단한 쿼리뿐만 아니라 다단계 프롬프트 체인에 대한 준비가 되어 있다고 주장한다. "복잡한 질문의 경우 벡터 검색 기반 접근 방식보다 훨씬 더 잘 작동할 가능성이 높다."라고 회사는 말한다. 관련 정보 덩어리를 찾기 위해 거대한 문서 카탈로그를 샅샅이 조사해야 하는 기업의 경우 특히 그렇다. Claude의 새로운 초능력은 이제 Anthropic의 API를 통해 비즈니스 클라이언트에서 사용할 수 있지만, 물을 줄인 버전이 Bard, Bing Chat 또는 ChatGPT에 액세스할 수 있는 방식으로 퍼블릭 도메인에 제공될지는 미지수이다.