2024년 언어 AI: 규모, 보호책 및 AI 에이전트를 향한 단계

 

작은 AI가 큰 반향을 일으키다.

ChatGPT와 같은 AI 제품은 방대한 양의 텍스트로 학습하고 설득력 있는 인간과 유사한 언어를 생성하는 대규모 언어 모델 또는 LLM이다. 크기는 일반적으로 매개변수로 측정되며, 매개변수는 모델이 학습 데이터에서 도출한 수치 값이다. 주요 AI 회사의 모델과 같은 대규모 모델은 수천억 개의 매개변수를 가지고 있다.

대규모 언어 모델과 소규모 언어 모델 간에는 반복적인 상호 작용이 있으며, 이는 2024년에 가속화된 것으로 보인다.

 

첫째, 가장 많은 계산 리소스를 보유한 조직은 점점 더 크고 강력한 언어 모델을 실험하고 학습한다. 이를 통해 새로운 대규모 언어 모델 기능, 벤치마크, 학습 세트 및 학습 또는 프롬프트 트릭이 생성된다. 차례로 이를 사용하여 30억 개 이하의 매개변수 범위에 있는 소규모 언어 모델을 만드는데, 이는 더 저렴한 컴퓨터 설정에서 실행할 수 있고, 학습에 필요한 에너지와 메모리가 적으며, 더 적은 데이터로 미세 조정할 수 있다.

 

따라서 개발자들이 강력한 소규모 언어 모델을 다수 출시한 것은 놀라운 일이 아니다. 소규모의 정의는 계속 바뀌고 있다. Microsoft의 Phi-3 및 Phi-4, Llama-3.2 1B 및 3B, Qwen2-VL-2B는 몇 가지 예일 뿐이다.

 

이러한 소규모 언어 모델은 주석 세트를 빠르게 요약하거나 특정 참조에 대해 텍스트를 사실 확인하는 것과 같이 보다 구체적인 작업에 특화될 수 있다. 이들은 더 큰 사촌과 협력하여 점점 더 강력한 하이브리드 시스템을 생성할 수 있다.

 

소규모 언어 모델 AI란 무엇이고, 왜 필요한가요?

더 넓은 접근성

대규모 및 소규모의 고성능 언어 모델에 대한 접근성이 높아지면 엇갈린 축복이 될 수 있다. 2024년에는 전 세계적으로 많은 중요한 선거가 있었기 때문에 언어 모델을 오용하려는 유혹이 컸다.

 

언어 모델은 악의적인 사용자에게 소셜 미디어 게시물을 생성하고 여론을 속이는 방식으로 영향을 미칠 수 있는 기능을 제공할 수 있다. 2024년에는 많은 국가에서 선거 연도였기 때문에 이러한 위협에 대한 우려가 컸다.

 

실제로 조 바이든 대통령의 목소리를 위조한 로보콜은 뉴햄프셔 민주당 예비 선거 유권자들에게 집에 머물 것을 요청했다. OpenAI는 모델을 속이는 캠페인에 사용하려는 20개 이상의 운영 및 속이는 네트워크를 중단하기 위해 개입해야 했다. 가짜 비디오와 밈은 AI 도구의 도움으로 만들어지고 공유되었다.

 

AI 허위 정보를 둘러싼 불안에도 불구하고 이러한 노력이 여론과 미국 선거에 실제로 어떤 영향을 미쳤는지는 아직 명확하지 않다. 그럼에도 불구하고 미국 주들은 2024년에 선거와 캠페인에서 AI 사용을 규제하는 많은 양의 법안을 통과시켰다.

 

오작동하는 봇

Google은 검색 결과에 AI 개요를 포함하기 시작했으며, 피자에 접착제를 넣는 것을 좋아하지 않는 한 우스꽝스럽고 명백히 잘못된 결과가 나왔다. 그러나 옷을 세탁하기 위해 표백제와 식초를 섞으라고 제안한 것처럼 다른 결과는 위험할 정도로 잘못되었을 수 있다.

 

가장 일반적으로 구현되는 대규모 언어 모델은 환각에 취약하다. 즉, 종종 자신감 있는 언어로 거짓이거나 오해의 소지가 있는 내용을 말할 수 있다. 나와 다른 사람들이 이에 대해 계속해서 강조했지만, 2024년에도 많은 조직이 AI 환각의 위험에 대해 힘든 방법으로 배웠다.

 

상당한 테스트에도 불구하고 가톨릭 사제 역할을 하는 챗봇이 게토레이드를 통한 세례를 옹호했다. 뉴욕시 법률과 규정에 대해 조언하는 챗봇은 "성희롱에 대해 불평하거나 임신 사실을 밝히지 않거나 드레드락을 자르기를 거부하는 근로자를 고용주가 해고하는 것은 합법"이라고 잘못 말했다. 그리고 OpenAI의 말하기 모델은 말할 차례가 누구인지 잊고 자신의 목소리로 인간에게 대답했다.

 

다행히도 2024년에는 AI 환각을 완화하고 수용할 수 있는 새로운 방법도 나타났다. 기업과 연구자들은 AI 시스템이 배포 전에 주어진 규칙을 따르도록 하는 도구와 이를 평가할 수 있는 환경을 개발하고 있다. 소위 가드레일 프레임워크는 종종 다른 계층의 대규모 언어 모델을 사용하지만, 대규모 언어 모델 입력과 출력을 실시간으로 검사한다.

 

그리고 AI 규제에 대한 논의가 가속화되어 대규모 언어 모델 공간의 주요 참여자들이 책임감 있게 AI를 확장하고 활용하는 정책을 업데이트하게 되었다.

 

하지만 연구자들이 환각을 줄이는 방법을 지속적으로 찾고 있지만, 2024년의 연구에서는 AI 환각이 어떤 형태로든 항상 존재할 것이라는 것을 설득력 있게 보여주었다. 이는 개체가 유한한 계산 및 정보 리소스를 가지고 있을 때 발생하는 일의 근본적인 특징일 수 있다. 결국 인간조차도 때때로 자신 있게 잘못 기억하고 거짓을 말하는 것으로 알려져 있다.

 

에이전트의 부상

특히 트랜스포머 아키텍처의 변형으로 구동되는 대규모 언어 모델은 여전히 ​​AI에서 가장 중요한 발전을 주도하고 있다. 예를 들어, 개발자는 대규모 언어 모델을 사용하여 챗봇을 만들뿐만 아니라 AI 에이전트의 기반으로 사용한다. "에이전트 AI"라는 용어는 2024년에 유명해졌고, 일부 전문가들은 이를 AI의 세 번째 물결이라고 부르기도 한다.

 

AI 에이전트가 무엇인지 이해하려면 두 가지 방식으로 확장된 챗봇을 생각해 보라. 첫째, 조치를 취할 수 있는 기능을 제공하는 도구에 대한 액세스 권한을 부여한다. 이는 외부 검색 엔진에 쿼리를 보내거나 항공편을 예약하거나 계산기를 사용하는 기능일 수 있다. 둘째, 자율성을 높이거나 스스로 더 많은 결정을 내릴 수 있는 기능을 부여한다.

 

예를 들어, 여행 AI 챗봇은 사용자가 제공한 정보에 따라 항공편을 검색할 수 있지만, 도구가 장착된 여행사는 이벤트 찾기, 예약 및 캘린더에 추가를 포함하여 전체 여행 일정을 계획할 수 있다.

 

AI 에이전트는 여러 단계의 작업을 스스로 수행할 수 있다.

2024년에 AI 에이전트를 개발하기 위한 새로운 프레임워크가 등장했다. 몇 가지 예를 들자면 LangGraph, CrewAI, PhiData, AutoGen/Magentic-One이 2024년에 출시되거나 개선되었다.

기업은 이제 막 AI 에이전트를 도입하기 시작했다. AI 에이전트를 개발하기 위한 프레임워크는 새롭고 빠르게 진화하고 있다. 게다가 보안, 개인정보 보호 및 환각 위험도 여전히 우려 사항이다.

 

하지만 글로벌 시장 분석가들은 이것이 바뀔 것으로 예측한다. 설문 조사에 참여한 조직의 82%가 1~3년 내에 에이전트를 사용할 계획이며, 현재 생성 AI를 사용하는 모든 회사의 25%가 2025년에 AI 에이전트를 도입할 가능성이 높다.

 

글쓴이: John Licato, 사우스 플로리다 대학교의 [인간과 기계의 추론을 발전시키기 연구실] 책임자로서 인공지능, 자연어 처리, 인간 추론의 교차점을 연구한다. 또한 언어 모델에 대한 취약성 스캐너를 제공하는 AI 스타트업에서 이 연구를 상용화하고 있다.