과제: LLM(대형 언어 모델)은 수많은 데이터를 "읽어" 자연어로 작성된 텍스트를 이해하고 생성하는 방법을 배운다. 예를 들어 OpenAI ChatGPT의 LLM은 인터넷과 기타 소스에서 가져온 텍스트에 대해 교육을 받았다.

LLM의 "지식"은 훈련 데이터에 포함된 콘텐츠로 제한되기 때문에 원래 ChatGPT는 훈련 데이터의 마감일(2022년 1월) 이후에 발생한 모든 것에 대해 권위 있게 말할 수 없다.

맞춤형 챗봇: 엔비디아 — 세계에서 세 번째로 큰 기술 회사가 이제 Chat with RTX라는 도구의 무료 데모를 출시했다. 이 도구를 사용하면 Meta's Llama와 같은 오픈 소스 LLM을 텍스트 파일과 비디오로 쉽게 맞춤 설정할 수 있다.

예를 들어 사용자 정의 챗봇에게 컴퓨터의 PDF 폴더에 대한 액세스 권한을 부여한 다음 해당 내용과 관련된 질문을 할 수 있다. 유튜브 재생 목록에 대한 링크를 제공하면 클립에 대한 질문에 대한 답변을 찾기 위해 비디오의 대본을 검색할 수 있다.

ChatGPT를 사용하여 이를 어느 정도 복제할 수 있지만(예를 들어 질문하기 전에 개인 파일의 텍스트를 채팅에 복사하여 붙여넣는 방식) AI가 클라우드에서 모든 처리를 수행하므로 누군가에게 위험을 초래할 수 있다. 정보에 대한 접근 권한을 얻는다.

게다가 클라우드 기반 AI는 일반적으로 주어진 시간에 메시지를 표시할 수 있는 데이터의 양에 대해 엄격한 제한이 있으므로 긴 PDF 파일 하나라도 읽기에는 너무 길어질 수 있다.

RTX와의 채팅은 다르다. 무료이므로 구독이 필요하지 않으며 Windows PC에서 직접 실행된다. 이는 귀하의 개인 정보를 보호할 뿐만 아니라 바쁜 서버에 얽매이지 않기 때문에 잠재적으로 더 빠른 답변으로 이어질 수 있다.

한계점: RTX와의 채팅은 어떤 PC에서도 실행할 수 있는 것은 아니다. 시스템은 엔비디아의 하드웨어 요구 사항을 충족해야 한다. "최소 8GB VRAM을 갖춘 GeForce RTX 30 시리즈 GPU 이상 외에도 Chat with RTX를 사용하려면 Windows 10 또는 11과 최신 NVIDIA GPU 드라이버가 필요하다."

초기 리뷰에서는 도구에 여전히 약간의 버그가 있는 것으로 나타났다.

한 리뷰어가 맞춤형 챗봇에 동영상 링크를 제공하면 다른 동영상의 대본을 다운로드했고, 또 다른 리뷰에서는 질문에 올바르게 답변했지만 답변에 대해 잘못된 소스를 인용했다. 그러나 무료 데모에서는 결함이 예상된다.

큰 그림: 엔비디아는 이미 AI 혁명의 핵심 플레이어이다. 2023년 2월 현재 챗봇을 훈련하고 배포하는 데 필요한 그래픽 카드의 95%를 만들었으며, 최근에는 생성 AI를 로컬에서 실행하기 위해 특별히 제작된 하드웨어를 개발 및 출시하고 있다.

생성 AI 소프트웨어를 출시했지만 기업 고객을 대상으로 했다. 엔비디아가 향후 버전에서 Chat with RTX를 계속 개발한다면 더 안전하고 빠르며 저렴한 AI를 찾는 개인에게 큰 매력을 줄 수 있다.