당신의 AI는 당신이 생각하는 것보다 더 강력하다.

개념 공간 혁명

AI가 패턴을 일치시킬 뿐이라고 생각했던 때를 기억하는가? 새로운 연구에서는 이제 "개념 공간"이라고 부르는 것을 매핑하여 AI 학습의 블랙박스를 열었다. AI 학습을 각 좌표가 색상, 모양 또는 크기와 같은 다른 개념을 나타내는 다차원 맵으로 상상해 보라. 연구자들은 훈련 중에 AI 모델이 이 공간을 어떻게 움직이는지 관찰하여 예상치 못한 것을 발견했다. AI 시스템은 단순히 암기하는 것이 아니라 서로 다른 속도로 개념에 대한 정교한 이해를 구축한다.

연구팀은 "이 공간에서 학습 역학을 특성화함으로써 개념이 학습되는 속도가 데이터의 속성에 의해 제어되는 방식을 식별한다."라고 말한다. 다시 말해, 훈련 데이터에서 얼마나 두드러지게 나타나는지에 따라 일부 개념은 다른 개념보다 더 빨리 이해된다.

이것이 흥미로운 이유는 AI 모델이 이러한 개념을 배울 때 단순히 고립된 정보 조각으로 저장하지 않는다는 것이다. 실제로 그들은 우리가 명시적으로 가르치지 않은 방식으로 혼합하고 일치시키는 능력을 개발한다. 마치 그들이 자신만의 창의적인 도구 키트를 만드는 것과 같다. 우리는 그저 그것을 사용하는 데 대한 올바른 지침을 제공하지 않았을 뿐이다.

이것이 AI 프로젝트에 어떤 의미를 갖는지 생각해 보라. 여러분이 작업하고 있는 그 모델들은 여러분이 아직 발견하지 못한 복잡한 개념 조합을 이미 이해하고 있을 수 있다. 문제는 그들이 더 많은 것을 할 수 있는지 여부가 아니라 그들이 실제로 무엇을 할 수 있는지 보여 주도록 하는 방법이다.

숨겨진 힘의 잠금 해제

여기서 흥미로운 점이 생긴다. 연구자들은 AI 모델이 학습하는 방식에 대한 근본적인 것을 밝히기 위해 우아한 실험을 설계했다. 그들의 설정은 속일 정도로 간단했다. 그들은 세 가지 유형의 이미지로만 AI 모델을 훈련했다:

●큰 빨간색 원

●큰 파란색 원

●작은 빨간색 원

그런 다음 핵심 테스트가 있었다. 모델이 작은 파란색 원을 만들 수 있을까? 이는 단순히 새로운 모양을 그리는 것이 아니라 모델이 두 가지 다른 개념(크기와 색상)을 이전에 본 적이 없는 방식으로 진정으로 이해하고 결합할 수 있는지에 대한 것이었다.

그들이 발견한 것은 AI 기능에 대한 우리의 생각을 바꾸었다. 그들이 일반적인 프롬프트를 사용하여 "작은 파란색 원"을 요청했을 때 모델은 어려움을 겪었다. 그러나 모델은 실제로 작은 파란색 원을 만들 수 있었다. 그저 우리가 올바른 방식으로 요청하지 않았을 뿐이다.

연구자들은 이를 증명하는 두 가지 기술을 발견했다:

1."잠복적 개입" - 이는 모델의 뇌로 통하는 뒷문을 찾는 것과 같다. 그들은 일반적인 프롬프트를 사용하는 대신 "파란색"과 "작은"을 나타내는 내부 신호를 직접 조정했다. 색상과 크기에 대한 별도의 다이얼이 있다고 상상해보자. 그들은 이러한 다이얼을 특정 방식으로 돌리면 모델이 갑자기 전에는 불가능해 보였던 것을 생성할 수 있다는 것을 발견했다.

2."과도한 프롬프트" - 그들은 단순히 "파란색"을 요구하는 대신 색상 값을 매우 구체적으로 지정했다. "파란색으로 만들어"라고 말하는 것과 "정확히 이 파란색 음영으로 만들어: RGB(0.3, 0.3, 0.7)"라고 말하는 것의 차이와 같다. 이러한 추가적인 정밀도는 모델이 일반적인 조건에서는 숨겨진 기능에 액세스하는 데 도움이 되었다.

두 기술 모두 모델 훈련의 정확히 동일한 지점에서 작동하기 시작했다. 약 6,000개의 훈련 단계였다. 한편, 일반적인 프롬프트는 완전히 실패하거나 작동하려면 8,000개 이상의 단계가 필요했다. 그리고 이것은 우연이 아니었습니다. 여러 테스트에서 일관되게 발생했다.

이는 우리에게 중요한 것을 알려준다. AI 모델은 두 가지 뚜렷한 단계에서 기능을 개발한다. 첫째, 그들은 실제로 개념을 내부적으로 결합하는 방법을 배운다. 이는 6,000단계에서 발생한다. 그러나 두 번째 단계에서는 이러한 내부 능력을 우리가 사물을 요구하는 일반적인 방식에 연결하는 방법을 배운다. 마치 모델이 해당 언어를 우리를 위해 번역하는 방법을 배우기 전에 새로운 언어에 유창해지는 것과 같다.

의미는 중요하다. 우리가 모델이 무언가를 할 수 없다고 생각할 때, 우리는 틀렸을 수 있다. 모델은 능력이 있지만 우리의 프롬프트와 기능 간의 연결이 부족할 수 있다. 이는 단순한 모양과 색상에만 적용되는 것이 아니라 더 큰 AI 시스템의 더 복잡한 기능에도 해당할 수 있다.

연구자들이 CelebA 얼굴 데이터 세트를 사용하여 실제 데이터에서 이러한 아이디어를 테스트했을 때 동일한 패턴을 발견했다. 그들은 모델이 "모자를 쓴 여성" 이미지를 생성하도록 시도했다. 이는 훈련에서 본 적이 없는 것이다. 일반적인 프롬프트는 실패했지만 잠재적 개입을 사용하면 모델이 실제로 이러한 이미지를 생성할 수 있다는 것을 알게 되었다. 기능은 있었지만 일반적인 수단을 통해 접근할 수 없었다.

핵심 요점

우리는 AI 역량을 평가하는 방식을 재고해야 한다. 모델이 표준 프롬프트로 무언가를 할 수 없다고 해서 전혀 할 수 없다는 것은 아니다. AI 모델이 할 수 있는 것과 우리가 그들에게 하게 할 수 있는 것 사이의 격차는 우리가 생각했던 것보다 작을 수 있다. 그저 묻는 데 더 능숙해져야 한다.

이 발견은 단순히 이론적인 것이 아니라 AI 시스템에 대한 우리의 생각을 근본적으로 바꿔놓는다. 모델이 어떤 작업에 어려움을 겪는 것처럼 보일 때, 우리는 그것이 정말로 역량이 부족한지 아니면 우리가 올바르게 접근하지 못하는 것인지 물어봐야 할 수도 있다. 개발자, 연구자, 사용자 모두에게 이는 AI와 상호 작용하는 방식에 창의성을 발휘해야 함을 의미한다. 때로는 우리에게 필요한 역량이 이미 존재하고, 그것을 잠금 해제할 올바른 열쇠만 기다리고 있을 뿐이다.