협동 학습: AI가 세상을 이해하는 데 비디오와 텍스트가 어떻게 도움이 될까?

 

인공지능 분야는 최근 몇 년 동안 눈부신 발전을 이루었지만 한 가지 끊임없는 과제가 남아 있다. 즉, 기계가 여러 소스의 복잡한 정보를 이해하도록 가르치는 것이다. Sakana AI의 연구원들은 최근 "비디오와 텍스트의 분리된 표현에 대한 협동 학습"이라는 논문에서 이 문제를 탐구했다. 시각적 데이터와 텍스트 데이터를 결합하여 AI 시스템이 학습할 수 있도록 하는 새로운 접근 방식을 도입하여 기계가 주변 세계를 이해하고 처리하는 방식을 개선할 수 있는 새로운 잠재력을 제공한다.

 

단일 소스 학습의 문제

오늘날 대부분의 머신러닝 모델에서 AI 시스템은 비디오 데이터 또는 텍스트 데이터를 사용하여 패턴을 인식하도록 훈련되지만 동시에 두 가지를 모두 사용하는 경우는 거의 없다. 이 방법은 이미지 인식과 자연어 처리 분야에서 큰 발전을 가져왔지만 한계가 있다. AI가 하나의 소스에서만 학습할 경우 인간의 인식이 자연스럽게 통합하는 풍부한 맥락이 부족하다. 예를 들어, 기계는 비디오의 장면을 인식할 수 있지만 그에 수반되는 텍스트나 음성 언어를 이해하지 않으면 의미를 완전히 파악하지 못할 수 있다.

 

 

얽힌 표현: 새로운 접근 방식

 

데이터 흐름 공간(레이어)에서 모델 병합(제공: Sakana.ai)

이러한 한계를 극복하기 위해 연구진은 AI 시스템이 비디오와 텍스트 모두에서 중요한 요소를 분리하는 분리 표현 학습(Disentangled Representation Learning)이라는 방법을 제안한다. 이러한 요소에는 장면의 개체, 수행 중인 작업 또는 단어와 시각적 개체 간의 관계가 포함될 수 있다. 이러한 요소를 분리함으로써 모델은 두 소스 모두에서 더 효과적으로 학습하여 세상에 대한 더 완전한 이해를 포착할 수 있다.

 

특히, 얽힌 표현은 여러 가지 방법으로 학습에 도움이 된다:

1.핵심 요소의 분리: AI는 장면 속 객체, 수행 중인 동작, 단어와 시각적 관계 등 다양한 요소를 분리함으로써 각 구성 요소를 보다 명확하게 구분하고 분석할 수 있다. 이러한 분리를 통해 모델은 데이터의 특정 측면에 집중할 수 있으므로 각 소스를 보다 포괄적으로 이해할 수 있다.

2.향상된 상황 이해: 이 방법은 상황을 통합하는 방식으로 시각적 데이터와 텍스트 데이터를 결합한다. 예를 들어, AI가 요리법 텍스트도 처리하고 재료와 단계를 시각적 단서와 연결하면 요리 과정 비디오를 이해하는 것이 더 정확해진다. 그 결과 정보가 더욱 풍부하고 미묘한 표현으로 표현된다.

3.향상된 학습 효율성: 이러한 요소를 분리함으로써 AI는 두 소스 모두에서 보다 효율적으로 학습할 수 있다. 이는 데이터를 하나의 전체로 처리할 때 발생할 수 있는 혼란을 방지하여 시각적 정보와 텍스트 정보를 더 잘 정렬하고 해석할 수 있게 해준다.

4.실제 적용 가능성: 이 접근 방식을 통해 AI는 데이터가 본질적으로 다중 모드인 실제 시나리오를 더 잘 처리할 수 있다. 예를 들어, 자율 주행에서 분리된 학습은 시각적 입력(예: 도로 표지판)과 텍스트 지침(예: 속도 제한)을 연관시켜 의사 결정을 개선하는 데 도움이 된다.

 

이 접근 방식의 참신함은 시스템이 협력적으로 학습하는 방식에 있다. 비디오와 텍스트를 독립적인 정보 소스로 처리하는 대신 모델은 두 가지를 동시에 사용하여 텍스트가 시각적인 내용에 대한 맥락을 제공할 수 있도록 하고 그 반대의 경우도 마찬가지이다. 이러한 협력 학습은 AI가 비디오의 표면적 특징이나 텍스트의 문자 그대로의 의미 이상을 이해하는 더욱 풍부한 표현으로 이어진다.

 

인간처럼 학습하도록 AI 교육

 

이러한 협동 학습 접근 방식은 인간이 정보를 처리하는 방식을 반영한다. 비디오를 볼 때 우리는 화면의 이미지만 보는 것이 아니라 언어를 사용하여 무슨 일이 일어나고 있는지 설명하고 감각을 연결한다. 예를 들어, 다큐멘터리에서 우리는 내레이터의 설명을 통해 서식지에 있는 동물의 시각을 이해하고, 이는 우리가 보는 것에 여러 겹의 의미를 더한다.

 

 

EvoVLM-JP의 답변 예(제공: Sakana.ai)

마찬가지로, 이 방법을 통해 AI는 비디오와 텍스트 데이터를 결합하여 현실 세계에 대한 더욱 풍부하고 얽힌 표현을 학습할 수 있다. 이 모델은 비디오 클립을 텍스트 설명과 정렬하도록 학습되어 비디오의 특정 장면이 텍스트 설명과 어떻게 일치하는지 더 잘 이해할 수 있도록 도와준다. 이 다중 모드 학습은 AI 시스템이 다양한 유형의 데이터에 대한 깊은 이해가 필요한 작업을 처리할 수 있는 새로운 가능성을 열어준다.

 

협동학습의 잠재적 응용

이 연구의 의미는 엄청나다. 한 가지 잠재적인 응용 분야는 자율 주행 자동차와 같은 자율 시스템에 있으며, 이는 결정을 내리기 위해 시각적 및 언어적 정보를 지속적으로 분석해야 한다. 시각적 요소와 텍스트 요소를 분리함으로써 AI 기반 자동차는 도로 표지판, 교통 신호 또는 승객의 구두 지시를 더 잘 이해할 수 있다.

 

이것이 큰 영향을 미칠 수 있는 또 다른 영역은 콘텐츠 추천 시스템이다. 비디오와 텍스트 콘텐츠에 대한 더 깊은 이해를 통해 YouTube나 Netflix와 같은 시스템은 비디오 콘텐츠와 텍스트 설명 또는 자막에 대한 미묘한 이해를 바탕으로 사용자에게 비디오를 연결하여 보다 개인화된 추천을 제공할 수 있다.

 

과제와 향후 방향

이 협동 학습 모델은 큰 가능성을 보여주지만 도전 과제도 따른다. 우선, 의미 있는 방식으로 텍스트와 비디오를 정렬하려면 고품질 데이터와 라벨이 잘 지정된 예가 필요하다. 더욱이 성능을 지속적으로 향상시키는 방식으로 표현을 풀어내는 것은 특히 다양한 실제 시나리오에서 어려운 작업으로 남아 있다.

 

 

연구원들은 또한 이 모델이 다양한 유형의 비디오와 텍스트에서 어떻게 작동하는지, 그리고 오디오나 센서 데이터와 같은 다른 양식으로 확장될 수 있는 방법을 탐색하려면 더 많은 작업이 필요하다는 점을 인정한다.

 

결론

"비디오와 텍스트의 분리된 표현에 대한 협동 학습"이라는 논문은 인공지능이 여러 데이터 소스에서 어떻게 더 효과적으로 학습할 수 있는지에 대한 새로운 관점을 제시한다. AI가 비디오와 텍스트 모두에서 협력적으로 학습할 수 있도록 함으로써 연구원들은 기계 인식의 한계를 넓히는 데 도움을 주고 있다. 이러한 접근 방식은 자율 시스템에서 콘텐츠 추천에 이르기까지 분야를 혁신할 수 있는 잠재력을 보유하고 있으며, 그 어느 때보다 더 인간적인 깊이와 맥락으로 세상을 이해할 수 있는 AI의 길을 열어준다.