머신러닝 재고: 스티븐 울프람의 단순성 사례

 

이 기사에서는 8월 24일에 출판된 스티븐 울프람(Stephen Wolfram)의 간단한 머신러닝 모델에 대한 최신 연구를 검토한다. 영국계 미국인 컴퓨터 과학자이자 물리학자인 울프람은 컴퓨터 대수학에서 선구적인 발전과 이론 물리학에서 기초적인 역할을 한 것으로 널리 알려져 있다. 그는 지난 30년 동안 Mathematica와 Wolfram|Alpha와 같은 도구를 구동하는 울프람 언어를 개발했다. 현대 과학과 교육을 형성한 것으로 알려진 울프람의 기여에는 2002년 영향력 있는 책인 새로운 종류의 과학(A New Kind of Science)이 포함되며 머신러닝과 같은 최첨단 분야에 계속 영향을 미치고 있다.

 

연구자와 엔지니어는 수년 동안 머신러닝(ML)의 복잡한 작동 방식을 이해하려고 노력했다. 하지만 스티븐 울프람(Stephen Wolfram)은 우리가 중요한 요점을 놓치고 있을 수 있다고 제안한다. ML의 성공 뒤에 더 간단하고 근본적인 설명이 있을 수 있을까? 울프람은 최근 탐구에서 최소 모델이 ML 시스템의 기본 구조를 설명하는 데 도움이 될 가능성을 탐구하여 이 복잡한 분야에 대한 새로운 관점을 제시한다.

 

머신러닝: 뉴런 계층만이 아니다.

ML의 핵심에서 우리는 종종 뉴런 계층을 그려보며 복잡한 알고리즘을 통해 데이터를 처리한다. 계층이 많을수록 더 강력해진다. 맞는가? 울프람은 이 가정에 의문을 제기한다. 머신러닝 모델을 뉴런이 쌓인 "블랙박스"로 보는 대신, 그는 새로운 사고방식을 제안한다. 규칙 기반 시스템이다. 이러한 시스템은 사물을 지나치게 복잡하게 만들지 않고도 머신러닝이 실제로 어떻게 작동하는지 보는 데 도움이 될 수 있다.

 

신경망이 함수를 재생성하도록 "훈련"하기 위해 편향으로 연속적으로 조정되는 가중치의 무작위 컬렉션이다. 끝 부분의 스파이크는 전반적인 동작에 영향을 미치지 않는 "중립적 변화"에서 비롯된다. (출처: Wolfram, "머신러닝에서 실제로 무슨 일이 일어나고 있는가? 일부 최소 모델")

 

간단한 규칙의 출현

울프람이 제시하는 핵심 통찰력 중 하나는 간단한 규칙이 ML 모델에서 보는 것과 같은 종류의 패턴을 만들어낼 수 있다는 것이다. 이러한 간단한 규칙은 시간이 지남에 따라 적용되면 자연 시스템에서 관찰되는 것과 매우 유사한 매우 복잡한 행동을 생성한다. 울프람은 ML 모델이 복잡해 보이지만 그 위에 구축된 복잡한 구조 때문에 간과하기 쉬운 간단한 기본 원칙에 의해 지배될 수 있다고 주장한다.

 

"진행적 적응"을 통해 3색 셀룰러 오토마타가 생성한 패턴. 여기에 적용된 규칙은 (단일 셀 초기 조건에서) 생성된 패턴이 정확히 40단계 동안 지속된 다음 사라진다는 것이다(즉, 모든 셀이 흰색이 됨). (출처: Wolfram, “머신러닝에서 실제로 무슨 일이 일어나고 있는가? 몇 가지 최소 모델")

 

간단한 모델이 딥 러닝을 대체할 수 있을까?

울프람은 우리가 최소 모델을 채택하면 머신러닝을 더 이해하기 쉽게 만들 수 있을 것이라고 제안한다. 예를 들어, 우리는 셀룰러 오토마타를 취할 수 있다. 셀룰러 오토마타는 각 "셀"이 오늘날 ML에서 볼 수 있는 다층 시스템만큼 복잡한 동작을 생성할 수 있는 일련의 로컬 규칙을 따르는 간단한 시스템이다. 본질적으로 복잡한 동작을 복제하는 데 항상 딥 러닝이 필요한 것은 아니다. 간단한 모델도 종종 동일한 결과를 얻을 수 있다.

 

최소 모델이 ML의 성공을 설명하는 방식

그렇다면 이것이 왜 중요할까? 울프람의 주장은 ML 모델의 성공에 대한 새로운 관점을 제공한다. 그는 머신러닝을 효과적으로 만드는 많은 요소가 모델의 깊이나 복잡성이 아니라 이러한 모델이 보편적인 규칙 기반 접근 방식을 활용할 수 있다는 사실일 수 있다고 믿는다. 충분한 시간이 주어지면 가장 간단한 규칙조차도 현대 AI 시스템에서 볼 수 있는 복잡한 동작을 만들어낼 수 있다.

 

"규칙 배열"을 사용하여 50단계를 견뎌낸 또 다른 패턴. 처음에는 그러한 규칙 배열을 찾는 것이 명확하지 않을 수 있지만, 간단한 적응적 절차는 이를 쉽게 해낸다. (출처: Wolfram, "머신러닝에서 실제로 무슨 일이 일어나고 있는가? 일부 최소 모델")

머신러닝 이해의 미래

울프람의 연구는 연구자들이 뉴런과 계층의 기술적 측면을 넘어 생각하도록 촉구한다. 그는 ML 커뮤니티가 머신러닝의 성과를 설명하기 위해 더 간단한 프레임워크를 탐색하도록 도전한다. 이를 통해 더 효율적인 모델이 탄생할 수 있을까? 아니면 AI에서 혁신할 새로운 방법이 열릴까? 더 많은 연구자들이 최소 모델 개념을 조사함에 따라 이러한 간단한 원리가 항상 존재하여 우리가 만든 복잡한 시스템을 안내한다는 것을 알게 될 것이다.

 

주요 요점

 

머신러닝은 항상 매우 복잡한 분야로 여겨졌지만 울프람의 최소 모델에 대한 통찰력은 상쾌하고 거의 철학적인 견해를 제공한다. 이 분야가 발전함에 따라 인공지능에 대한 이해를 단순화하는 보다 기본적이고 규칙 기반 시스템을 탐색하는 방향으로 전환되는 것을 볼 수 있다. 그리고 이러한 단순함 속에서 머신러닝의 지속적인 진화 뒤에 있는 진정한 힘을 발견할 수 있다.

울프람의 최소 모델을 실제로 검증하기

울프람이 간단한 규칙을 사용하여 머신러닝(ML)을 설명한다는 아이디어는 흥미롭지만, 다른 관점을 고려하는 것이 중요하다. 현재 ML 시스템, 특히 딥 러닝 모델은 복잡한 구조와 사용하는 엄청난 양의 데이터와 컴퓨팅 파워 덕분에 매우 잘 작동한다.

 

고려해야 할 핵심 사항은 다음과 같다:

1.간단한 모델이 복잡한 모델을 대체할 수 있을까?: 현재의 딥 러닝 시스템과 동일한 작업을 수행하기 위해 최소한의 규칙 기반 모델을 구축하고 학습하는 것은 훨씬 더 어려울 수 있다. 이러한 간단한 모델이 실제로 딥 러닝 모델이 하는 일을 할 수 있는지 확인해야 한다. 특히 우리가 가진 리소스로 큰 작업을 처리할 때 더욱 그렇다.

2.성능 평가: 실제 문제에서 이러한 간단한 모델의 실용적인 버전을 만들고 테스트해야 한다. 오늘날의 딥 러닝 모델과 얼마나 잘 수행되는지 비교한다.

3.확장성 및 리소스 확인: 이러한 최소한의 모델이 어떻게 확장되는지, 그리고 얼마나 많은 데이터, 컴퓨팅 파워, 에너지가 필요한지 살펴보라. 이러한 요구 사항을 현재 딥 러닝 시스템의 요구 사항과 비교한다.

4.실용적인 테스트: 울프람의 접근 방식이 효과적인지 실제로 이해하려면 이러한 최소한의 모델을 실제로 테스트하고 덜 복잡하게도 비슷한 결과를 얻을 수 있는지 확인해야 한다.

이러한 측면을 살펴보면 간단한 모델이 오늘날 우리가 사용하는 복잡한 시스템을 대체할 수 있는 실용적인 대안이 될 수 있는지, 아니면 현재 ML 모델의 성공이 복잡성과 광범위한 리소스 사용에 달려 있는지를 더 잘 이해할 수 있다.