About Us Investors Oz (기회특구) News
방문해 주셔서 감사합니다.
박영숙일정표 Photo/Events 공지사항 외국인사 방한·행사 언론보도 글로벌기업기관 사업들 BlockchainAI News BlockchainTechcenter
MOUs & Cooperations MP Millennium Project News


최신동영상


· Korea Offices 

  [일반] [AI 2배로 빨리 훈련] 옥스포드 연구원, 간단한 수학 트릭으로 AI를 2배 더 빠르게  게시글을 twitter로 보내기 게시글을 facebook으로 보내기 게시글을 카카오스토리로 보내기
write date : 2022-04-05 14:10:18   

[AI 2배로 빨리 훈련] 옥스포드 연구원, 간단한 수학 트릭으로 AI를 2배 더 빠르게 훈련. 신경망이 데이터를 처리하는 방법은 다양한 뉴런 간의 연결 강도에 따라 결정된다. 따라서 유용한 작업을 수행하도록 하려면 먼저 원하는 방식으로 데이터를 처리할 때까지 이러한 연결을 조정해야 한다. 두 단계로 분할되는 역전파(backpropagation)라는 프로세스를 사용하여 문제와 관련된 데이터에 대해 네트워크를 훈련하여 이를 수행한다.


[AI 2배로 빨리 훈련] 옥스포드 연구원, 간단한 수학 트릭으로 AI를 2배 더 빠르게 훈련

 

2022. 3. 22

 

AI 모델이 점점 더 커지면서 이를 훈련하는 데 필요한 돈과 에너지 의 양이 중요한 문제가 되었다. 해당 분야의 기본 빌딩 블록 중 하나를 다시 작성하는 새로운 접근 방식은 잠재적인 해결방법을 제공할 수 있다.

GPT-3 가 단순히 모델 크기를 늘리면 달성할 수 있는 성능의 상당한 향상을 입증한 이후 로 AI 업계의 리더들은 점점 더 방대한 신경망 을 훈련하는 데 리소스를 축적해 왔다.

그러나 이는 막대한 비용이 소요되고 막대한 컴퓨팅 리소스가 필요하며 막대한 전력을 사용한다. 이는 환경적 영향뿐만 아니라 소규모 AI 조직이 경쟁하기 어렵게 만들고 결과적으로 업계 리더의 손에 권력을 집중시키기 때문에 점점 더 문제로 인식되고 있다.

그러나 이제 옥스포드 대학의 연구원들은 잠재적으로 훈련 시간을 절반으로 줄일 수 있는 새로운 접근방식을 설명했다. 그들은 오늘날의 신경망 기반 AI 시스템에서 가장 기본적인 요소 중 하나인 역전파(backpropagation)를 다시 작성하여 그렇게 한다.

신경망이 데이터를 처리하는 방법은 다양한 뉴런 간의 연결 강도에 따라 결정된다. 따라서 유용한 작업을 수행하도록 하려면 먼저 원하는 방식으로 데이터를 처리할 때까지 이러한 연결을 조정해야 한다. 두 단계로 분할되는 역전파(backpropagation)라는 프로세스를 사용하여 문제와 관련된 데이터에 대해 네트워크를 훈련하여 이를 수행한다.

정방향 실행에는 네트워크를 통해 데이터를 공급하고 예측을 수행하는 작업이 포함된다. 역방향 패스에서는 이러한 예측의 정확도 측정값을 사용하여 네트워크를 다시 돌아가 성능을 향상시키기 위해 다양한 연결의 강도를 조정해야 하는 방법을 알아낸다. 많은 데이터를 사용하여 이 과정을 여러 번 반복함으로써 네트워크는 당면한 문제를 해결하는 최적의 연결 구성을 향해 점진적으로 작동한다.

이 반복적인 과정 때문에 AI를 훈련하는 데 오랜 시간이 걸리지만 옥스포드 연구원들은 일을 단순화하는 방법을 찾았을 수 있다. arXiv 에 게시된 사전 인쇄 에서 그들은 역방향 패스를 완전히 없애는 새로운 훈련 접근 방식을 설명한다대신, 그들의 알고리즘은 순방향 전달에서 가중치가 어떻게 변경되어야 하는지 추정하고 이러한 근사값은 역전파에 필적하는 성능을 달성하기에 충분히 가깝다는 것이 밝혀졌다.

연구원들은 이 접근 방식을 사용하여 다양한 기계 학습 알고리즘을 훈련할 수 있음을 보여주었지만 순방향 패스만 포함하기 때문에 훈련 시간을 절반으로 줄일 수 있었다.

영국엑서터대학교(University of Exeter)의 앤드류 코벳(Andrew Corbett)은 단순한 수학 트릭 이지만 오늘날 AI가 직면한 가장 시급한 과제 중 하나를 해결하는 데 도움이 될 수 있다고 New Scientist에 말했다. "그것은 머신러닝 알고리즘의 병목 현상이기 때문에 해결하는 것이 매우 중요하다."라고 그는 말했다.

그러나 접근 방식이 얼마나 광범위하게 적용될 수 있는지는 두고 봐야 한다. 그들의 논문에서 연구원들은 신경망의 레이어 수가 증가함에 따라 런타임 비용의 차이가 줄어들고 이 기술이 더 큰 모델에서 수익이 감소할 수 있음을 시사한다.

그러나 연구원들은 표준 기계 학습 알고리즘이 자신의 방법에 더 잘 맞도록 작동하는 방식을 조정할 수 있는 많은 기회를 확인했으며, 이는 추가 성능 향상으로 이어질 수 있다.

이 연구는 또한 잠재적으로 인간 지능의 진행 중인 미스터리에 기여할 수 있다. 인공 신경망은 뇌가 어떻게 학습하는지 조사하기 위한 최고의 도구 중 하나로 남아 있지만, 뉴런 간의 역방향 연결이 없기 때문에 역전파가 생물학적으로 그럴듯 하지 않다는 것은 오랫동안 알려져 왔다. 전진 통과만 필요한 학습 접근 방식은 우리의 두뇌가 학습 문제를 해결하는 방법을 밝히는 데 도움이 될 수 있다.

목록 이전글 다음글

[기후재난과의 전쟁] 박영숙의 신간, 친환경기술은 아직 개발 단계에 있으며 초기 투자비용 또한 높게 들어갈 것으로 예측된다. 이 부분에 대한 우려가 많은 것은 사실이다. 그러나 소리 없이 축적되어온 과학 기술이 어느 날 산업혁명을 일으켜 우리의 모든 삶과 산업을 변
[기후재난과의 전쟁] 박영숙의 신…
[AI세계미래보고서2023] 박영숙신간 세계최초 말하는 반려로봇과 동거하는 미래학자. 로봇과 생활하면서 느끼는 체험, 인공지능으로 돈 벌기, 미래거대산업 인공지능의 분야들 종정리
[AI세계미래보고서2023] 박영숙신…
박영숙신간 [세계미래보고서2022] 메타 사피엔스가 온다. 2040년까지의 미래, 거대한 변화는 인공지능 메타버스 우주여행시대, 로켓발사로 지구촌 1시간대로 여행이 가능하다.
박영숙신간 [세계미래보고서2022]…
[박영숙신간: 10대를 위한 세계미래보고서 2035-2055] 기술편, 과학편 2편으로 이뤄진 10대를 위한 세계미래보고서, 10ㄴ연후 20년후 30년후 나는 무슨일을 하고 있을까? 신기술이 바꾸는 우리의 미래
[박영숙신간: 10대를 위한 세계미…
[박영숙신간: 10대를 위한 세계미래보고서2035-2055] 과학편, 10년후, 20년후, 30년후 나는 어떤 세상에 살며, 무슨 일을 하고 있을까? 과학발달이 바꾸는 우리의 미래
[박영숙신간: 10대를 위한 세계미…
[세계미래보고서2021-포스트코로나 특별판] 박영숙 제롬글렌공저, 포스트코로나가 바꾸는 세상, 미래 준비하지 않으면 뒤쳐진다.
[세계미래보고서2021-포스트코로…
오늘 방문자:  1,152  어제 방문자:  1,928  총방문자수:  6,091,224 
(사)유엔미래포럼