지난 10월 12일 알파고 개발로 유명세를 얻은 딥마인드社가 세계 최고의 학회지인 ‘네이처’에 획기적인 논문(1)을 게제했다. 이번 논문의 주제는 인공지능 학습에 대한 새로운 컴퓨팅 체계이다. 이 새로운 체계는 사람의 뇌에서 일어나는 ‘기억’의 본질에서부터 출발한다. 사람이 특정한 사실을 추론하는 과정은 신경망에 내재된 기억을 재편하는데서 시작한다. 이 과정을 기계적으로 구현한 것이 이번 논문의 주제인 미분 가능한 신경 컴퓨터(Differentiable Neural Computer, DNC)이다.
‘미분 가능한’이란 표현이 다소 생소할 수 있다. 이것은 ‘학습 가능한’ 것으로 대체할 수 있다. 인공신경망의 학습과정은 수학적으로 오차를 최소화하는 변수를 찾아가는 것이다. 여기서 최소화하는 방향은 미분을 함으로써 결정되기 때문에 미분 가능하다는 것은 학습한다는 관점으로 볼 수 있다.
그렇다면 DNC가 기존의 인공신경망과 다른 점은 무엇일까. 그동안의 인공신경망은 입력 값에 대한 출력 값을 내주는 단순한 계산으로 볼 수 있다. DNC는 일반적인 인공신경망의 계산 기능에 정보 저장의 기능을 추가한 개념이다. 이 두 가지 기능이 융합되어 사람의 뇌와 비슷하게 추론하는 체계를 제안한 것이다. 특히 DNC는 저장 공간에 정보를 읽고 쓰는 과정을 통해 학습을 수행할 수 있는 기술을 소개했다. 이것은 지금보다 더 큰 데이터를 효율적으로 학습 할 수 있는 가능성을 보여준다.
DNC의 구조에 대해서 더 깊게 살펴보자. DNC는 [그림 1]과 같이 기존 인공신경망을 담당하는 controller와 읽고 쓰기가 가능한 메모리 영역으로 표현할 수 있다. DNC를 컴퓨터에 빗대어 표현하자면 controller는 미분을 계산하는 연산처리장치이고, 메모리 영역은 컴퓨터의 RAM(Random Access Memory)이다. DNC의 메모리 영역은 입출력 값에 대한 정보의 기여도를 저장하기 위해 read and write heads를 고안했다.
딥마인드는 여러 가지 사례를 통해 DNC의 추론 기능을 증명했다. 먼저 페이스북 인공지능 연구소에서 공개한 질문응답 데이터 bAbI에 대해서 약 96%의 정확도를 기록했다. bAbI(2) 데이터의 예를 들어보면 ‘존이 놀이터에 있고 축구공을 가지고 있다.’라는 정보에서 ‘축구공이 어디에 있는가?’라는 질문에 ‘놀이터에 있다’라고 추론하는 것이다. bAbI 데이터에 대한 DNC의 추론능력은 기존의 연구결과를 월등히 상회한다고 밝혔다. 그 밖에 가계도에서의 구성원 추론 [그림 2], 런던 지하철에서의 최단거리 계산 [그림 3], 블록 퍼즐 실험에서도 탁월한 성능을 보였다.
이번 연구결과가 우리에게 시사하는 바는 매우 크다. 인공신경망과 정보 저장의 기능을 융합하여 인공지능 연구의 새 지평을 열었다. 컴퓨터의 기계 학습이 점차 사람의 뇌와 가까워진다는 사실은 인공지능의 성능이 우리가 느끼는 것보다 훨씬 빠르게 진화한다는 것이다. 이제는 혁신적인 인공지능 연구결과를 빠르게 이해하고 흡수해 새로운 영역을 개척하는 노력이 필요한 때다.
(1) Graves, Alex, et al. "Hybrid computing using a neural network with dynamic external memory." Nature 538.7626 (2016): 471-476.
