폰 노이만(사진)은 1903년 헝가리의 부다페스트에서 유대인 은행가 가문의 장남으로 태어났다. 이후 나치 독일이 정권을 잡게 되면서 가족들과 함께 미국으로 망명하여 뉴저지에 있는 프린스턴 대학교로 갔다. 그리고 폰 노이만은 원자폭탄 개발, 게임이론, 컴퓨터 분야를 연구했다.

폰 노이만.

폰 노이만의 컴퓨터 분야의 최고의 업적은 프로세서, 메모리, 프로그램 구조를 기본적으로 갖는 범용 컴퓨터 구조의 확립에 있다. 이전의 컴퓨터는 새로운 계산을 할 때 마다 엔지니어들이 진공관 회로의 물리적 스위치를 처음부터 하나 하나 조정하여 새로이 입력을 처리해야 하는 방식이었다.

폰 노이만은 논문 '전자계산기의 이론 설계 서론'에서 프로세서, 메모리 하드웨어 구조를 제시하고 프로그램을 내장하여 하드웨어의 변경이 없이 컴퓨터를 구동하는 아이디어를 처음 제시했다. 그래서 현대의 컴퓨터 구조를 폰 노이만 (Von-Neumann) 구조라고 부른다. 프로그램과 데이터가 메모리에 저장되어 있고 필요할 때 마나 프로세서에서 꺼내어 쓴다. 구조적인 유연성을 가질 수 있다.

이렇게 폰 노이만 컴퓨터 구조에서 프로세서와 메모리가 물리적으로 구분된 데에는 또 다른 기술적인 이유도 있다. 프로세서를 위한 실리콘 반도체 공정은 실리콘 메모리 소자 공정과 확연히 다르다. 경제적인 입장에서 두 소자를 동일한 공정으로 만드는 경제적인 이유가 없다. 그러니 프로세서 소자와 메모리 소자가 분리될 수 밖에 없었다.

폰 노이만 컴퓨터 구조의 단점

폰 노이만 구조에서 컴퓨터가 동작하려면 몇 가지 단계를 거친다. 제일 먼저 프로그램이 메모리에 저장된다. 프로세서가 메모리에 저장된 프로그램을 읽어 (Fetch 작업) 들인다. 그리고 그 명령을 해석한다 (Decode 작업). 그리고 명령에 따라 계산을 수행한다(Execution 작업). 그리고 마지막으로 그 결과를 다시 메모리에 다시 저장한다(Store 작업).

이러한 일련의 직렬이고 순차적 작업은 일정한 시간 간격(Clock)에 맞추어 차례대로 진행된다. 이렇게 작업이 직렬로 수행되면 컴퓨터가 여러 작업 단계를 순차적으로 필요하게 되어 작업 시간이 많이 걸린다. 특히 메모리로부터 프로그램이나 데이터를 읽어 들이고 쓰는 작업에 많은 시간이 걸린다. 그에 따라 전력 소모도 많게 된다.

폰 노이만 컴퓨터 구조. 출처 : KAIST

왜 병렬형 인공지능 반도체 인가

특히 심화학습(Deep Learning) 이라고 불리는 인공지능 알고리즘은 다수의 신경세포의 값들을 동시에 학습하고, 기록해야 한다. 뇌 신경세포가 병렬로 연결되어 있기 때문이다. 인공지능 알고리즘에는 수백만 또는 수억 개의 잡업이 병렬로 이루어져야 한다. 이 작업이 직렬로 이루어 지면 시간 소모가 어마 어마 하게 된다. 이러한 현상을 폰 노이만 병목 현상(Von-Neumann Bottleneck) 이라고 한다. 따라서 4차 산업혁명을 맞아 인공지능 기능을 효과적으로 수행하기 위해서는 컴퓨터 구조가 병렬 구조로의 전환이 필요하게 되었다.

최근 연구되고 있는 인공지능 반도체로 뉴로모픽 칩(Neuromorphic Chip)이 있다. 거의 뇌 수준의 병렬 컴퓨팅 시스템을 실리콘 반도체로 구현한다. 신경세포인 뉴런(Neuron)과 연결선(Synapse)을 실리콘 트랜지스터 회로와 메모리 소자로 분산 구현한다. 이러한 뉴로모픽 칩은 인공지능 기능이 스마트폰 안으로 들어올 때 꼭 필요한 컴퓨팅 시스템이 될 수 있다.

그래야 스마트폰에서 즉각적인 인공지능 기능을 수행할 수 있고 배터리 소모량을 줄일 수 있다. 4차 산업혁명이 불러온 인공지능 시대가 컴퓨터 구조를 직렬형에서 병렬형으로 변화시키고 있다. 세상에 영원한 것은 없다. 컴퓨터 구조와 그에 필요한 프로세서와 메모리의 구조도 마찬가지다.

병렬형 노로모픽 인공지능 반도체 구조. 출처 : KAIST

joungho@kaist.ac.kr

[김정호 카이스트 전기 및 전자공학과 교수]

김정호 교수