월터 피츠

월터 피츠(Walter Harry Pitts)

월터 피츠(Walter Harry Pitts, Jr. 1923.04.23~1969.05.14)는 신경과학 분야에서 일한 논리학자이다. 그는 인지과학과 심리학, 철학, 신경과학, 컴퓨터과학, 인공신경망, 사이버네틱스, 인공지능 등 다양한 분야에 영향을 미치는 신경 활동과 생성과정의 획기적인 이론적 형성을 제시하였다. "신경 활동에 있어서 관념의 논리적 미적분(A Logical Calculus of Ideas Immanent in Nervous Activity"(1943)이라는 제목의 논문을 워렌 맥컬록(Warren McCulloch)와 함께 발표한 것으로 유명하다. 이 논문에서 피츠는 뉴런의 작용을 0과 1로 이루어진 '2진법 논리 모델'로 설명한다. 종종 맥컬록-피츠 뉴런이라고 불리기도 한다. 그 논문에 앞서 그는 '단순 뉴런 회로에 대한 일부 관찰'이라는 제목의 에세이를 통해 '수학적 생물물리학 회보'에서 튜링 기계를 만드는 근본적인 단계에 대한 자기 생각을 공식화했다.

생애

프린시피어 마테마티카(Principia Mathematica)

피츠와 레트빈 / 시각적 지각에 관한 실험의 한 주제

월터 피츠는 1923년 4월 23일 미국의 북부 도시 디트로이트의 가난한 가정에서 태어났다. 피츠는 아버지에게 학대당하기 일쑤였으며, 지나치게 넓은 이마와 짧은 턱, 두꺼운 입술로 인해 동네 불량배에게도 오리 같다고 놀림 받는 등, 많은 괴롭힘을 받았다. 1935년, 그가 12살이었을 때 피츠는 자신을 괴롭히던 동네 불량배들을 피해 그 지역 도서관에 숨었다. 피츠는 도서관을 나가다 발각되는 위험을 감수하고 싶지 않아 도서관이 문을 닫을 때까지 숨어 있었다. 숨어있으면서 책 한 권을 집어 들어 읽기 시작했는데, 이 책이 버트런드 러셀(Bertrand Russell, F.R.S.)과 알프레드 화이트헤드(Alfred North Whitehead)가 쓴 '프린시피어 마테마티카(Principia Mathematica, 수학 원리)'이다. 피츠는 3일 동안 도서관에서 거의 2,000페이지에 가까운 책의 내용을 전부 읽고, 몇 가지 오류를 발견했다. 책의 저자가 이 내용을 알아야 한다고 생각한 피츠는, 러셀에게 오류를 상세하게 적어 편지를 보냈다. 감명을 받은 러셀은 피츠에게 답장을 썼을 뿐만 아니라, 영국 케임브리지 대학교의 대학원생으로 데려와서 가르치려고 했다. 하지만, 12살의 나이에 대학원생이 될 수 없었기에 가지 못했다. 3년 후, 러셀이 미국 시카고 대학을 방문한다는 소식을 듣고, 러셀에게 찾아갔다.

러셀과 피츠가 만난 후, 러셀은 그를 루돌프 카르납(Rudolf Carnap) 교수에게 데리고 갔고, 카르납은 피츠에게 논리학과 수학을 가르치며 그가 여러 사람과 만날 기회를 제공했다. 그중 피츠의 천재성에 큰 감명을 받은 사람이 있었는데, 바로 신경과학자 워렌 맥컬록(Warren Sturgis McCulloch)이다. 그는 피츠가 청소와 허드렛일을 하며 떠돌이 생활을 하고 있다는 것을 알게된 맥컬록은 자기 집에서 살 수 있도록 배려해준다.

그러던 중, 맥컬록이 어떤 기능도 계산할 수 있는 기계의 가능성을 증명하는 앨런 튜링의 새로운 논문을 읽고, 두뇌는 단지 신경망에 인코딩된 논리를 사용하여 계산하는 기계라는 것을 확신했다. '프린시피어'가 복잡한 수학을 구축하기 위해 사슬을 연결한 것과 같은 방법으로, 뉴런은 더욱 복잡한 사상의 사슬을 구축하기 위한 논리 규칙에 의해 서로 연결될 수 있다고 생각했다. 맥컬록이 자신의 프로젝트를 설명하자 피츠는 그것을 바로 이해하고 어떤 수학 도구가 사용될 수 있는지 정확히 알았다. 이에 매료된 맥컬록은 가족들과 함께 사는 시카고 외곽의 힌스데일로 피츠를 데려가서 인간의 뇌를 기계적으로 모델링하기 위해 시도했고, 2년 뒤인 1943년에, 뉴런의 작용을 0과 1로 이루어진 2진법 논리모델로 설명하는 "신경 활동에 있어서 관념의 논리적 미적분"이라는 논문을 발표한다.

그 이후, 레트빈은 피츠를 매사추세츠 공과대학교의 위너 교수실로 데려왔다. 위너는 피츠가 매우 인상적이었고, 고등학교를 졸업한 적도 없는 피츠에게 수학 박사 학위를 약속했다. 1943년 가을에 피츠는 케임브리지의 한 아파트로 이사했고, 매사추세츠 공과대학교에 특별한 학생으로 등록되었다. 매사추세츠 공과대학교에서 연구를 진행하면서, 그는 유전학적으로 총체적인 신경학적 특징들을 위해 인코딩을 해야 하지만, 우리의 유전자가 뇌에 존재하는 수조 개의 시냅스 연결을 미리 결정할 방법은 없다는 것을 깨달았다. 그는 모두가 본질적으로 무작위 신경망, 즉 무시해도 될 정보를 포함하고 있는 가능성이 높은 상태에서 출발하는 것이 사실이라고 생각했다. 그는 시간이 지남에 따라 뉴런의 임계 값을 변경함으로써 무작위성이 질서에 자리를 내주고 정보가 등장할 수 있다고 생각했다. 그는 그런 모델이 기계에 구현되면 그 기계가 배울 수 있다는 것을 알았기 통계적 역학을 이용하여 그 과정을 모형화하기 시작했다. 1946년까지 피츠는 올리버 셀프리지, 하이번 민스키, 레트빈과 함께 살면서 비너와 함께 뇌의 통계역학에 대해 연구하고 있었다. 이듬해 제2차 사이버네틱 콘퍼런스(Cybernetic Conference)에서 피츠는 확률론적 3차원 신경망에 관한 박사학위 논문을 쓰고 있다고 발표했다. 그곳에 있던 과학자들은 황당해했지만 그라면 그것을 해낼 수 있다고 확신할 만큼 피츠는 과학자들 사이에서 명성이 자자했다. 1952년, 피츠와 맥컬록이 다시 만났으나, 그것을 달갑게 여기지 않던 위너 부인의 계략으로 인해 위너와 피츠의 관계가 끊어지게 되었고, 피츠가 몰락하게 되는 시작점이 되었다.

당시 생물학자들은 눈이 수동적으로 빛의 점들을 기록하여 보내는 사진판 같다고 믿었는데, 레트빈은 개구리의 두개골을 열고 시신경의 단일 섬유에 전극을 부착하면서 이 아이디어를 시험해보기로 했다. 피츠, 맥컬록, 마투라나와 함께 개구리들에게 빛을 밝게 하고 어둡게 하는 다양한 시각적 경험을 하게 하고, 그 정보를 보내주기 전에 눈이 측정한 것을 기록했다. 놀랍게도, 단순히 본 것을 기록하는 것이 아니라 대조, 곡률, 움직임과 같은 시각적 특징에 대한 정보를 걸러내고 분석했다. 이 정보를 바탕으로 1959년에 'What the Frog's Eye Tells the Frog's Brain'이라는 논문을 발표했다. 이 논문으로 피츠의 가치관이 흔들리게 되었다. 안 좋은 일이 계속 일어나면서, 피츠가 수년 동안 앓던 우울증이 더욱 악화하였다. 우울증으로 인해 피츠는 '긍정적인 가치가 세상에서 사라지는 것처럼 보이게 하여 그것을 할 가치가 없어 보이도록 하며, 내구 무엇을 하든 멈추게 된다'라며 맥컬록에게 호소했다. 다시 말해, 피츠가 인생에서 추구했던 바로 그 논리에 고심하고 있던 것이다. 사람들이 말하는 유도의 원리, 즉 자연의 통일성의 원리를 믿지 못하면서 생긴 일종의 비관론 때문이다. 이후, 피츠의 절망은 극도로 심해졌다. 술을 많이 마시기 시작했으며 주변 사람들과 어울리는 것도 마다했다. 매사추세츠 공과대학교의 박사학위를 거절했고, 자신의 모든 논문에 불을 질렀다. 이후, 매사추세츠 공과대학교에서 아무와도 어울리지 않은 채 일만 하다가 1969년 5월 14일 피츠는 간 경화로 식도 정맥류 출혈로 사망했다.

주요활동

딥러닝의 시초

근대 신경망에 대한 연구는 1943년 맥컬록과 피츠의 논문 "신경 활동에 있어서 관념의 논리적 미적분"으로부터 시작되었다. 각 신경세포(neuron)의 기능은 매우 단순하나, 이들이 상호 연결됨으로써 복잡한 계산을 수행하는 신경 시스템의 기초를 마련한 이 논문에서, 현대 컴퓨터의 기반을 이루는 모든 불린 논리 표현은 2진 출력을 하는 맥컬록-피츠 신경세포로 구현 가능함을 보여줬다.

맥컬록- 피츠 모델이 발표되고 15년 후, '퍼셉트론'이라는 개념으로 이어지고, 퍼셉트론이 뉴럴 네트워크로, 뉴럴 네트워크는 딥러닝으로 발전했다. 피츠의 논문을 건너뛰고 15년이나 뒤에 나온 퍼셉트론을 딥러닝의 시작으로 보는 시각도 있는데, 이는 그의 모델이 학습하지 않기 때문이다. 하지만 피츠의 2진법 논리 회로 모델을 가져와서 발전시킨 것이 퍼셉트론이라면, 딥러닝의 기원은 맥컬록-피츠의 논문이 되어야 한다고 생각하는 시각도 있다.

맥컬록-피츠 모델 (McCulloch-Pitts Model)

명제 논리로 나타낸 맥컬록-피츠 네트워크

초기의 신경 시스템 모델 중 가장 잘 알려진 모델이다. 1943년에 맥컬록과 피츠에 의해 제안되었다. 그들은 인간의 두뇌를 논리적 서술을 구현하는 이진 원소들의 결합으로 추측하고, 이진 원소인 뉴런은 활성화(on)되거나 활성화되지 않은(off) 상태를 나타낸다고 봤다. 맥컬록과 피츠가 쓴 논문 "신경 활동에 있어서 관념의 논리적 미적분"의 요약 부분 중 첫 단원을 보면,

신경 활동의 '전부 아니면 전무(All-or-None)'적인 특성 때문에 신경계의 일과 그들 사이의 관계들은 명제 논리(Propositional logic)로 취급된다. 모든 망의 행동은 이러한 관점에서 기술될 수 있다...중략... 어떠한 조건들을 만족시키려는 논리적 표현에 대하여, 우리는 그것이 기술하는 방법대로 행동하는 망을 찾을 수 있다.

이 논문의 가장 중요한 결과는 그러한 신경망들이 완벽하게 일반적이어서 어떤 유한한 논리적 표현도 실현할 수 있다는 점이다. 이 모델은 명백히 실용적인 의미를 내포하는데, 그러한 뉴런들을 합쳐서 강력하고도 범용적인 컴퓨터 장치를 만들 수 있다. 맥컬록과 피츠는 이 논문을 쓰는 데 단 3개의 문헌만을 참조하였는데, 모두가 수학적인 논리를 다룬 책들이다. 맥컬록과 피츠의 오퍼레이션을 지배하는 5개는 다음과 같다.

• 뉴런은 활성화되거나 활성화되지 않은 2가지 상태이다. 즉, 뉴런의 활성화는 '전부 아니면 전무' 프로세스이다.
• 어떤 뉴런을 흥분되게(excited) 하려면 2개 이상의 고정된 수의 시냅스가 일정한 시간 내에 활성화되어야 한다.
• 신경 시스템에서 유일하게 의미 있는 시간 지연(delay)은 시냅스에서의 지연(synaptic delay)이다.
• 어떠한 억제적인(inhibitory) 시냅스는 그 시각의 뉴런의 활성화를 절대적으로 방지한다.
• 신경망의 구조는 시간에 따라 변하지 않는다.

우측 그림은 명제 논리로 나타낸 맥컬록-피츠 네트워크이다. 번호가 적힌 큰 원은 뉴런의 몸체이고, 작고 검은 원은 자극성 연결이며 작은 원은 억제성 연결을 나타낸다.이 네트워크는 네트워크 내의 단순한 요소들의 연결을 통하여 무한한 컴퓨팅 능력을 갖춘다는 점에서 매우 고무적이다. 그 요소들이 신경생리학에 따랐기 때문에, 인간의 두뇌가 잠재적으로는 논리와 계산을 처리할 수 있는 강력한 장치라는 것을 암시했다. 이러한 논리 요소 네트워크의 결과는 데이터와 프로그램을 지정하여 작동하는 현대 디지털 컴퓨터의 논리적인 윤곽을 처음으로 그려낸 폰 노이만에게도 큰 영향을 끼쳤다. 폰 노이만의 유명한 기술 문서에 실린 내용은 다음과 같다.

모든 디지털 컴퓨팅 장치는 각각 평행 상태에 있는 요소(element)와 같은 릴레이를 하고 있다. 그러한 요소들은 2개 또는 그 이상의 별개의 상태(state)를 가진다. 중략... 그 릴레이 행위는 요소가 지시된 형태의 자극을 받을 때마다 자극을 발산한다. 고등 동물들의 뉴런들은 틀림없이 위의 감각들을 가진 요소라고 할 수 있다.

맥컬록과 피츠의 논문이 끼친 영향과 중요성은 매우 크다고 할 수 있다. 신경 시스템이 기본적인 처리 요소들인 뉴런들과 그들의 연결들로 주어졌을 때 실제로 무엇이 가능한가를 이해하려는 시도이다.

맥컬록-피츠 모델 구조

맥컬록-피츠 네트워크 그림

맥컬록-피츠 모델은 두 부분으로 나뉜다. 첫번째 부분인 g는 입력을 받고, 집계를 수행하며, 집계된 값에 기초하여 두번째 부분인 f가 결정을 내린다. 예시를 하나 들어보자. TV에서 무작위 축구 경기를 볼지 말지, 나 자신의 결정을 예측하고 싶다고 가정해 보자. 입력은 모두 {0,1} 즉, 불린(boolean)값이다. 출력 변수 역시 불린 값{0: 시청, 1: 미시청}이다.

• $x_{1}$은 'isPremmierLeagueOn'. → 프리미어 리그가 더 좋다.
• $x_{2}$는 'isItAFriendlyGame'. → 친선경기에 관심이 없다.
• $x_{3}$은 'isNotHome'. → 심부름할 때는 못 본다.
• $x_{4}$는 'isManUnitedPlay' → 나는 ManUnited의 열렬한 팬이다.

이러한 입력은 흥분적이거나 억제적일 수 있다. 억제 입력은 다른 입력에 관계없이 의사결정에 많은 영향을 미치는 입력이다. 즉, $x_{3}$이 1(집이 아님)이면 출력물은 항상 0이 된다. 즉, 뉴런은 절대 발화하지 않기 때문에 $x_{3}$은 억제 입력이다. 흥분성 입력은 뉴런이 스스로 불을 붙이게 하는 것이 아니라 함께 결합하면 발화된다. 공식적으로, 다음과 같은 일이 벌어지고 있다. 우측 그림을 보면, g(x)가 단지 입력의 총합, 즉 단순한 집계를 하고 있다는 것을 알 수 있다. 그리고 여기서 세타는 임계 값 파라미터라고 불린다. 예를 들어, 합계가 2 이상일 때 내가 항상 경기를 본다면, 여기서 세타는 2이다. 이것을 '한계치 논리'라고 한다.

즉, 맥컬록과 피츠의 이론 (MCC43, MCC5, PIT47)에 대한 증명이나 표현은 이해하기가 매우 어렵다. 나중에, 인간 두뇌 활동의 정확한 모델링은 아닌 것이 판명되었지만 그 중요성은 결코 간과할 수 없다.

• 맥컬록-피츠 모델 표현식

$g(x_{1},x_{2},x_{3},\ldots ,x_{n})=g(x)=\sum _{i=1}^{n}x_{i}$
$y=f(g(x))={\mbox{1 if }}g(x)\geq \theta$
            $={\mbox{0 if }}g(x)<\theta$

참고자료

• 산골 딱다구리, 〈빈곤에서 피어난 꽃, 빈곤 속에 지다... 인공 지능. 인공 신경망(Deep Learning)의 최초 개척자 월터 핏츠(Walter Pitts 1923~1969)〉, 《네이버 블로그》, 2020-02-15
• Amanda Gefter, 〈The Man Who Tried to Redeem the World with Logic〉, 《노틸러스》, 2015-02-05
• Walter Pitts White paper - https://web.csulb.edu/~cwallis/artificialn/walter_pitts.html
• RosyPark, 〈머신러닝 - 신경망(퍼셉트론)〉, 《티스토리》, 2019-10-16
• Akshay L Chandra, 〈McCulloch-Pitts Neuron — Mankind’s First Mathematical Model Of A Biological Neuron〉, 《미디엄》, 2018-07-25

같이 보기

• 인공지능
• 신경과학

이 월터 피츠 문서는 인공지능 인물에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술, 인공지능 기업, 인공지능 인물 □■⊕ 한국 곽인범 • 김대훈 • 김동환 • 김지섭 • 김진우 • 노봉균 • 박태웅 • 배영우 • 서대호 • 서창녕 • 신민영 • 신형섭 • 안익진 • 오준호 • 유태준 • 이경일 • 이상기 • 이정호 • 이주완 • 이현동 • 임재원 • 조강원 • 주명규 • 최진 • 하정우 (네이버) • 하정우 (베어로보틱스) • 황성재 중국 양즈린 • 우위신 • 장칭숭 • 저우신위 • 천즈치 • 펑즈후이 일본 쿠니히코 후쿠시마 동남아 마크 슈뮬레비치 미국 그레그 브로크만 • 다리오 아모데이 • 라지쿠마 티루말라이남비 • 래리 서머스 • 리드 호프만 • 마빈 민스키 • 마크 레이버트 • 메이 하비브 • 무스타파 술레이만 • 미라 무라티 • 보이치에흐 자렘바 • 브렛 애드콕 • 브렛 테일러 • 사친 나로드 • 샘 올트먼 • 아담 디안젤로 • 앤드류 응 • 에두아르도 에라조 • 에멧 시어 • 에이단 고메즈 • 요슈아 벤지오 • 월터 피츠 • 이안 굿펠로우 • 이타마 프리드먼 • 일론 머스크 • 일리야 수츠케버 • 저스틴 해리스 • 제프 딘 • 제프리 힌튼 • 존 매카시 • 존 홉필드 • 캐롤 라일리 • 타샤 매코리 • 탐닛 게브루 • 토머스 왓슨 • 프랭크 로젠블랫 • 헬렌 토너 유럽 기욤 램플 • 데미스 하사비스 • 데이비드 클렘 • 사이러스 호데스 • 샨샨 웡 • 아서 멘쉬 • 안젤로 달리 • 알베르토 바르가라 • 앨런 튜링 • 얀 르쿤 • 에마드 모스타크 • 유르겐 슈미트후버 • 크리스티안 라포르테 • 티모시 라크로아 기타 다니엘 흄 • 프레드 알메이다 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반