유르겐 슈미트후버

유르겐 슈미트후버(Jürgen Schmidhuber)

유르겐 슈미트후버(Juergen Schmidhuber, 1963년 1월 17일 ~ )는 스위스의 달레몰 인공지능 연구소(IDSIA)의 소장이다. 독일 뮌헨 출신의 학자로서, 오랫동안 실용적 사용에 어려움이 있던 순환인공신경망(RNN)의 난제를 제자인 셉 호크레이터(Sepp Hochreiter)와 해결했다. 딥러닝의 아버지라는 별명이 있다.

생애

유르겐 슈미트후버는 고등학교를 졸업 후, 컴퓨터 과학과 수학을 공부했다. 대학에서는 컴퓨터 과학 박사 학위를 취득하고, 인공지능이나 인공 신경망(neural network)에 관한 논문을 발표했다. 여기서 인공 신경망은 하드와 소프트의 편성에 의해 뇌내의 뉴런끼리의 연결 구조를 모방한 것이다. 유르겐 슈미트후버가 루가노에서 생활하게 된 지 23년이 지났을 때 계기를 만든 것은 이탈리아인 술 수입업자 안젤로 달레몰레이다. 치날이라는 아티초크를 원료로 한 식전주를 개발해 부자가 된 달레몰레는 지적인 기계를 노동력으로 사용하는 유토피아 건설을 꿈꾸고 있었다. 그의 거액 기부를 바탕으로 1988년에 루가노에 달레몰 인공지능 연구소가 설립되었다. 설립 이후, 유르겐 슈미트후버는 이른 시기부터 인공지능 연구소에서 일했다. 인공지능 연구소는 현지의 대학과의 제휴나 정부로부터의 보조금으로 루가노를 인공지능 연구의 중심지로 바꾸어 놓았다. 유르겐 슈미트후버는 루가노 중심부에 있는 스위스 이탈리아 대학에서 강의하고 있으며, 외진 교외에 있는 스위스 달르몰 인공지능연구소(IDSIA)의 연구시설에서도 일하고 있다. 2014년에는 4명의 전 제자들과 함께 네이선스를 설립했다. 제조, 의료, 금융 분야의 상업적 파트너십과 순수 연구 연계를 위해 장소는 대학 근처로 잡았다.

15살 때부터 유르겐 슈미트후버의 목표는 자신보다 더 똑똑하고 자기개선을 하는 인공지능을 구축한 후 은퇴하는 것이었다. 그의 연구실에서 나온 장단기 메모리(LSTM)는 기계학습에 혁명을 가져왔다. 장단기 메모리는 오늘날의 30억개의 스마트폰에 탑재되어 다양한 어플리케이션을 통해 하루에 수십억번 이용되고 있다. 또한, 그는 교사 없는 학습, 인공호기심(artificial curiosity), 메타러닝 머신의 선구자이기도 하다. 수많은 상을 수상했으며, 최초의 실용적인 범용 인공지능 구축을 목적으로 한 네이선스(NNAISENSE) 사의 주임 과학자이기도 하다. 인공지능 전략에 대해 다양한 정부에 대한 조언도 하고 있다.

주요 활동

유르겐 슈미트후버는 그의 학생들인 펠릭스 거스(Felix Gers), 프레드 커민스(Fred Cummins), 알렉스 그레이브스(Alex Graves) 등과 함께 순환 신경망 유형의 더 정교한 버전인 장단기 메모리(LSTM)를 발표했다. 첫 번째, 결과는 호크라이터의 졸업장 논문에서 보고되었으며, 기울기 소실 문제(vanishing gradient problem)를 해결하여 분석했다. 장단기 메모리라는 이름은 기술 보고서에서 가장 많이 인용된 장단기 메모리 출판물에 소개되었다. 애플리케이션에서 사용되는 표준 장단기 메모리 구조는 2000년에 도입되었으며, 시간 경과에 따른 백프로파그(BBTT)를 이용한 '바닐라 장단기 메모리'는 2005년에 출판되었다. 2006년에는 연결주의 시간 분류(CTC) 훈련 알고리즘이 발표되었다. 연결주의 시간 분류는 장단기 메모리로 엔드투엔드(end-to-end) 음성 인식을 가능하게 했다. 연결주의 시간 분류가 교육한 장단기 메모리는 구글의 스마트폰용 소프트웨어 음성인식의 새로운 구현에 활용되었다. 구글은 스마트 어시스턴트 알로와 구글 번역에도 장단기 메모리를 사용하였다. 애플은 아이폰의 퀵타입 기능과 시리(Siri)에 장단기 메모리를 사용했다. 아마존은 장단기 메모리를 아마존 알렉사에 사용하였다. 또한, 페이스북은 장단기 메모리 네트워크를 이용해 매일 45억 개의 자동번역을 수행했다.

2011년, 달레몰 인공지능 연구소의 슈미트후퍼 팀은 그의 포스트닥인 댄 크리슨(Dan Ciresan)과 함께 그래픽처리장치(GPU)라고 불리는 고속 병렬 컴퓨터 상에서 콘볼루션 신경 네트워크(CNNs)의 속도를 극적으로 향상시켰다. 셸라피야(Chellapilla)등 그래픽 처리 장치에 대한 이전 콘볼루션 신경 네트워크는 중앙처리장치(CPU)에 대한 동등한 구현보다 4배 더 빨랐다. 2011년 5월 15일부터 2012년 9월 10일까지, 그들의 콘볼루션 신경 네트워크는 네 개의 이미지 대회에서 우승했다. 또한, 다중 이미지 데이터베이스에 대한 문헌에서 최상의 성능을 현저하게 향상시켰다. 그 접근법은 컴퓨터 비전 분야의 중심이 되었다. 이전의 얀(Yann LeCun) 외 연구진이 백프로파게이지 알고리즘을 쿠니히코 후쿠시마(Kunihiko Fukushima)의 원래 콘볼루션 신경 네트워크 구조인 네오코이그니트론(neocognitron) 변종에 적용했다가 나중에 주양웅(‪Juyang Weng)의 방법인 맥스 풀링(max-pooling)에 의해 변형된 콘볼루션 신경 네트워크 디자인을 바탕으로 하고 있다.

2014년, 유르겐 슈미트후버는 나이스엔스라는 회사를 설립해 금융, 중공업, 자율주행차 등 분야에서 인공지능의 상업적 응용에 힘썼다. 2016년 매출액은 1,100만 달러 미만이었지만, 유르겐 슈미트후버는 강조점은 수익이 아니라 연구에 있다고 말했다. 나인센스는 2017년 1월 1차 자금조달 방식을 도입했으며, 유루겐 슈미트후퍼의 전반적인 목표는 다양한 좁은 과제에 대해 하나의 인공지능을 순차적으로 훈련시켜 다목적 인공지능을 만드는 것이다.

장단기 메모리

장단기 메모리(Long short-term memory)

1997년, 장단기 메모리는 셉 호크레이터와 유르겐 슈미트후버에 의해 제안되었다. 컨티뉴어스 에러 카로젤(Continuous Error Carrozel) 유닛을 도입한 장단기 메모리는 기울기 소실 문제를 해결했다. 장단기 메모리 블록의 초기 버전은 셀, 입력 및 출력 게이트를 포함한다. 펠릭스 거스, 유르겐 슈미트후버, 프레드 커민스는 장단기 메모리구조에 망각 게이트를 도입하여 장단기 메모리이 자신의 상태를 재설정할 수 있게 했다. 이후, 구조에 핍홀 연결인 세포에서 게이트로의 연결을 추가했다. 또한, 출력 활성화 기능이 생략되었다. 2009년에는 장단기 메모리 기반 모델이 문서 분석 및 인식 국제 학술회의(ICDAR) 필기 인식 대회에서 우승했다. 그 세 가지 모델은 알렉스 그레이브스 팀의 것이었으며, 하나는 대회에서 가장 정확한 모델이었고 다른 하나는 가장 빠른 모델이다. 장단기 메모리 네트워크는 고전적인 텍사스 인스트러먼트(Texas Instruments)와 매사추세츠 공과대학교(MIT)가 제작한 자연 음성 데이터 베이스(TIMIT)에서 17.7%의 음소 오류율을 달성한 네트워크의 주요 구성요소이다. 2014년, 조경현 등은 게이트 리커런트 유닛(GRU)이라는 단순 변종을 내세웠다. 이후, 구글은 구글 보이스의 음성 인식을 위해 장단기 메모리를 사용하기 시작했으며, 새로운 모델의 오류를 49% 줄였다. 또한, 알로 대화 애플리케이션에서 메시지를 위해 장단기 메모리를 사용하기 시작했다. 구글은 장단기 메모리를 활용해 번역 오류를 60% 줄인 구글 번역용 구글 뉴럴 머신 번역 시스템을 출시했으며, 애플은 월드와이드 개발자 컨퍼런스에서 아이폰의 퀵타입과 시리(Siri)를 위한 장단기 메모리사용을 시작한다고 발표했고, 아마존은 문자 음성 기술에 양방향 장단기 메모리를 이용해 알렉사의 목소리를 내는 폴리(Polly)를 출시했다.

페이스북은 장단기 메모리를 이용하여 매일 45억 개의 자동 번역 작업을 수행했다. 미시간 주립대학교(MSU), IBM 리서치, 코넬대 연구진이 '지식 검색 및 데이터 마이닝(KDD, Knowledge Discovery and Data Mining)' 컨퍼런스에서 널리 사용되는 장단기 메모리의 특정 데이터 집합에서 더 나은 성능을 보이는 새로운 신경 네트워크를 연구 결과를 발표하기도 했다. 2019에 워털루 대학의 연구원들은 연속적인 시간의 창을 나타내는 순환 인공 신경망구조와 관련된 제안을 했다. 르장드르(Legendre) 다항식을 사용하였으며, 일부 메모리 관련 벤치마크에서 장단기 메모리을 능가했다. 장단기 메모리 모델은 대형 텍스트 압축 벤치마크에서 3위로 올라섰다.

순환 인공 신경망구조

장단기 메모리는 딥러닝 분야에서 사용되는 순환 인공 신경망구조이다. 표준 피드포워드 신경망과 달리 장단기 메모리는 피드백 연결이 있다. 단일 데이터 지점과 전체 데이터 시퀀스를 처리할 수 있다. 예를 들면, 장단기 메모리는 분할되지 않은 연결된 필기 인식과 음성 인식 및 네트워크 트래픽이나 내부 감지 시스템(IDS)에서의 이상 감지와 같은 작업에 적용할 수 있다. 공통 장단기 메모리 장치는 셀, 입력 게이트, 출력 게이트 및 기억 게이트로 구성된다. 셀은 임의의 시간 간격에 걸쳐 값을 기억하며, 세 개의 게이트는 셀로 들어오고 나가는 정보의 흐름을 조절한다. 장단기 메모리 네트워크는 시계열 데이터(time series data)의 분류와 처리 및 예측에 적합하다. 시계열에서 중요한 사건 사이에 알 수 없는 지속시간의 시차가 있을 수 있기 때문이다. 장단기 메모리는 기존의 순환 인공 신경망을 훈련할 때 발생할 수 있는 소실 구배 문제(vanishing gradient problem)를 해결하기 위해 개발되었다. 순환 인공 신경망과 숨겨진 마르코프 모델 및 기타 시퀀스 학습 방법들에 비해 갭 길이에 대한 상대적 불감증은 장단기 메모리의 장점이다.

이러한 기술적 진보로 인공지능은 다양한 시스템에서 결론을 구축할 수 있게 되었다. 예를 들어, 대량의 텍스트를 기반으로, 말의 뉘앙스에 대해 자력으로 배울 수 있게 된 것이다. 유르겐 슈미트후버는 이런 종류의 인공지능 훈련을 인간의 뇌가 중대한 순간을 골라 장기 기억에 남기고 흔한 사건은 사라짐에 맡기는 것에 비유한다. 중요한 것은 기억하고 중요하지 않은 것은 무시할 수 있게 되었다. 장단기 메모리는 음성인식과 번역인데 화상 캡션 생성도 가능하다. 영상을 보고 그것을 설명하는 말을 써내는 것이다. 이 같은 힘 덕분에 장단기 메모리는 질병 예측부터 작곡까지 다양하게 응용되어 인공지능 분야에서 가장 큰 상업적 성과를 거둘 수 있었다.

신경망 개척자

2016년 슈미트후퍼는 딥 러닝 및 신경망에 대한 선구적인 공헌으로 전기전자기술자협회(IEEE) 신경망 개척자 상을 수상했다.

런던에서 열린 코그엑스(CogX) 인공지능의 최신 개발과 잠재적 영향에 대한 컨퍼런스에서 샤드볼트 교수는 "로봇이 우리를 밀어내고 로봇 혁명을 일으키는 결정을 하지 않는다는 것이 명확하기 때문에 전혀 위험하지 않으며, 만약 킬러 로봇이 있다면 인간의 결정없이 로봇에게 그렇게 하도록 지침이나 소프트웨어를 제공할만큼 인간이 어리석을 때"라고 전했다. 또한, 인공지능의 도래가 인류의 운명을 바꿀 수 있다는 견해를 내비치며 "오락 산업은 이런 아이디어를 머릿속에 심어놓는 데는 힘이 되지만 실제 현실에서는 이런 플롯이 정말 바보 같은 것"이라고 말했다. 인간 친화적인 인공지능을 만드는 기업의 경우는 강력한 상업적 압박을 받고 있다고도 강조했다. 유르겐 슈미트후버는 "인공지능 연구의 95%는 인간의 삶을 오랫동안 건강하고 더 행복하게 만드는 데에 관한 것이며, 기업들은 사람들이 사고 싶은 걸 팔려고 한다"라고 설명했다.

참고자료

• ソニー株式会社, 〈SXSW 2019出展について〉, 《피알타임즈》, 2019-02-22
• 〈Long short-term memory〉, 《LSTM wikipedia》
• 〈Jürgen Schmidhuber〉, 《Jürgen Schmidhuber wikipedia》
• Bloomberg Businessweek, 〈「AIの生みの親」シュミットフーバー、業界が煙たがる男の物語（前編）〉,《newspicks》, 2018-06-16
• 〈Juergen Schmidhuber〉, 《pro motivate》
• 조인혜, 〈옥스포드대 교수 “인간이 어리석을 때만 킬러 로봇 존재”〉, 《로봇신문》, 2018-06-18

같이 보기

• 인공신경망
• 셉 호크레이터

이 유르겐 슈미트후버 문서는 인공지능 인물에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술, 인공지능 기업, 인공지능 인물 □■⊕ 한국 곽인범 • 김대훈 • 김동환 • 김지섭 • 김진우 • 노봉균 • 박태웅 • 배영우 • 서대호 • 서창녕 • 신민영 • 신형섭 • 안익진 • 오준호 • 유태준 • 이경일 • 이상기 • 이정호 • 이주완 • 이현동 • 임재원 • 조강원 • 주명규 • 최진 • 하정우 (네이버) • 하정우 (베어로보틱스) • 황성재 중국 양즈린 • 우위신 • 장칭숭 • 저우신위 • 천즈치 • 펑즈후이 일본 쿠니히코 후쿠시마 동남아 마크 슈뮬레비치 미국 그레그 브로크만 • 다리오 아모데이 • 라지쿠마 티루말라이남비 • 래리 서머스 • 리드 호프만 • 마빈 민스키 • 마크 레이버트 • 메이 하비브 • 무스타파 술레이만 • 미라 무라티 • 보이치에흐 자렘바 • 브렛 애드콕 • 브렛 테일러 • 사친 나로드 • 샘 올트먼 • 아담 디안젤로 • 앤드류 응 • 에두아르도 에라조 • 에멧 시어 • 에이단 고메즈 • 요슈아 벤지오 • 월터 피츠 • 이안 굿펠로우 • 이타마 프리드먼 • 일론 머스크 • 일리야 수츠케버 • 저스틴 해리스 • 제프 딘 • 제프리 힌튼 • 존 매카시 • 존 홉필드 • 캐롤 라일리 • 타샤 매코리 • 탐닛 게브루 • 토머스 왓슨 • 프랭크 로젠블랫 • 헬렌 토너 유럽 기욤 램플 • 데미스 하사비스 • 데이비드 클렘 • 사이러스 호데스 • 샨샨 웡 • 아서 멘쉬 • 안젤로 달리 • 알베르토 바르가라 • 앨런 튜링 • 얀 르쿤 • 에마드 모스타크 • 유르겐 슈미트후버 • 크리스티안 라포르테 • 티모시 라크로아 기타 다니엘 흄 • 프레드 알메이다 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반