검수요청.png검수요청.png

"전방전달신경망"의 두 판 사이의 차이

위키원
이동: 둘러보기, 검색
(새 문서: '''전방전달신경망'''(Feedforward neural network)은 == 개요 == {{각주}} == 참고자료 == * == 같이 보기 == * {{인공지능 기술|검토 필요}})
 
1번째 줄: 1번째 줄:
'''전방전달신경망'''(Feedforward neural network)은
+
'''전방전달신경망'''(Feedforward neural network)은 노드 사이의 연결이 순환을 형성하지 않는 [[인공신경망]]이다. 신경망 정보가 입력 노드에서 은닉 노드를 거쳐 출력 노드까지 전달 되며 순환 경로가 존재하지 않는 그래프를 형성한다. 다양한 방법의 구조가 존재하는데 이진 구조, [[퍼셉트론]], 시그모이드 등 여러가지 방법으로 구성할 수 있다.
  
 
== 개요 ==  
 
== 개요 ==  
 +
전방전달신경망은 인공신경망이 고안된 최초의 가장 단순한 형태였다. 이 [[네트워크]]에서 정보는 오직 한 방향으로만 이동하며, 입력 노드로부터 숨겨진 노드를 거쳐 출력 노드로 이동한다. 네트워크에는 순환이나 루프가 없다.<ref name="위키피디아">Feedforward neural network  Wikipedia - https://en.wikipedia.org/wiki/Feedforward_neural_network </ref> 일반적인 전방전달신경망의 경우 입력층-은닉층-출력층을 거치는 모형 아키텍쳐를 가지고 있다. 인공신경망은 입력된 독립 변수와 종속 변수의 결합 관계를 나타내는 가중치(w) 도출을 통해 모형을 구축한다. 전방전달신경망의 학습은 가중치(w)의 반복적인 업데이트를 통하여 출력값의 에러를 최소화하는 것을 목표로 한다. 가중치(w) 업데이트는 경사하강법(gradient descent)을 이용하여 에러를 [[역전파]](back propagation)하여 구한다. 그러나, 이 경우 기울기 소실(vanishing gradient) 문제가 발생할 수 있다.<ref>찬,  〈[http://blog.naver.com/PostView.nhn?blogId=apr407&logNo=221238611771&parentCategoryNo=&categoryNo=55&viewDate=&isShowPopularPosts=true&from=search FFNN(Feed-forward Neural Network)]〉,  《네이버 블로그》, 2018-03-27 </ref> 신경망 설계의 주요 예시인 전방전달신경망은 아키텍처가 제한적이다. 신호는 입력 레이어에서 추가 레이어로 이동한다. 전방전달신경망 설계의 몇 가지 예시를 살펴보면 훨씬 더 간단하다. 예를 들어, 단층퍼셉트론 모델에는 하나의 레이어만 있으며 전방향 신호가 레이어에서 개별 노드로 이동한다. 레이어가 더 많은 다층 퍼셉트론 모델도 전방향으로 이동한다. 과학자들이 최초의 인공 신경망을 고안한 이래로 기술 세계는 보다 정교한 모델을 구축하는 데 모든 종류의 진전을 이루었다. 순환 신경망 및 루프 또는 순환을 포함하는 기타 설계뿐만 아니라, 기계 학습 시스템이 시스템을 통해 데이터를 다시 전송하여 기본적으로 최적화하는 역전파와 관련된 모델이 발견되었다. 전방전달신경망은 이러한 유형의 디자인을 포함하지 않으므로 인공신경망을 처음으로 학습하는 데 적합한 고유한 유형의 시스템이다.<ref> Feedforward Neural Network
 +
Techopedia - https://www.techopedia.com/definition/33266/feedforward-neural-network </ref>
 +
 +
== 종류 ==
 +
=== 단층 퍼셉트론 ===
 +
가장 단순한 종류의 신경망은 출력 노드의 단일 계층으로 구성된 단층퍼셉트론(Single-layer Perceptron)이다. 입력은 일련의 중량을 통해 출력에 직접 공급된다. 가중치와 입력물의 산출물의 합은 각 노드에서 계산되며, 값이 어느 정도 임계치(일반적으로 0)를 넘으면 뉴런이 발화하여 활성화 값(일반적으로 1)을 취하고, 그렇지 않으면 비활성화 값(일반적으로 -1)을 취한다. 이와 같은 활성화 기능을 가진 뉴런을 인공 뉴런 또는 선형 임계 단위라고도 한다. 문헌에서 퍼셉트론(Perceptron)이라는 용어는 종종 이러한 단위들 중 하나로 구성된 네트워크를 가리킨다. 비슷한 뉴런은 1940년대에 워렌 맥컬로치와 월터 피츠에 의해 묘사되었다. 단층퍼셉트론은 임계값이 둘 사이에 있는 한 활성화 및 비활성화 상태에 대한 값을 사용하여 수용자를 만들 수 있다. 퍼셉트론즈는 보통 델타 규칙이라고 불리는 간단한 학습 알고리즘에 의해 훈련될 수 있다. 계산된 출력 데이터와 샘플 출력 데이터 사이의 오차를 계산하고 이를 사용하여 가중치에 대한 조정을 만들어 구배 강하 형태를 구현한다.\
 +
 +
단층퍼셉트론은 선형적으로 분리할 수 있는 패턴만 학습할 수 있다. 1969년 퍼셉트론즈(Perceptrons)라는 제목의 유명한 모노그래프에서 마빈 민스키(Marvin Minsky)와 시무어 파퍼트(Symour Papert)는 단층퍼셉트론 네트워크가 XOR 기능을 배우는 것은 불가능하다는 것을 보여 주었다. 하지만 다층퍼셉트론은 어떤 가능성 있는 패턴을 생산할 수 있는 것으로 알려져 있다.
 +
 +
단일 임계값 단위는 계산 능력이 상당히 제한되지만, 병렬 임계값 단위의 네트워크는 실제 숫자의 콤팩트한 간격에서 간격[-1,1]에 이르는 모든 연속 함수에 근사치를 할 수 있다는 것이 입증되었다. 이 결과는 피터 아우어(Peter Aue), 하랄드 버그스티너(Harald Burgsteiner), 볼프강 마아스(Wolfgang Maass)가 기록한 '단일층의 지각자로 구성된 매우 단순한 보편적 근사치를 위한 학습 규칙'에서 찾을 수 있다.
 +
  
 
{{각주}}
 
{{각주}}
  
 
== 참고자료 ==
 
== 참고자료 ==
*
+
*Feedforward neural network  Wikipedia - https://en.wikipedia.org/wiki/Feedforward_neural_network
 +
*Feedforward Neural Network
 +
Techopedia - https://www.techopedia.com/definition/33266/feedforward-neural-network
 +
*찬,  〈[http://blog.naver.com/PostView.nhn?blogId=apr407&logNo=221238611771&parentCategoryNo=&categoryNo=55&viewDate=&isShowPopularPosts=true&from=search FFNN(Feed-forward Neural Network)]〉,  《네이버 블로그》, 2018-03-27
  
 
== 같이 보기 ==
 
== 같이 보기 ==

2020년 8월 12일 (수) 10:14 판

전방전달신경망(Feedforward neural network)은 노드 사이의 연결이 순환을 형성하지 않는 인공신경망이다. 신경망 정보가 입력 노드에서 은닉 노드를 거쳐 출력 노드까지 전달 되며 순환 경로가 존재하지 않는 그래프를 형성한다. 다양한 방법의 구조가 존재하는데 이진 구조, 퍼셉트론, 시그모이드 등 여러가지 방법으로 구성할 수 있다.

개요

전방전달신경망은 인공신경망이 고안된 최초의 가장 단순한 형태였다. 이 네트워크에서 정보는 오직 한 방향으로만 이동하며, 입력 노드로부터 숨겨진 노드를 거쳐 출력 노드로 이동한다. 네트워크에는 순환이나 루프가 없다.[1] 일반적인 전방전달신경망의 경우 입력층-은닉층-출력층을 거치는 모형 아키텍쳐를 가지고 있다. 인공신경망은 입력된 독립 변수와 종속 변수의 결합 관계를 나타내는 가중치(w) 도출을 통해 모형을 구축한다. 전방전달신경망의 학습은 가중치(w)의 반복적인 업데이트를 통하여 출력값의 에러를 최소화하는 것을 목표로 한다. 가중치(w) 업데이트는 경사하강법(gradient descent)을 이용하여 에러를 역전파(back propagation)하여 구한다. 그러나, 이 경우 기울기 소실(vanishing gradient) 문제가 발생할 수 있다.[2] 신경망 설계의 주요 예시인 전방전달신경망은 아키텍처가 제한적이다. 신호는 입력 레이어에서 추가 레이어로 이동한다. 전방전달신경망 설계의 몇 가지 예시를 살펴보면 훨씬 더 간단하다. 예를 들어, 단층퍼셉트론 모델에는 하나의 레이어만 있으며 전방향 신호가 레이어에서 개별 노드로 이동한다. 레이어가 더 많은 다층 퍼셉트론 모델도 전방향으로 이동한다. 과학자들이 최초의 인공 신경망을 고안한 이래로 기술 세계는 보다 정교한 모델을 구축하는 데 모든 종류의 진전을 이루었다. 순환 신경망 및 루프 또는 순환을 포함하는 기타 설계뿐만 아니라, 기계 학습 시스템이 시스템을 통해 데이터를 다시 전송하여 기본적으로 최적화하는 역전파와 관련된 모델이 발견되었다. 전방전달신경망은 이러한 유형의 디자인을 포함하지 않으므로 인공신경망을 처음으로 학습하는 데 적합한 고유한 유형의 시스템이다.[3]

종류

단층 퍼셉트론

가장 단순한 종류의 신경망은 출력 노드의 단일 계층으로 구성된 단층퍼셉트론(Single-layer Perceptron)이다. 입력은 일련의 중량을 통해 출력에 직접 공급된다. 가중치와 입력물의 산출물의 합은 각 노드에서 계산되며, 값이 어느 정도 임계치(일반적으로 0)를 넘으면 뉴런이 발화하여 활성화 값(일반적으로 1)을 취하고, 그렇지 않으면 비활성화 값(일반적으로 -1)을 취한다. 이와 같은 활성화 기능을 가진 뉴런을 인공 뉴런 또는 선형 임계 단위라고도 한다. 문헌에서 퍼셉트론(Perceptron)이라는 용어는 종종 이러한 단위들 중 하나로 구성된 네트워크를 가리킨다. 비슷한 뉴런은 1940년대에 워렌 맥컬로치와 월터 피츠에 의해 묘사되었다. 단층퍼셉트론은 임계값이 둘 사이에 있는 한 활성화 및 비활성화 상태에 대한 값을 사용하여 수용자를 만들 수 있다. 퍼셉트론즈는 보통 델타 규칙이라고 불리는 간단한 학습 알고리즘에 의해 훈련될 수 있다. 계산된 출력 데이터와 샘플 출력 데이터 사이의 오차를 계산하고 이를 사용하여 가중치에 대한 조정을 만들어 구배 강하 형태를 구현한다.\

단층퍼셉트론은 선형적으로 분리할 수 있는 패턴만 학습할 수 있다. 1969년 퍼셉트론즈(Perceptrons)라는 제목의 유명한 모노그래프에서 마빈 민스키(Marvin Minsky)와 시무어 파퍼트(Symour Papert)는 단층퍼셉트론 네트워크가 XOR 기능을 배우는 것은 불가능하다는 것을 보여 주었다. 하지만 다층퍼셉트론은 어떤 가능성 있는 패턴을 생산할 수 있는 것으로 알려져 있다.

단일 임계값 단위는 계산 능력이 상당히 제한되지만, 병렬 임계값 단위의 네트워크는 실제 숫자의 콤팩트한 간격에서 간격[-1,1]에 이르는 모든 연속 함수에 근사치를 할 수 있다는 것이 입증되었다. 이 결과는 피터 아우어(Peter Aue), 하랄드 버그스티너(Harald Burgsteiner), 볼프강 마아스(Wolfgang Maass)가 기록한 '단일층의 지각자로 구성된 매우 단순한 보편적 근사치를 위한 학습 규칙'에서 찾을 수 있다.


각주

  1. Feedforward neural network Wikipedia - https://en.wikipedia.org/wiki/Feedforward_neural_network
  2. 찬, 〈FFNN(Feed-forward Neural Network)〉, 《네이버 블로그》, 2018-03-27
  3. Feedforward Neural Network Techopedia - https://www.techopedia.com/definition/33266/feedforward-neural-network

참고자료

Techopedia - https://www.techopedia.com/definition/33266/feedforward-neural-network

같이 보기


  검수요청.png검수요청.png 이 전방전달신경망 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.