위키원
신경망 구조
신경망 구조는 인간의 뇌에서 뉴런이 상호작용하는 방식에서 영감을 받아 설계된 컴퓨터 모델로, 데이터를 처리하고 학습하는 데 사용된다. 인공지능(AI) 분야에서 데이터를 처리하고 학습하는 방법을 정의하는 중요한 요소다. 신경망 구조는 여러 층으로 구성되며, 각 층은 여러 뉴런으로 이루어져 있다. 이러한 뉴런들은 서로 연결되어 있으며, 각 연결에는 가중치가 부여되어 데이터 처리의 강도를 조절한다. 이와 같은 구조를 통해 신경망은 입력 데이터를 처리하고 결과를 도출하는 능력을 얻게 된다.
목차
기본 요소
신경망의 기본 구조는 입력층, 은닉층, 출력층의 세 가지 주요 구성 요소로 나눌 수 있다. 이 세 가지 층은 신경망이 데이터를 처리하고 학습할 수 있는 기반을 제공한다. 이 세 가지 층의 조합이 신경망의 기본 구조를 이루며, 신경망은 이러한 구조를 바탕으로 데이터를 처리하고 학습하는 능력을 발휘한다.
입력층
입력층(Input Layer)은 신경망에서 첫 번째 층인 입력층은 외부에서 데이터를 받아들이는 역할을 한다. 입력층의 각 뉴런은 하나의 입력 값을 담당하며, 이 값을 은닉층에 전달한다. 예를 들어, 이미지 데이터가 입력되면 입력층의 각 뉴런은 이미지의 한 픽셀 값을 입력받아 처리한다. 이처럼 입력층의 구조는 입력 데이터의 형태에 따라 결정되며, 입력 데이터의 크기와 차원에 맞게 구성된다. 일반적으로 입력층은 별도의 연산을 수행하지 않고, 단순히 입력 데이터를 은닉층에 전달하는 역할만 수행하지만, 신경망 구조의 시작점을 정의하는 데 중요한 역할을 한다.[1]
은닉층
은닉층(Hidden Layer)은 입력 데이터를 처리하는 핵심적인 역할을 하는 층이 은닉층이다. 은닉층은 입력 데이터를 여러 차례 변환하며, 이를 통해 데이터를 점점 더 고차원적인 표현으로 바꾸어 나간다. 은닉층에서의 각 뉴런은 입력층이나 이전 은닉층에서 전달된 값을 받아 가중치와 편향을 적용하고, 활성화 함수를 통해 처리한 후 다음 층으로 전달한다. 이때, 은닉층의 수와 뉴런의 수는 신경망의 성능과 학습 능력에 직접적인 영향을 미친다. 은닉층이 너무 적으면 데이터의 복잡한 패턴을 학습할 수 없고, 반대로 은닉층이 너무 많으면 과적합의 문제가 발생할 수 있다.
한편 은닉층은 신경망이 데이터를 처리하고 학습하는 데 핵심적인 역할을 한다. 은닉층이 많고 복잡할수록 신경망은 더 정교한 패턴을 학습할 수 있으며, 데이터를 더욱 고차원적인 표현으로 변환할 수 있다. 은닉층의 수와 뉴런의 배치는 신경망의 성능을 크게 좌우하는 중요한 요소로, 데이터의 특성이나 문제의 복잡도에 따라 적절하게 설계되어야 한다.
깊이와 복잡성
신경망에서 은닉층의 수가 많을수록(즉, 신경망이 더 깊어질수록) 더 복잡하고 고차원적인 패턴을 학습할 수 있다. 예를 들어, 얕은 신경망(은닉층이 하나 또는 두 개뿐인 신경망)은 상대적으로 단순한 패턴을 학습할 수 있지만, 깊은 신경망(수십 개의 은닉층을 가진 신경망)은 매우 복잡하고 추상적인 패턴도 학습할 수 있다. 이는 딥러닝에서 매우 중요한 개념으로, 은닉층을 많이 쌓으면 네트워크가 더 복잡한 패턴을 인식할 수 있는 능력을 가지게 된다. 다만, 은닉층이 많아질수록 학습이 어려워질 수 있고, 계산량이 급격히 증가하게 된다. 또한, 기울기 소실(vanishing gradient)이나 기울기 폭발(exploding gradient)과 같은 문제가 발생할 수 있는데, 이를 해결하기 위해 다양한 최적화 기법들이 개발되었다.
너비
은닉층의 너비는 각 층에 포함된 뉴런의 수를 의미하며, 이는 신경망이 데이터를 얼마나 세밀하게 처리할 수 있는지를 결정한다. 너비가 넓을수록 더 많은 데이터 포인트가 동시에 처리되며, 네트워크의 학습 능력이 증가할 수 있다. 그러나 지나치게 넓은 은닉층은 계산 비용을 증가시키고, 과적합의 위험도 높아진다. 은닉층의 너비와 깊이를 적절하게 조정하는 것은 네트워크의 성능을 극대화하는 데 중요한 요소다. 최근의 연구에서는 너무 넓은 층보다는 깊이를 늘려 복잡한 패턴을 학습하도록 유도하는 것이 더 효율적이라는 것이 밝혀지기도 했다.
출력층
출력층(Output Layer)은 신경망이 학습을 통해 얻은 최종 결과를 외부로 내보내는 층이다. 출력층의 구조는 문제의 유형에 따라 달라지며, 분류 문제의 경우에는 각 뉴런이 하나의 클래스에 해당하는 값을 출력한다. 예를 들어, 다중 클래스 분류 문제에서 출력층이 10개의 뉴런으로 구성되어 있다면, 각 뉴런은 0부터 9까지의 클래스에 속할 확률을 출력할 수 있다. 회귀 문제에서는 연속적인 값을 출력할 수 있도록 한 개의 뉴런으로 구성되기도 한다.[2]
가중치와 편향
신경망 구조에서 뉴런 간의 연결은 가중치와 편향이라는 두 가지 중요한 매개변수를 통해 데이터 처리를 조정한다. 가중치와 편향은 신경망이 데이터를 처리하고 학습하는 방식을 조절하는 핵심 요소로, 적절한 설정과 조정이 신경망의 성능에 큰 영향을 미친다.
가중치
가중치(Weight)는 신경망에서 가중치는 각 뉴런 간의 연결 강도를 조정하는 값이다. 가중치는 입력 값에 곱해져 다음 층으로 전달되는 신호의 크기를 결정한다. 즉, 각 연결은 독립적으로 가중치를 가지고 있으며, 이 가중치에 따라 데이터가 신경망을 통과하는 방식이 달라진다. 가중치는 학습 과정에서 조정되며, 적절한 가중치 값이 설정되면 신경망은 더 정확한 예측을 할 수 있다. 초기 가중치는 일반적으로 무작위로 설정되며, 학습을 통해 점차 최적화된다. 가중치가 너무 크거나 작으면 학습 과정에서 기울기 소실 또는 폭발 문제가 발생할 수 있는데, 이를 방지하기 위한 가중치 초기화 방법(예: Xavier 초기화, He 초기화)이 널리 사용된다.[3]
편향
각 뉴런은 가중치 외에도 편향(Bias)이라는 값을 가진다. 편향은 입력 값이 0이더라도 뉴런이 활성화될 수 있도록 도와주는 역할을 한다. 편향은 입력 데이터의 일정한 부분을 제외하고 뉴런이 더 유연하게 학습할 수 있도록 돕는다. 예를 들어, 편향이 없으면 특정 입력이 주어졌을 때만 뉴런이 활성화되지만, 편향이 있으면 더 다양한 범위의 입력에 대해 뉴런이 활성화될 수 있다. 신경망에서 편향은 학습 과정에서 가중치와 함께 조정되며, 이는 학습된 모델이 더 넓은 범위의 입력 값을 처리할 수 있게 만든다.[3]
활성화 함수
신경망의 활성화 함수는 입력 데이터를 비선형적으로 변환하여 신경망이 더 복잡한 패턴을 학습할 수 있게 만드는 중요한 역할을 한다. 활성화 함수가 없다면 신경망은 단순한 선형 결합만을 학습하게 되어, 복잡한 문제를 해결하는 데 한계가 생긴다. 활성화 함수는 신경망의 학습 능력을 결정하는 데 매우 중요한 요소로, 문제의 특성에 맞는 활성화 함수를 선택하는 것이 중요하다.
시그모이드 함수
시그모이드 함수(Sigmoid Function)는 입력값을 0과 1 사이의 값으로 변환하는 비선형 함수로, 주로 이진 분류 문제에서 많이 사용된다. 이 함수는 실수 전체를 정의역으로 가지며, 0과 1 사이의 한정된 값을 반환한다. 시그모이드 함수는 수학적으로 다음과 같이 표현된다.
그래프 상에서는 S자 모양의 곡선을 그리며, 입력 값이 증가할수록 출력 값도 증가하는 양상을 보인다. 시그모이드 함수는 각 뉴런의 출력이 확률처럼 해석될 수 있도록 만들어주며, 입력값을 제한된 범위 내에서 변환하기 때문에 이진 분류 문제에서 특히 유용하게 사용된다. 또한, 회귀 분석에서 선형 함수와 달리 새로운 데이터 추가에 크게 영향을 받지 않는다는 장점도 있다.
시그모이드 함수는 활성화 함수로 많이 사용되었으나, 몇 가지 한계점도 존재한다. 첫 번째로, 출력값이 0과 1 사이의 값으로 한정되기 때문에 입력값에 비해 출력값이 작아져 신호가 약해지는 경향이 있다. 두 번째로, 입력값이 매우 크거나 작을 경우 기울기가 0에 가까워지면서 역전파 과정에서 신호가 점차 사라지는 기울기 소실(Gradient Vanishing) 문제가 발생한다. 이 문제는 특히 딥러닝의 다층 신경망에서 치명적으로 작용할 수 있다. 세 번째로, 시그모이드 함수의 출력값 중앙값이 0.5이므로, 경사하강법을 사용할 때 기울기가 모두 같은 부호를 가져 학습이 지그재그 형태로 진행되며 학습 속도가 느려질 수 있다.
이러한 문제를 해결하기 위해 쌍곡탄젠트 함수(tanh)가 도입되기도 했다. 쌍곡탄젠트 함수는 시그모이드 함수와 유사하지만, 출력값이 -1과 1 사이로 설정되어 중앙값이 0이 되도록 개선되었다. 이로 인해 시그모이드 함수의 일부 문제를 해결할 수 있었지만, 여전히 기울기 소실 문제는 남아 있었다.
결국, 기울기 소실 문제는 이후 ReLU 함수의 도입으로 해결되었으며, 시그모이드 함수는 더 이상 은닉층의 활성화 함수로는 잘 사용되지 않게 되었다. 그럼에도 불구하고, 시그모이드 함수는 여전히 이진 분류 문제에서 유용하게 쓰일 수 있으며, 특정 상황에서는 여전히 중요한 역할을 할 수 있다.[4]
ReLU
ReLU 함수(Rectified Linear Unit Function)는 최근 대부분의 딥러닝 모델에서 가장 널리 사용되는 활성화 함수로, 입력값이 0 이하일 때는 0을 출력하고, 0보다 클 때는 그 값을 그대로 반환하는 함수다. 수학적으로는 다음과 같이 정의된다.
ReLU 함수는 매우 단순하면서도 계산이 효율적이며, 기울기 소실 문제를 줄여주는 효과가 있다. 이러한 특징 덕분에, 경쟁자인 시그모이드 함수나 탄젠트 함수보다 학습 속도나 계산 효율성에서 더 뛰어난 성능을 보여준다. 특히, 신경망이 더 깊은 층에서도 기울기를 유지하며 학습할 수 있도록 돕기 때문에 딥러닝 모델에서 자주 사용된다.
ReLU는 "정류 선형 유닛"의 약자로, 전기 회로의 정류 소자가 출력 패턴을 변화시키는 것과 비슷한 형태를 띤다고 해서 이러한 이름을 가지게 되었다. 입력 값이 0일 때 급격히 기울기가 변화하는데, 이 지점에서는 미분이 불가능하다. 그러나 이러한 단점에도 불구하고, ReLU는 간단한 구조 덕분에 매우 빠르고 효율적인 계산을 가능하게 하여 최근 딥러닝 모델에서 가장 사랑받는 활성화 함수가 되었다.
ReLU 함수는 1960년대에 이미지 인식에서 특징 추출(feature extraction)을 연구하면서 처음 사용되었다. 다만, 음수 영역에서 출력이 0이 되어 뉴런이 학습되지 않는 죽은 ReLU(dead ReLU) 문제나, 입력값이 0인 지점에서 미분이 불가능하다는 점에서 비판을 받기도 한다. 이를 해결하기 위해 Leaky ReLU와 같은 변형 함수들이 제안되었다. Leaky ReLU는 음수 영역에서도 작은 기울기를 가지도록 수정하여 음수 값도 학습할 수 있게 한다.
또한, GELU와 같은 대체 활성 함수도 제안되었는데, 이들은 지점에서 미분 불가능한 문제를 완화하거나, 음수 구간의 신호를 완전히 무시하지 않는 방향으로 수정된 형태다. 그러나 입력값이 정확히 0인 경우는 거의 발생하지 않으며, 실제 개발에서는 ReLU의 단점이 실질적인 문제로 드러나지 않는 경우가 많아, 여전히 ReLU가 널리 사용되고 있다.[5]
소프트맥스
소프트맥스 함수(Softmax Function)는 주로 다중 클래스 분류 문제의 출력층에서 사용되며, 각 출력 뉴런의 값을 0과 1 사이로 변환하여 출력값들의 합이 1이 되도록 만든다. 이를 통해 각 클래스에 속할 확률을 계산할 수 있어, 다중 클래스 분류 문제에서 매우 유용하게 사용된다. 소프트맥스 함수의 수식은 다음과 같이 계산된다.
소프트맥스 함수의 출력값은 0과 1 사이의 정규화된 값이며, 이 출력값들을 모두 더하면 1이 되는 특징을 가진다. 간단히 말하면, 전체 확률에서 특정 클래스 에 속할 확률을 구하는 방식이다.
소프트맥스 함수는 통계 물리학에서 유래된 함수로, 1868년 볼츠만의 논문에서 처음으로 소개되었으며, 1902년 깁스에 의해 널리 알려졌다. 이후 루스에 의해 의사결정 이론에 적용되었고, 딥러닝 분야에서는 1990년 브리들의 논문에서 처음으로 사용되었다. 다만, ‘소프트맥스’라는 이름은 오해를 불러일으킬 수 있다. 마치 함수가 최댓값(max)을 부드럽게(soft) 만드는 것으로 보일 수 있지만, 실제로는 ‘soft argmax function’에서 유래된 이름이다. 이 함수는 클래스별 확률을 원핫 방식으로 표현한 후, 그 확률을 매끄럽게 변환하는 것이다. 원핫 방식이란, 주어진 데이터 중 하나의 값만을 1로 표시하고 나머지는 0으로 표시하는 방식이다.
소프트맥스 함수가 실제로 사용될 때는 활성화 함수로서 예측된 값과 원핫 방식의 실제 값을 비교한 후, 크로스 엔트로피(Cross-Entropy)를 통해 벡터값 사이의 오차를 계산한다. 이 오차를 바탕으로 신경망은 다음 층의 가중치를 갱신하며, 더 정확한 예측을 할 수 있도록 학습한다. 원핫 방식을 사용하는 이유는 분류 클래스들 간의 무관계를 드러내기 위함이다. 만약 정수 할당 방식을 사용하면 클래스 사이에 실제로 연관이 없더라도 기계가 오차 크기 때문에 관계를 오해할 수 있다. 따라서 각 클래스 사이의 오차를 균등하게 나타내기 위해 원핫 방식을 사용한다.[6]
각주
참고자료
- 〈ReLU〉, 《AI 용어사전》
- 〈소프트맥스 함수〉, 《AI 용어사전》
- 〈시그모이드 함수〉, 《AI 용어사전》
- 하얀종이개발자, 〈딥러닝에서 가중치(W), 편향(Bias)의 역할〉, 《티스토리》, 2021-08-30
- 강민정, 〈신경망 구조〉, 《벨로그》, 2023-07-14
- splashbrothers1, 〈신경망의 구조와 동작 원리〉, 《티스토리》, 2024-07-14
같이 보기
