검수요청.png검수요청.png

리키 ReLU 함수

위키원
이동: 둘러보기, 검색

리키 ReLU 함수(Leaky Rectified Linear Unit, Leaky ReLU Function)는 인공신경망(Artificial Neural Network)에서 활성화 함수(Activation Function)로 사용되는 변형된 형태의 ReLU 함수다.

아사달 스마트 호스팅 가로 배너 (since 1998).jpg
이 그림에 대한 정보
[아사달] 스마트 호스팅

개요[편집]

리키 ReLU 함수는 인공신경망에서 활성화 함수로 사용되는 비선형 함수 중 하나이다. 이는 표준 ReLU 함수의 변형 버전으로, ReLU가 가진 '죽은 뉴런(Dying ReLU) 문제'를 해결하기 위해 개발되었다. ReLU 함수는 입력 값이 양수일 때는 그대로 출력하지만, 음수일 때는 0으로 변환하는 특성을 가진다. 이로 인해 음수 값이 입력될 경우 뉴런이 비활성화되어 가중치가 업데이트되지 않는 문제가 발생할 수 있다. 반면, 리키 ReLU는 음수 값에 대해 일정한 기울기()를 부여하여 음수 입력 값도 일부 반영될 수 있도록 한다. 이를 통해 학습 과정에서 뉴런이 완전히 죽지 않고 계속해서 정보를 전달할 수 있게 된다.[1]

수식 및 동작 방식[편집]

리키 ReLU 함수는 다음과 같이 정의된다.

여기서 는 작은 양수(예: 이며, 일반적으로 하이퍼파라미터로 설정할 수 있다. 즉, 입력 값 가 양수일 때는 기존 ReLU와 동일하게 를 그대로 출력한다. 입력 값 가 음수일 때는 를 출력하여 0이 아닌 작은 값이 출력되도록 한다. 이러한 방식으로 음수 영역에서도 일정한 기울기를 유지하면서 뉴런이 비활성화되지 않도록 조정하는 것이 리키 ReLU의 핵심이다.

특징과 장점[편집]

죽은 뉴런(Dying ReLU) 문제 해결

표준 ReLU 함수에서는 음수 입력 값이 계속해서 0으로 출력되기 때문에, 일부 뉴런이 학습 과정에서 영구적으로 죽어버릴 가능성이 있다. 그러나 리키 ReLU는 음수 값에서도 를 출력하여 뉴런이 완전히 죽지 않도록 방지한다.

기울기 소실(Vanishing Gradient) 문제 완화

기울기 소실 문제는 신경망이 깊어질수록 역전파(Backpropagation) 과정에서 기울기 값이 0에 가까워지면서 학습이 진행되지 않는 현상을 의미한다. 시그모이드(Sigmoid)나 하이퍼볼릭 탄젠트 함수(Tanh)에서는 기울기 소실 문제가 심각할 수 있으나, 리키 ReLU는 입력 값이 음수일 때에도 기울기가 만큼 유지되므로 이 문제를 어느 정도 완화할 수 있다.

계산이 단순하여 빠른 연산 가능

리키 ReLU는 단순한 조건문을 기반으로 동작하기 때문에 시그모이드나 하이퍼볼릭 탄젠트 함수보다 계산량이 적고, 특히 딥러닝 모델에서 GPU 병렬 연산이 용이하다. 이는 학습 속도를 크게 향상시키는 요소 중 하나이다.

심층신경망에서 우수한 성능 발휘

ReLU 계열 함수들은 심층신경망(Deep Neural Networks)에서 성능이 뛰어난 것으로 알려져 있다. 리키 ReLU는 표준 ReLU의 장점은 유지하면서도 뉴런의 사망 문제를 해결하여, 복잡한 데이터 패턴을 학습하는 데 효과적이다.

한계점과 단점[편집]

α 값 선택이 성능에 영향을 미침

리키 ReLU의 성능은 하이퍼파라미터인 값에 영향을 받을 수 있다.

  • 값이 너무 작으면 표준 ReLU와 큰 차이가 없을 수 있다.
  • 값이 너무 크면 음수 입력이 과도하게 반영되어 모델의 성능이 저하될 수 있다.

일반적으로 정도로 설정하는 경우가 많지만, 특정한 데이터셋과 모델에 따라 적절한 값을 조정해야 한다.

음수 값이 유지되면서 최적화에 미치는 영향

ReLU 함수는 음수 입력을 0으로 변환하여 희소성(Sparsity)을 제공하는 장점이 있다. 그러나 리키 ReLU는 음수 값을 그대로 반영하므로, 이 희소성이 일부 사라질 수 있으며, 일부 데이터셋에서는 과적합(Overfitting) 가능성이 높아질 수도 있다.

각주[편집]

참고자료[편집]

같이 보기[편집]


  검수요청.png검수요청.png 이 리키 ReLU 함수 문서는 인공지능 모델에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.