시그모이드 함수

시그모이드 함수(Sigmoid Function)는 S자형의 곡선을 그리는 수학적 함수이다. 연속적이며 미분 가능한 특성을 가지고 있다. 이 함수는 수학, 생물학, 경제학, 신경과학 등 다양한 분야에서 사용되며, 특히 인공신경망(ANN)에서 활성화 함수로 널리 알려져 있다.

상세

시그모이드 함수는 실수 전체를 정의역으로 가지는 데에 비해 함수값으로 유한한 구간 사이의 한정된 값만을 반환하며, 주로 $0$과 $1$ 사이의 값을 반환하도록 설정한다.

시그모이드 함수는 일반적으로 입력값인 $x$의 값이 증가할 때 함수값인 $y$의 값도 증가하는 양상을 보인다. 대표적인 시그모이드 함수에는 로지스틱 함수가 있으며 이는 다음과 같은 수식으로 나타낼 수 있다.

$S(x)={\frac {1}{1+e^{-x}}}={\frac {e^{x}}{e^{x}+1}}$

여기서 $e$는 자연상수로, 약 $2.718$에 해당한다. 이 함수는 입력 $x$의 값이 어떤 범위에 있더라도 출력이 $0$과 $1$ 사이의 값을 가지며, $x$가 매우 큰 양수로 갈수록 출력은 $1$에 가까워지고, 매우 큰 음수로 갈수록 출력은 $0$에 가까워진다.

시그모이드 함수는 대표적인 활성화 함수로 사용되었다. 회귀분석에 있어서 선형 함수는 새로운 데이터의 추가가 기존의 분류 모델에 크게 영향을 미치는 반면, 시그모이드 함수에서는 해당 문제가 크지 않았다. 경사하강법을 시행할 때 기울기의 급격한 변화가 나타나지 않는다는 점도 시그모이드 함수의 장점이었다. 또한 시그모이드 함수의 중간 부분은 급격한 기울기를 가지는 반면, 출력값이 $0$과 $1$에 가까울수록 기울기가 완만하여 이진 분류를 해내는 데에 있어서 적합하였다. 뿐만 아니라, 인체가 어느 정도까지는 자극이 주어져도 이를 인식하지 못하다가 특정한 임계점을 넘어서는 순간 자극을 인식한다는 점과도 비슷한 측면이 있어 널리 사용되었다.

특징

연속성과 미분 가능성

시그모이드 함수는 연속적이며 미분 가능하다. 이는 신경망의 학습 과정에서 매우 중요한 특성이다. 연속성 덕분에 함수의 그래프에서 점이 끊기지 않고, 미분 가능성 덕분에 역전파 알고리즘을 통해 네트워크의 가중치를 조정할 수 있다. 역전파 알고리즘은 신경망의 학습 과정에서 기울기를 계산하여 가중치를 업데이트하는 데 사용된다. 시그모이드 함수는 미분 가능한 함수로서, 이 과정에서 필요한 기울기를 제공한다.

출력 범위

시그모이드 함수의 출력값은 항상 $0$과 $1$ 사이에 있다. 이는 함수가 확률을 모델링할 때 유용한 특성이다. 예를 들어, 이진 분류 문제에서 신경망의 출력층에 시그모이드 함수를 사용하면, 출력값을 $0$과 $1$ 사이의 확률로 해석할 수 있다. 즉, 특정 클래스에 속할 확률을 제공하며, 이는 분류 문제를 해결하는 데 유용하다.

비선형성

시그모이드 함수는 비선형 함수로, 입력값에 비선형적인 변화를 일으킨다. 이는 신경망이 복잡한 패턴을 학습할 수 있도록 해준다. 비선형성 덕분에 신경망은 단순한 선형 회귀 문제를 넘어서서, 데이터의 복잡한 관계를 모델링할 수 있다. 여러 층의 뉴런을 통해 다양한 비선형 변환을 수행함으로써, 신경망은 더욱 복잡한 함수와 패턴을 학습할 수 있다.

문제

기울기 소실 문제

시그모이드 함수는 입력값이 매우 크거나 작을 때 기울기가 거의 $0$에 가까워지는 특성이 있다. 이는 기울기 소실(Vanishing Gradient) 문제를 발생시킬 수 있다. 기울기 소실 문제는 신경망의 깊은 층에서 기울기가 너무 작아져서 학습이 거의 이루어지지 않는 문제를 의미한다. 입력값이 매우 큰 양수나 작은 음수일 때, 시그모이드 함수의 출력이 $0$ 또는 $1$에 가까워지면서 기울기가 거의 $0$이 되어, 역전파 과정에서 기울기가 소실된다. 이로 인해 깊은 신경망에서는 학습이 어렵고, 가중치 업데이트가 제대로 이루어지지 않을 수 있다.

출력의 비대칭성

시그모이드 함수의 출력값은 $0$과 $1$ 사이로 제한되며, 함수의 중심은 $0$이 아니라 $0.5$에 있다. 이 비대칭성은 뉴런의 활성화 값이 항상 양수로 편향되게 만들며, 이는 역전파 과정에서의 가중치 업데이트가 비효율적으로 이루어질 수 있음을 의미한다. 비대칭성으로 인해 출력값이 $0.5$에 가까운 경우, 기울기가 작아져 학습이 느려질 수 있다. 이로 인해 신경망의 학습 속도가 저하될 수 있다.

계산 복잡성

시그모이드 함수는 지수 함수 $e^{-x}$를 포함하고 있기 때문에, 계산적으로 비용이 발생할 수 있다. 특히 대규모 데이터와 신경망에서 이러한 계산 비용은 성능에 부정적인 영향을 미칠 수 있다. 계산 비용이 크기 때문에, 신경망의 학습과 예측이 더 오랜 시간이 걸릴 수 있다.

대안으로 도입된 함수

쌍곡탄젠트 함수

쌍곡탄젠트 함수는 시그모이드 함수의 문제점을 일부 해결할 수 있는 대안으로 도입되었다. tanh 함수는 다음과 같이 정의된다.

${\text{tanh}}(x)={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}$

tanh 함수는 출력 범위가 $-1$에서 $1$ 사이로, 시그모이드 함수보다 대칭적이며, 출력의 중심이 0에 위치한다. 이는 뉴런의 활성화값이 $0$을 중심으로 대칭을 이루어, 역전파 과정에서 가중치 업데이트가 더 효율적으로 이루어지게 한다. 또한, 기울기 소실 문제도 일부 완화된다.

더 구체적으로, 쌍곡탄젠트 함수의 가장 큰 장점 중 하나는 출력이 $-1$에서 $1$ 사이의 값을 가지며, $0$을 중심으로 대칭적이라는 점이다. 이는 네트워크의 뉴런이 활성화될 때, 출력값의 평균이 $0$에 가까워지게 만들어 준다. 출력이 $0$을 중심으로 대칭이 되면, 다음 층으로 전달되는 데이터의 편향이 줄어들고, 가중치의 업데이트가 더 효율적으로 이루어진다. 이로 인해, 학습 속도도 증가하게 된다.

또한 쌍곡탄젠트 함수는 시그모이드 함수에 비해 기울기 소실 문제를 일부 완화시킬 수 있다. tanh 함수의 기울기는 시그모이드 함수에 비해 크기 때문에, 역전파 과정에서 기울기가 덜 소실된다. 이는 특히 깊은 신경망에서 중요한데, 기울기 소실 문제가 덜 발생함으로써 학습이 더 효과적으로 이루어질 수 있다. 더불어 쌍곡탄젠트 함수는 시그모이드 함수와 마찬가지로 지수 함수를 포함하고 있지만, 출력의 대칭성과 기울기 특성 덕분에 실제 학습 과정에서 시그모이드 함수보다 효율적으로 작용하는 경우가 많다.

쌍곡탄젠트 함수는 시그모이드 함수의 주요 문제점들을 상당 부분 해결했지만, 여전히 기울기 소실 문제를 완전히 제거하지는 못한다. tanh 함수도 입력값이 매우 크거나 작을 때, 출력이 $-1$ 또는 $1$에 수렴하면서 기울기가 매우 작아지는 현상이 발생한다. 이로 인해, 딥러닝에서 완벽한 해결책이 되지는 못하며, 깊은 신경망을 학습할 때 여전히 어려움이 있었다.

쌍곡탄젠트 함수는 시그모이드 함수의 몇 가지 주요 단점을 해결하면서, 인공 신경망의 학습을 보다 효율적으로 만들었다. 출력의 대칭성 덕분에 편향 문제가 줄어들었고, 기울기 소실 문제도 일부 완화되었다. 이러한 이유로, tanh 함수는 시그모이드 함수보다 더 나은 대안으로 간주되었고, 인공 신경망의 활성화 함수로 널리 사용되었다. 그러나 tanh 함수 역시 기울기 소실 문제를 완전히 해결하지는 못했으며, 이후에는 ReLU와 같은 더 나은 활성화 함수들이 개발되었다.

ReLU 함수

이후 시그모이드 함수의 한계로 ReLU 함수가 도입되었다. ReLU 함수는 다음과 같은 간단한 형태로 정의된다.

${\text{ReLU}}(x)=\max(0,x)$

ReLU 함수는 시그모이드와 tanh 함수의 문제점을 크게 해결하면서, 딥러닝에서 가장 널리 사용되는 활성화 함수로 자리 잡았다. ReLU 함수는 기울기 소실 문제를 거의 제거하며, 계산이 간단하고 효율적이다. 다만, ReLU도 모든 입력에서 완벽하지 않으며, 일부 문제를 해결하기 위해 Leaky ReLU, Parametric ReLU와 같은 변형들이 제안되었다.

더 구체적으로, ReLU 함수의 가장 큰 장점 중 하나는 기울기 소실 문제를 크게 완화시킨다는 점이다. 입력 값이 양수일 때 ReLU의 미분값은 1이므로, 역전파 과정에서 기울기가 잘 전달된다. 이로 인해 깊은 신경망에서도 기울기 소실 문제가 줄어들어 학습이 더 효율적으로 이루어진다.

또한 ReLU 함수의 출력은 $0$ 이상의 값을 가지므로, 비대칭성이 해소된다. 이는 뉴런이 더 다양한 패턴을 학습할 수 있게 도와주며, 학습 속도를 높이는 데 기여한다. 더불어 ReLU 함수는 매우 간단하게 구현된다. 최대값을 계산하는 연산만 필요하기 때문에, 시그모이드 함수에 비해 계산적으로 훨씬 효율적이다. 특히 대규모 데이터와 신경망에서 ReLU의 계산 속도는 큰 장점으로 작용한다.

비록 ReLU 함수가 시그모이드 함수의 많은 문제점을 해결했지만, 그 자체로도 몇 가지 한계가 있다. 예를 들어, 입력 값이 음수일 때 출력이 항상 0이 되는 "죽은 ReLU" 문제(dead ReLU)가 발생할 수 있다. 이를 해결하기 위해 Leaky ReLU, Parametric ReLU(PReLU) 등 다양한 변형된 ReLU 함수들이 제안되었다.

시그모이드 함수는 초기 인공 신경망 연구에서 중요한 역할을 했지만, 그 고유한 문제점들로 인해 깊은 신경망에서의 학습이 어려워졌다. ReLU 함수는 이러한 문제들을 해결하며 딥러닝의 발전에 크게 기여했으며, 오늘날 대부분의 신경망에서 기본 활성화 함수로 사용되고 있다. ReLU의 단순한 형태와 효과적인 성능은 딥러닝 모델의 학습을 보다 빠르고 효율적으로 만들었다.

관계

AI : 인공신경망

시그모이드 함수는 초기 인공신경망 모델에서 중요한 역할을 했다. 신경망의 뉴런은 입력 신호를 받아 시그모이드 함수와 같은 비선형 활성화 함수를 통해 출력 신호를 생성한다. 이러한 비선형성 덕분에 신경망은 단순한 선형 회귀 문제를 넘어서 복잡한 패턴 인식과 비선형 문제를 해결할 수 있게 되었다. 시그모이드 함수는 특히 이진 분류 문제에서 사용되며, 출력값이 0과 1 사이의 확률로 해석될 수 있기 때문에 로지스틱 회귀(Logistic Regression)와 같은 모델에서 핵심적인 역할을 한다. 또한, 순환신경망(RNN)에서도 게이트 함수로 사용되며, 입력값의 중요도를 조절하는 데 기여한다.

참고자료

• 〈시그모이드 함수〉, 《AI 용어사전》
• 〈시그모이드 함수〉, 《위키백과》
• 〈기울기 소멸 문제〉, 《위키백과》
• Mins, 〈(딥러닝 도전기) 2. 활성화 함수〉, 《네이버 블로그》, 2019-12-07
• HDLY, 〈딥러닝 - 활성화 함수(Activation) 종류 및 비교〉, 《네이버 블로그》, 2020-02-25
• ursobad, 〈로지스틱 회귀(Logistic Regression)〉, 《티스토리》, 2020-09-29
• MangBaam, 〈(머신러닝) 활성화 함수(계단, 시그모이드, 쌍곡탄젠트, ReLU, 소프트맥스 함수) 파이썬 예제〉, 《티스토리》, 2020-11-19
• Go! Jake, 〈04. 딥러닝 신경망(Neural Network) - 활성화 함수, 계단 함수, 시그모이드 함수, ReLU의 모든 것〉, 《티스토리》, 2021-05-01
• 초보 개발자의 일기장, 〈기울기 소실(Gradient Vanishing)과 폭주(Exploding) 해결 방법〉, 《티스토리》, 2022-09-01
• Lora Baek, 〈활성화함수 -왜 Sigmoid가 아니라 Relu 함수를 쓸까?〉, 《티스토리》, 2023-04-12
• why, 〈시그모이드 곡선과 시장점유율〉, 《브런치스토리》, 2023-07-17
• 데이터 벌집, 〈(Machine Learning) 시그모이드 함수: 데이터 과학의 핵심 이해하기〉, 《티스토리》, 2024-01-26

같이 보기

• 활성화 함수
• 비선형성
• 로지스틱 회귀
• 순환신경망
• 기울기 소실

이 시그모이드 함수 문서는 수학에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

일반 : 자연, 생물, 동물, 식물, 정치, 군사, 경제, 사회, 교육, 문화, 예술, 스포츠, 역사, 역사인물, 인간, 인체, 건강, 정신, 성격, 행동, 언어, 수학 □■⊕, 위키 도움말 수학 IMO • KMO • 공리 • 그래프이론 • 기하학 • 대수기하학 • 대수학 • 산수 • 산학 • 선형대수학 • 수식 • 수학 • 수학경시대회 • 수학자 • 양 • 위상수학 • 응용수학 • 이산수학 • 조합론 • 집합론 • 필즈상 • 해석학 • 도움말:수학 수 0 • 1 • 2 • 3 • 4 • 5 • 6 • 7 • 8 • 9 • 10 • 경(1016) • 공배수 • 공약수 • 구(1032) • 구골(10100) • 구골뱅 • 구골플렉스 • 구골플렉시안 • 그레이엄수(G64(4)) • 기수 • 로마숫자 • 만 • 무량대수(1068) • 무리수 • 무한대(∞) • 무한소 • 배수 • 백 • 벡터 • 복소수 • 부동소수점 • 분모 • 분수 • 분자 • 사원수 • 서수 • 소수 (decimal) • 소수 (prime number) • 소수점 • 수 • 숫자 • 스칼라 • 승수 • 실수 • 십진수 • 아라비아숫자 • 약수 • 양(1028) • 양수 • 억 • 원주율(π) • 유리수 • 음수 • 이진수 • 자(1024) • 자연로그의 밑(e) • 자연수 • 정수 • 조(1012) • 지수 • 천 • 합성수 • 해(1020) • 허수(i) • 황금비(φ) 계산 ! • ↑ • cos • f(x) • lim • log • sin • tan • ∑ • ∫ • 가감승제 • 값 • 결합법칙 • 계산 • 곱 • 곱셈 • 곱하기 • 공식 • 교환법칙 • 구간 • 구구단 • 극한 • 근 • 근사값 • 나누기 • 나눗셈 • 나머지 • 난이도 • 내림 • 다항식 • 답 • 더하기 • 덧셈 • 도함수 • 독립변수 • 등식 • 라마누잔합 • 로그 • 루트(√) • 리만가설 • 몫 • 무한급수 • 미분 • 미적분 • 미지수 • 반올림 • 발산 • 방정식 • 백분율 • 변수 • 부등식 • 분배법칙 • 비례식 • 비율 • 빼기 • 뺄셈 • 사칙연산 • 산수 • 삼각함수 • 삼차방정식 • 상수 • 상용로그 • 셈 • 수렴 • 수열 • 시그모이드 함수 • 식 • 약분 • 역수 • 역함수 • 역행렬 • 연산 • 오일러 공식 • 오일러 등식 • 올림 • 이차방정식 • 인수 (수학) • 인수분해 • 자연로그 • 적분 • 전개 • 정답 • 정리 • 정의역 • 제곱 • 제곱근 • 종속변수 • 증명 • 지수 • 차수 • 천분율 • 치역 • 퍼센트(%) • 풀이 • 피타고라스 정리 • 함수 • 합 • 항 • 항등식 • 해 • 행렬 도형 각도 • 각뿔 • 곡면 • 곡선 • 구 • 그래프 • 길이 • 내심 • 넓이 • 높이 • 다각형 • 다면체 • 도형 • 둔각 • 둘레 • 마름모 • 면 • 면적 • 무게중심 • 반경 • 반구 • 반원 • 반지름 • 방심 • 변 • 부피 • 빗변 • 사각뿔 • 사각형 • 사다리꼴 • 삼각뿔 • 삼각형 • 선 • 선분 • 수심 • 쌍곡선 • 예각 • 오각형 • 외심 • 원 • 원기둥(원통) • 원뿔 • 원환체(도넛모양) • 육각형 • 이등변삼각형 • 입체 • 점 • 점선 • 정사각형 • 정사면체 • 정삼각형 • 정오각형 • 정육각형 • 정육면체 • 정팔각형 • 정팔면체 • 좌표 • 좌표계 • 좌표축 • 좌표평면 • 중첩 • 지름 • 직각 • 직경 • 직사각형 • 직선 • 직육면체 • 차원 • 초입방체(하이퍼큐브) • 축 • 타원 • 테서랙트 • 텐서 • 팔각형 • 평면 • 평행사변형 • 포물선 • 호 집합 공집합(Ø) • 교집합(∩) • 무한집합 • 벤 다이어그램 • 부분집합(⊂) • 알레프수(ℵ) • 여집합 • 원소 • 유한집합 • 전체집합 • 집합 • 차집합 • 합집합(∪) 통계 경우의 수 • 기댓값 • 기하평균 • 모분산 • 모집단 • 모평균 • 분산 • 분포 • 사건 • 산술평균 • 산포도 • 상관관계 • 순열 • 신뢰구간 • 신뢰도 • 유의수준 • 전수조사 • 정규분포 • 조합 • 조화평균 • 중앙값 • 통계 • 통계학 • 편차 • 평균 • 표본 • 표본분산 • 표본조사 • 표본평균 • 표준편차(σ) • 최빈값 • 합계 • 확률 • 확률밀도함수 • 회귀분석 수학자 갈릴레오 갈릴레이 • 게오르크 칸토어 • 고트프리트 빌헬름 라이프니츠 • 니콜로 폰타나(타르탈리아) • 다비트 힐베르트 • 레오나르도 피보나치 • 레온하르트 오일러 • 로널드 그레이엄 • 르네 데카르트 • 버트런드 러셀 • 베르너 하이젠베르크 • 베른하르트 리만 • 브룩 테일러 • 블레즈 파스칼 • 스리니바사 라마누잔 • 아르키메데스 • 아이작 뉴턴 • 알콰리즈미 • 앙리 푸앵카레 • 오거스터스 드 모르간 • 요하네스 케플러 • 요한 베르누이 • 유클리드(에우클레이데스) • 유휘 • 이순지 • 이임학 • 조제프-루이 라그랑주 • 조지 불 • 존 내시 • 존 네이피어 • 존 월리스 • 존 폰 노이만 • 지롤라모 카르다노 • 최석정 • 카를 프리드리히 가우스 • 토머스 베이즈 • 피에르 드 페르마 • 피타고라스 • 헤론 • 홍정하 • 히파르코스 기타 IMO • KMO • 국제수학연맹 • 세계수학자대회 • 올림피아드 • 필즈상 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 랭체인 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 • 프롬프트 엔지니어링 문자인식과 음성인식 ICR • OCR • OMR • TTS • URL • 글자 • 답변 • 대화 • 동영상 • 디자인 • 맥락 • 문서 • 문자 • 문자인식 • 문자채팅 • 발음 • 번역 • 분류 • 상담 • 소스코드 • 스토리 • 얼굴 • 얼굴인식 • 음성 • 음성채팅 • 음성인식(STT) • 이미지 • 인공어 • 자막 • 자연어 • 질문 • 채팅 • 코드 • 코딩 • 텍스트 • 통번역 • 통역 • 파일 • 폴더 • 화상채팅 • 화자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 벡터 • 벡터DB • 벡터공간 • 스칼라 • 임베딩 • 크라우드워커 • 토큰 • 토큰화 인공지능 학습 ADP • CoLLM • DALL-E • DDPG • DQN • LAM • LMM • SARSA • sLLM • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 과적합 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 메타추론 • 모델 기반 강화학습 • 모델 프리 강화학습 • 미세조정(파인튜닝) • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 어니 • 에이전트 • 인공지능 학습 • 전이학습 • 준지도학습 • 지도학습 • 추론 • 학습 • 확률적 경사하강법 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 가중치 • 관계형 네트워크(RN) • 뉴런 • 다층퍼셉트론 • 단층퍼셉트론 • 데이터마이닝 • 방사신경망 • 볼츠만 머신 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 은닉층 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 주의 메커니즘 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 계산복잡도 NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 파이토치 • 한돌 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반