과적합(overfitting)은 인공지능(AI) 모델이 학습 데이터에 지나치게 맞춰진 상태를 말한다. 이로 인해 모델이 학습 데이터에서는 매우 좋은 성능을 보이지만, 새로운 데이터에서는 일반화 능력이 떨어져 성능이 저하되는 문제다.
과적합은 주로 모델이 너무 복잡할 때 발생한다. 예를 들어, 모델이 학습 데이터의 모든 작은 세부사항과 잡음을 지나치게 학습하게 되면, 학습 데이터에서 높은 정확도를 나타낼 수 있지만, 이는 본질적으로 학습 데이터에 특화된 패턴일 뿐, 새로운 데이터에는 잘 적용되지 않는다.
- 예시: 어떤 데이터셋이 있고, 모델이 너무 많은 파라미터(매개변수)를 사용하여 그 데이터를 완벽하게 설명하려 한다고 가정하자. 이 경우, 모델은 학습 데이터의 모든 작은 변동성까지 맞추지만, 실제로 새로운 데이터에서는 그 변동성들이 의미 없을 수 있다.
과적합의 증상[편집]
- 훈련 데이터에서 매우 높은 성능: 학습 데이터에 대해서는 매우 정확한 예측을 한다.
- 테스트 데이터에서 성능 저하: 새로운 데이터(테스트 데이터나 실제 환경)에서는 잘못된 예측을 하거나 성능이 떨어진다.
즉, 모델이 학습 데이터에 너무 맞춰져 일반화할 수 있는 능력을 잃어버린 상태다. 새로운 데이터를 마주했을 때, 모델은 학습 데이터에서 발견한 세부적인 패턴들이 실제로는 적용되지 않는 경우가 많아 성능이 저하된다.
과적합을 방지하는 방법[편집]
과적합을 방지하기 위해 여러 가지 기법이 사용된다.
- 데이터 양을 늘리기: 더 많은 데이터를 사용하면 모델이 데이터를 과도하게 학습할 가능성이 줄어든다. 더 다양한 데이터를 주면 모델이 특정 세부사항에 너무 맞추지 않고 일반적인 패턴을 학습하게 된다.
- 정규화(Regularization): 정규화는 모델의 복잡성을 제한하는 기법이다. 예를 들어, 모델의 가중치가 너무 커지지 않도록 페널티를 부여해 과적합을 방지할 수 있다. L1, L2 정규화가 대표적인 기법이다.
- 교차 검증(Cross-validation): 데이터를 여러 개의 작은 부분으로 나누고, 각 부분에 대해 모델을 학습하고 평가하는 방법이다. 이를 통해 모델이 특정 데이터셋에만 맞춰지는 것을 방지할 수 있다.
- 드롭아웃(Dropout): 신경망 모델에서 자주 사용되는 기법으로, 학습 중에 무작위로 일부 뉴런을 제외시켜 네트워크가 특정 뉴런에 의존하지 않도록 하는 방법이다.
- 조기 종료(Early stopping): 모델이 학습 데이터에서 일정 수준 이상의 성능을 보이면 더 이상 학습을 진행하지 않고 중단하는 방법이다. 과적합이 발생하기 전에 학습을 멈추어 일반화 성능을 유지하려는 목적이다.
과적합과 일반화의 균형[편집]
인공지능(AI) 모델을 학습할 때 중요한 것은 학습 데이터에만 맞추는 것이 아니라, 새로운 데이터에서도 잘 작동할 수 있는 일반화 능력을 키우는 것이다. 과적합을 방지하면서 학습을 잘 시키는 것이 AI 모델 개발의 핵심 포인트다.
요약하자면, 과적합은 모델이 학습 데이터에만 최적화되어 새로운 데이터에서 잘 작동하지 않는 문제다. 이를 방지하기 위해 모델의 복잡성을 조절하거나 학습 방법을 조정하는 다양한 기법이 사용된다.
같이 보기[편집]
|
 이 과적합 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.
|
| 인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물
|
|
|
| 인공지능 기술
|
AI 워싱 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 • 프롬프트 엔지니어링
|
|
|
| 문자인식과 음성인식
|
ICR • OCR • OMR • TTS • URL • 글자 • 답변 • 대화 • 동영상 • 디자인 • 맥락 • 문서 • 문자 • 문자인식 • 문자채팅 • 발음 • 번역 • 분류 • 상담 • 소스코드 • 스토리 • 얼굴 • 얼굴인식 • 음성 • 음성채팅 • 음성인식(STT) • 이미지 • 인공어 • 자막 • 자연어 • 질문 • 채팅 • 코드 • 코딩 • 텍스트 • 통번역 • 통역 • 파일 • 폴더 • 화상채팅 • 화자인식
|
|
|
| 인공지능 데이터
|
데이터라벨러 • 데이터라벨링 • 데이터셋 • 벡터 • 벡터DB • 벡터공간 • 스칼라 • 임베딩 • 크라우드워커 • 토큰 • 토큰화
|
|
|
| 인공지능 학습
|
ADP • CoLLM • DALL-E • DDPG • DQN • LAM • LMM • SARSA • sLLM • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 과적합 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 메타추론 • 모델 기반 강화학습 • 모델 프리 강화학습 • 미세조정(파인튜닝) • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 어니 • 에이전트 • 인공지능 학습 • 전이학습 • 지도학습 • 추론 • 학습 • 확률적 경사하강법
|
|
|
| 인공지능 알고리즘
|
AGI • ANI • ASI • RAG • XAI • 가중치 • 관계형 네트워크(RN) • 뉴런 • 다층퍼셉트론 • 단층퍼셉트론 • 데이터마이닝 • 방사신경망 • 볼츠만 머신 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 은닉층 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 주의 메커니즘 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN)
|
|
|
| 계산복잡도
|
NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전
|
|
|
| 인공지능 프로그램
|
BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 파이토치 • 한돌
|
|
|
| 인공지능 특징
|
결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론
|
|
|
| 인공지능 법적 지위
|
권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법
|
|
|
| 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반
|
|
위키원
