위키원
할루시네이션
할루시네이션(Hallucination)은 인공지능(AI)이 정보를 처리하는 과정에서 발생하는 오류를 말한다. 영어의 원래 뜻은 환각이나 환영, 환청이다. 챗GPT 등 인공지능을 통한 정보 활용이 보편화되면서 인공지능이 내놓는 여러 답변 등이 정확하지 않을 때를 통칭해 '할루시네이션'이라고 부른다.
챗GPT와 같은 생성형 AI가 질문의 맥락과 관련 없거나 사실이 아닌 내용을 마치 옳은 답처럼 내놓는 현상이 비일비재해 논란을 일으키고 있다. 정보통신업계에서는 인공지능이 데이터값을 처음부터 잘못 학습할 때 할루시네이션이 발생한다고 본다. 인공지능이 데이터를 학습해 질문에 가장 근접한 답변을 내놓지만 이에 대한 진위를 매번 정확하게 확인하지 못하는 데 따른 것이다.
상세
할루시네이션은 환각이나 환청을 뜻하는 정신의학 용어지만, 인공지능(AI)이 급속도로 발전함에 따라 챗GPT에서 확산한 신조어다. AI가 정보를 출력해내는 과정에서 발생하는 오류로, 의도적으로 생성되는 허위 정보를 마치 사실처럼 말하는 현상이다.[1][2][3]
챗GPT와 같은 생성형 AI는 수많은 데이터를 학습해 묻는 질문에 가장 근접한 답변을 내놓으며 도움을 준다. 하지만 이따금씩 질문과 관련이 없는 맥락에서 대답을 하거나, 사실이 아닌 내용을 답으로 내놔 가짜 뉴스를 만들거나 사용자에게 혼란을 줄 수 있다. 의료·법률·금융·경제 분야 등 중요한 의사 결정에 활용될 경우, 도움을 받을 수 있지만 할루시네이션으로 부적절한 결정을 내릴 경우, 경제적 손실이나 법적 문제까지 이어질 수 있다.
업계는 AI가 할루시네이션을 생성하는 원인에 대해 처음부터 잘못된 데이터로 학습하는 것으로 분석한다. AI 언어 모델은 워낙 방대한 규모와 분야의 데이터를 한번에 학습하기 때문에 과정에 오류가 생기거나 계산과 통계를 활용해 효율적으로 정보 처리를 하려고 한다. 그것이 주된 기능이기도 하다. 그 과정에서 확률상 가장 높은 답변을 내놓으려 하기에 그에 따른 진위는 확인할 수 없는 게 생성형 AI가 지닌 한계다. 이런 생성형 AI의 수학적·통계학적 기능 때문에 할루시네이션 오류를 빠르게 바로잡기는 어렵다. AI는 컴퓨터 기계이기에 인간과 달리 사실일 가능성이 큰 문장에 대해서는 끊임없이 뱉어내도록 설계돼 있고, 잘 알지 못하는 질문, 즉 학습되지 않은 정보에 대해서는 기존에 학습된 데이터에 기반한 추측을 통해 제공하기에 오류를 쉽게 범한다는 것이다.
2023년 영국 케임브리지사전은 올해의 단어로 할루시네이션을 선정하기도 했다. 그만큼 전문가들은 챗GPT와 같은 AI 시스템에서 오류를 최소화하는 게 앞으로 관련 개발자들이 해결해야 할 숙제라고 말한다. 정보의 오류는 알고리즘으로 번져 사용자의 신뢰를 떨어뜨릴 뿐 아니라 사회적으로 거짓 정보를 퍼뜨리는 주축이 될 가능성이 있기 때문이다.[4]
원인
자연어처리에서 할루시네이션이 발생하는 주된 이유는 데이터의 문제다. 수집한 데이터 자체가 잘못된 사실을 다루고 있거나, 데이터를 혼합하는 과정에서 문제가 생긴다. 대다수 생성형 AI는 사전에 훈련된 데이터를 바탕으로 응답하지만, 통계적으로 불완전한 모델이 생성되면서 할루시네이션이 나타날 수 있다. 이외에도 문장의 상관관계를 잘못 학습하면서 생기기도 하고, 내장된 지식 중 앞서 사용된 정보를 중복 사용하다가 꼬여서 생기기도 한다.[5] 다음은 할루시네이션이 발생하는 더 구체적인 원인이다.
- 편향되거나 불충분한 학습 데이터 : AI 모델은 학습 데이터에 따라 그 성능이 결정된다. 학습 데이터가 편향되거나 불충분한 경우, AI 모델은 액세스할 수 있는 데이터에 대한 제한된 이해를 바탕으로 할루시네이션을 일으킬 수 있다. 이는 대규모 언어 모델(LLM)이 편견과 잘못된 정보가 만연한 오픈 데이터를 통해 학습되었을 때 특히 위험할 수 있다.
- 과적합 : 적은 표본 정보로 학습하여 잘못된 일반화가 일어나는 현상을 의미한다. AI 모델이 과적합 되면 학습 데이터에 구체적이고 새 데이터에 일반화되지 않는 출력을 생성하게 될 수 있다. 이것은 할루시네이션을 일으키거나 관련 없는 출력을 생성하는 인공지능 모델로 이어질 수 있다.
- 맥락 이해 부족 : 맥락에 대한 이해가 부족한 AI 모델은 맥락에서 벗어나거나 관련 없는 결과를 생성할 수 있다. 이에 따라 인공지능 모델이 할루시네이션이나 무의미한 출력을 생성할 수 있다.
- 제한된 도메인 지식 : 도메인이나 작업을 위해 설계된 AI 모델은 해당 도메인이나 작업 외부의 입력이 제공될 때 할루시네이션을 일으킬 수 있다. 이는 관련 출력을 생성하는 데 필요한 지식이나 맥락이 부족하기 때문이다. 인공지능 모델이 다른 언어를 제한적으로 이해할 때에도 할루시네이션이 나타날 수 있다. AI 모델이 여러 언어로 된 어휘 데이터셋에 대해 학습될 수는 있지만, 문화적 맥락과 역사 및 이해의 부족으로 오류가 나타날 수 있다.
- 적대적 공격(Adversarial attacks) : 인공지능 모델 개선을 목표로 모델을 파괴하기 위해 팀을 구성하는 레드팀과 달리 AI 모델도 적대적 공격에 취약할 수 있다. 악의적인 행위자가 의도적으로 AI 모델에 대한 입력을 조작하면 잘못되거나 악의적인 출력이 생성될 수 있다.
- 모델 아키텍처 : AI 모델의 아키텍처는 할루시네이션의 감수성에 영향을 미칠 수 있다. 레이어 또는 매개변수가 더 많은 인공지능 모델은 복잡성 증가로 인해 할루시네이션을 일으키는 경향이 높게 나타난다.[6][7]
그럼에도 안타깝게도 아직까지 AI에서 할루시네이션이 발생하는 정확한 원인이 완전히 파악되지 않았다. 심지어는 AI가 결과를 도출하는 과정도 미지수다. 사용자가 AI에 주문을 내리면, 컴퓨터가 학습한 데이터로 연산을 처리한 뒤 결론을 도출한다. 문제는 어떤 데이터가 어떻게 상호 영향을 미쳤는지 인과관계를 파악하기 어렵고, 이 과정에서 할루시네이션이 발생한다. 제약 회사에서 AI를 활용해 혁신적인 신약 후보물질을 만들었다고 가정하자. 이때 신약 물질을 만드는 수식을 명령으로 내렸고, 신약 후보 물질의 구조를 만드는 것까지는 확인할 수 있다. 하지만 AI 내부에서 어떤 데이터를 활용하고 조합했을지까지는 완벽하게 분석할 수 없다. 이 문제를 블랙박스 현상이라고 하며, 최근에는 도출 과정까지 명확하게 확인할 수 있는 설명 가능한 AI(Explainable AI)에 대한 연구가 이어지고 있다.
할루시네이션은 AI를 신뢰하고 활용하기 위해 반드시 해결해야 할 과제다. 업계에서는 검증된 데이터만 사용해 정확하게 상황을 인식하고 응답하는 검색 증강 생성(RAG)이 답이 될 것으로 보며, 또 엔비디아 네모 가드레일처럼 부정확한 결과를 제외해 정확성을 끌어올리는 방식도 주목한다. 할루시네이션은 AI의 구조적 문제이므로 해결되지 않을 것이라는 시각도 있고, 데이터 정렬과 수집을 통해 차츰 나아질 것이라는 시각도 있다. 확실한 것은 설명 가능한 AI가 발전해야 할루시네이션도 해결될 수 있다.[8]
접근법
- 고품질 학습 데이터 활용 : 할루시네이션을 해결하기 위한 첫 번째 접근법은 고품질의 학습 데이터를 활용하는 것이다. 데이터의 품질을 보장하기 위해, 데이터 수집 과정에서 다양성과 대표성을 확보하는 것이 중요하다. 이는 인공지능 모델이 보다 균형 잡힌 정보를 학습하여, 특정 그룹이나 상황에 편향되지 않게 만든다. 또한 데이터 클렌징과 사전 처리 과정을 통해 오류, 중복, 불필요한 노이즈를 제거하여 데이터의 정확도를 높이는 작업도 필수적이다. 이러한 고품질 데이터를 기반으로 학습된 인공지능 모델은 보다 정확하고 신뢰할 수 있는 출력을 생성할 가능성이 높아진다.
- 자연어 처리 기술을 통한 문맥 이해 개선 : 자연어처리 기술의 발전은 할루시네이션 문제를 해결하는 데 중요한 역할을 한다. 특히 문맥 이해를 개선하기 위해 최신 자연어처리 기술들이 개발되고 있따. 이 기술들은 문장이나 단어의 맥락을 더 정확하게 파악하여, 인공지능이 더욱 적절하고 정확한 반응을 할 수 있도록 돕는다. 예를 들어 트랜스포머 모델과 같은 딥러닝 아키텍처는 전체 텍스트에서 각 단어의 관계와 중요도를 파악하여 문맥에 맞는 응답을 생성하는 데 유리하다.
- 인간 피드백 기반 강화학습 : 인간 피드백을 기반으로 한 강화학습(Reinforcement Learning from Human Feedback, RLHF)은 AI 할루시네이션을 줄이기 위한 또 다른 효과적인 접근법이다. 이 방법은 인간의 평가자가 AI의 응답을 평가하고 피드백을 제공하는 과정을 통해 이루어진다. AI는 이 피드백을 학습 데이터로 사용하여 자신의 응답을 점차 개선한다. 이 접근법은 AI가 실제 인간의 기대와 요구에 부합하는 방식으로 행동하도록 유도하며, AI의 결정과 행동에 대한 인간의 감독을 통해 모델의 신뢰성과 적절성을 크게 향상시킬 수 있다.
- RAG(Retrieval Augmented Generation) : 정보 검색을 통해 AI의 답변 생성을 강화하는 기술이다. 이 기술은 대규모 데이터베이스에서 관련 정보를 검색하고, 그 결과를 기반으로 새로운 내용을 생성하는 방식으로 작동한다. 예를 들어, 고객 지원 인공지능은 RAG를 사용하여 고객의 질문에 가장 정확하고 관련성 높은 답변을 제공하기 위해 기업의 지식 베이스를 동적으로 검색할 수 있다. 이 방법은 AI가 더 정확하고 풍부한 정보를 기반으로 응답함으로써 할루시네이션을 줄이는 데 기여한다.
- 실시간 데이터 수집 : 인공지능 모델을 지속적으로 개선하고 최신 상태로 유지하는 데 중요하다. 예를 들어, 소셜 미디어 플랫폼은 사용자의 반응과 상호작용을 실시간으로 분석하여, 콘텐츠 추천 알고리즘을 지속적으로 조정한다. 이러한 접근 방식은 사용자 경험을 개선하고, 사용자의 변화하는 선호도를 반영하여 할루시네이션을 예방한다.[9]
예시
2023년 2월 마이크로소프트(Microsoft)가 빙(Bing) AI를 공개할 당시, 빙 AI에게 의류기업 갭(Gap)의 수익 보고서를 분석하라고 요청했다. 빙 AI는 갭의 영업이익률이 5.9%라고 답했는데, 보고서에 5.9%라는 수치는 없으며 실제 이익률은 4.6%였다. 또한 희석 주당 순이익도 0.42달러라고 말하고, 매출도 두 자릿수 증가할 수 있다고 말했다. 실제 보고서에는 0.42달러라는 단어가 없었고, 매출도 한 자릿수 중반으로 감소할 것이라는 내용이었다.
사용자 입장에서 외재성 환각은 구분하기 쉽지만, 교묘하게 숫자나 출처가 바뀐 내재성 환각은 구분이 어렵다. 앞서 갭 수익 보고서처럼 숫자만 다르거나, 요약하라고 하면 원본 데이터와 대조해보지 않고서는 사실 여부를 판단하기가 어렵다. 특히 GPT-3처럼 데이터가 한정된 생성형 AI일수록 할루시네이션 발생이 심하다. 2023년 3월 미국 맨해튼 연방법원에서도 변호사 두 명이 GPT로 조사한 판례를 제출했다가, 최소 6건이 실존하지 않는 사건인 게 드러나며 징계를 받았고, 한 미국의 응급의학 전문의는 챗GPT가 실존하는 학술지와 실존인물의 이름을 빌려 디지털 인증 번호까지 위조한 허위 논문을 생성해 제공한 사례를 공개했다. 전문가도 명백한 출처를 확인해야 할 정도다.
할루시네이션을 최대한 피하기 위해서는 데이터의 출처를 확실히 해야 한다. GPT4는 웹 연동 서비스를 통해 매개변수를 포함한 웹 기반 데이터도 검색하는 기능이 있다. 또 GPT4에 내장된 컨센서스 등의 툴을 활용하면 논문 검색 시 실존하고 출처가 확실한 자료만으로 찾는다. 프롬프트를 정밀하게 입력하는 것도 도움이 된다. AI의 답변은 정보를 나열했을 뿐, 이해하고 제공하는 게 아니다. 따라서 질문할 때 ‘공식 보고서나 논문 검색 등을 인용해서’ 설명해 달라고 하거나, ‘최근 5년 간, 국내에서 기사로 확인할 수 있는 내용’ 같은 문장을 덧붙이면 정확성이 향상된다.[8]
각주
- ↑ 홍효진 기자, 〈(검색폭발 이슈키워드) 할루시네이션〉, 《머니투데이》, 2023-10-17
- ↑ 김경미 기자, 〈<신조어 사전>인공지능 할루시네이션(Hallucination)〉, 《서울경제》, 2023-06-04
- ↑ 기술보증기금, 〈<시보Talk> 오늘의 키워드 : 할루시네이션〉, 《네이버 블로그》, 2024-05-21
- ↑ 신자영 기자, 〈<시사체크! 키워드 / 할루시네이션(Hallucination)> 인공지능의 거짓말… 美대통령 ‘가짜 목소리’까지 만들어〉, 《어린이조선일보》, 2024-02-07
- ↑ 남시현 기자, 〈(IT강의실) 생성형 AI의 최대 난제, '할루시네이션'〉, 《동아일보》, 2024-03-29
- ↑ SaccyPecanPie, 〈할루시네이션 원인과 대응방안〉, 《브런치스토리》, 2024-01-02
- ↑ 〈할루시네이션(Hallucination)이란 무엇일까?〉, 《아펜》, 2023-08-25
- ↑ 8.0 8.1 남시현 기자, 〈<IT강의실> 생성형 AI의 최대 난제, '할루시네이션'〉, 《동아일보》, 2024-07-29
- ↑ 구구 구구, 〈95. AI 할루시네이션(AI Hallucination) : 현상 이해, 해결 방법〉, 《개인블로그》, 2024-04-28
참고자료
- 김경미 기자, 〈<신조어 사전>인공지능 할루시네이션(Hallucination)〉, 《서울경제》, 2023-06-04
- 〈(시사금융용어) 할루시네이션〉, 《연합인포맥스》, 2023-06-14
- SaccyPecanPie, 〈할루시네이션 원인과 대응방안〉, 《브런치스토리》, 2024-01-02</ref><ref>〈할루시네이션(Hallucination)이란 무엇일까?〉, 《아펜》, 2023-08-25
- 홍효진 기자, 〈(검색폭발 이슈키워드) 할루시네이션〉, 《머니투데이》, 2023-10-17
- SaccyPecanPie, 〈할루시네이션 원인과 대응방안〉, 《브런치스토리》, 2024-01-02
- 신자영 기자, 〈<시사체크! 키워드 / 할루시네이션(Hallucination)> 인공지능의 거짓말… 美대통령 ‘가짜 목소리’까지 만들어〉, 《어린이조선일보》, 2024-02-07
- 남시현 기자, 〈(IT강의실) 생성형 AI의 최대 난제, '할루시네이션'〉, 《동아일보》, 2024-03-29
- 구구 구구, 〈95. AI 할루시네이션(AI Hallucination) : 현상 이해, 해결 방법〉, 《개인블로그》, 2024-04-28
- 기술보증기금, 〈<시보Talk> 오늘의 키워드 : 할루시네이션〉, 《네이버 블로그》, 2024-05-21
- intellicon, 〈챗 GPT 오류, 할루시네이션〉, 《인텔리콘 법률사무소》, 2024-05-30
- 남시현 기자, 〈<IT강의실> 생성형 AI의 최대 난제, '할루시네이션'〉, 《동아일보》, 2024-07-29
같이 보기
