XAI

XAI(Explainable AI) 또는 설명가능 인공지능은 판단에 대한 이유를 사람이 이해할 수 있는 방식으로 제시하는 인공지능(AI)을 일컫는다. 특정한 판단에 대해 알고리즘의 설계자조차도 그 이유를 설명할 수 없는 '블랙박스' 인공지능과 대비되는 개념이다. 불확실성을 해소하여 인공지능에 대한 신뢰성을 높일 수 있게 된다.

상세

XAI은 인공지능(AI)이 내린 결정이나 결과를 사람이 이해할 수 있도록 설명하는 기술을 의미한다. 이 기술은 AI의 복잡한 판단 과정을 투명하게 제시하여 사용자가 그 결과를 신뢰하고 적절히 활용할 수 있도록 돕는다. 예를 들어, AI가 특정한 결론을 도출할 때 그 근거와 과정을 명확하게 설명하는 것이 중요한데, 이는 단순한 결과만 제공하는 기존의 AI와 차별화되는 점이다. XAI는 인간이 AI의 결정을 신뢰할 수 있도록 다양한 방식으로 설명을 제공한다. XAI는 AI의 학습 속성을 해석하고 설명하는 알고리즘으로, 특히 프리미엄 서비스와 같은 고도화된 분야에서 중요한 역할을 할 것으로 전망된다. 이를 통해 사용자는 AI가 도출한 결과의 배경 정보를 이해할 수 있고, 신뢰할 수 있는 결정을 내릴 수 있게 된다.

XAI는 제조업, 금융업 등 다양한 산업 분야에 적용되고 있다. 예를 들어, XAI 기술을 적용한 스타트업 인이지(INEEJI)는 포스코(POSCO) 스마트 고로에 XAI 기반 솔루션을 적용해 용광로의 쇳물 온도 오차를 25% 줄이는 데 기여했다. 또한, 부천시에서는 XAI를 활용해 교통 혼잡을 예측하고 교통 신호를 최적화하여 출퇴근 시간을 단축하는 데 성공했다. 이러한 사례는 XAI가 실질적으로 업무 효율성과 신뢰성을 높이는 데 중요한 역할을 하고 있음을 보여준다. XAI의 활용은 미국 국방부 산하 다르파(DARPA)에서도 중요한 연구 과제로 다루어지고 있다. 이들은 2016년부터 XAI 투자 프로그램을 시작해 AI 내부를 사람이 이해할 수 있는 방식으로 설명하는 모델과 인터페이스를 개발 중이다. 또한, 마이크로소프트(Microsoft)의 링크드인(LinkedIn)도 XAI를 활용해 고객 계약 취소 위험을 예측하고 그 이유를 설명하는 AI 시스템을 도입해, 구독 매출을 8% 증가시키는 등의 성과를 얻었다.

XAI는 AI가 단순히 결과를 제공하는 것에서 그치지 않고, 그 과정과 이유를 해석하고 설명하는 것이 핵심이다. 특히 의료 및 금융 분야에서 XAI의 중요성이 더욱 부각되고 있다. 예를 들어, 의료 분야에서는 AI가 췌장암이나 치매 같은 질병을 진단할 때, 그 이유를 명확히 설명함으로써 진단에 대한 신뢰를 높일 수 있다. 금융 분야에서는 주식 거래나 금융 거래에 대한 예측 및 분석 결과를 설명함으로써 사용자가 AI의 판단을 이해하고 더 나은 결정을 내릴 수 있도록 돕는다.

필요성

XAI의 필요성과 중요성은 AI 시스템의 신뢰성과 투명성을 확보하는 데서 비롯된다. AI는 대량의 데이터를 처리하고 복잡한 패턴을 인식하여 예측과 결정을 내리지만, 이러한 과정이 종종 ‘블랙박스’처럼 불투명하게 진행될 수 있다. 이는 여러 가지 이유로 문제를 일으킬 수 있다. XAI는 이러한 블랙박스 문제를 해결하기 위해 개발되었으며, 주요한 필요성과 중요성은 다음과 같다.

첫째, 신뢰 구축 측면에서, AI의 결정과 예측 과정이 불투명할 경우, 사용자와 이해관계자들은 시스템에 대해 신뢰를 갖기 어렵다. XAI는 결정의 이유를 명확히 설명함으로써 사용자와 개발자들이 AI의 결과를 이해하고 신뢰할 수 있도록 돕는다. 이는 특히 중요한 결정을 내리는 시스템에서 신뢰를 구축하는 데 필수적이다. 예를 들어, 의료 분야에서는 AI가 암 진단을 제공할 때 그 근거를 설명함으로써 의사와 환자가 결과를 더욱 신뢰할 수 있게 된다.

둘째, 책임성 측면에서 AI 시스템이 잘못된 결정을 내렸을 경우, 그 책임을 명확히 할 수 있는 근거가 필요하다. XAI는 AI의 결정 과정과 결과를 설명함으로써, 시스템의 결함이나 오류를 식별하고 책임을 명확히 할 수 있도록 돕는다. 이는 법률, 금융 등에서 결정의 정확성과 책임을 중요시하는 분야에서 특히 중요하다.

셋째, 규제 준수 측면에서도 XAI는 큰 역할을 한다. 많은 산업에서는 AI 사용에 대한 규제가 점점 엄격해지고 있으며, XAI는 이러한 규제 요구를 충족하는 데 도움을 준다. 예를 들어, 금융 기관에서는 대출 심사 과정에서 AI의 결정이 공정하게 이루어졌다는 것을 입증하기 위해 XAI를 활용할 수 있다.

넷째, 윤리적 고려도 XAI의 중요한 측면이다. AI가 내리는 결정이 도덕적이고 사회적으로 올바른지 검토하기 위해서는 결정 과정의 투명성이 필요하다. XAI는 AI 시스템이 사회적 윤리 기준을 충족하도록 하는 데 필요한 정보를 제공하며, 이는 윤리적인 AI 개발과 운영에 기여한다.

기법

XAI 기법은 세 가지 주요 방법으로 구분된다. 예측 정확도와 추적 가능성은 기술적 요구 사항을 다루며, 의사 결정 이해는 인간의 요구를 충족시킨다. 설명 가능한 AI, 특히 설명 가능한 머신 러닝은 미래의 전투원들이 새로운 세대의 인공지능 시스템을 이해하고 신뢰하며 효과적으로 관리하기 위해 필수적이다.

• 예측 정확도 : AI의 일상적인 사용에서 얼마나 성공적인지를 나타내는 중요한 요소다. 시뮬레이션을 실행하고 XAI의 출력을 학습 데이터 세트의 결과와 비교하여 예측 정확도를 평가할 수 있다. 이 과정에서 많이 사용되는 기술 중 하나는 LIME(Local Interpretable Model-Agnostic Explanations)으로, 이는 머신러닝 알고리즘에 의한 예측을 설명하는 데 도움을 준다.
• 추적 가능성 : 설명 가능한 AI를 구현하기 위한 또 다른 핵심 기술이다. 의사 결정을 내리는 방법을 제한하고, 머신러닝 규칙과 기능의 범위를 좁혀서 이를 달성할 수 있다. 추적 가능성의 예로는 DeepLIFT(Deep Learning Important FeaTures)가 있으며, 이는 각 뉴런의 활성화를 기준 뉴런과 비교하고, 활성화된 뉴런 간의 링크와 의존성을 시각적으로 나타내는 기능을 제공한다.
• 의사 결정 이해 : 이 부분은 인적 요소와 관련이 있다. 많은 사람들이 AI를 신뢰하지 않지만, AI를 효율적으로 활용하기 위해서는 AI의 의사 결정 과정을 이해하고 신뢰할 수 있어야 한다. 이는 AI를 활용하는 팀에 교육을 제공하여 AI가 어떻게 결정을 내리는지와 그 이유를 설명함으로써 이뤄질 수 있다.

방법론

대체모델

대체모델(Surrogate Model)은 복잡하고 대규모인 원본 모델을 해석하고 설명할 수 있도록 단순화한 모형을 말한다. 이 모델은 원본 모델이 학습한 데이터를 활용하여 선형 회귀(Linear Regression)나 의사 결정 트리(Decision Tree)와 같이 비교적 직관적이고 설명이 용이한 알고리즘을 통해 생성된다. 대체모델은 원본 모델의 예측 결과에 영향을 미치는 변수(Feature)를 설명할 수 있어야 하며, 이를 위해 원본 모델의 예측 값을 근사하는 대체 모델을 학습시키는 과정을 거친다.

2023년에 국제통화기금(IMF)에서 발표한 연구에서는, 코비드-19 팬데믹이 아프리카 국가들의 정부 부채에 미친 영향을 분석하기 위해 복잡한 머신러닝 모델을 만들었으나, 200개 이상의 변수를 포함하다 보니 모델의 작동 방식이 복잡해져 정책 결정에 활용하는 데 한계가 있었다. 이를 해결하기 위해 연구자들은 경제 이론과 최종 사용자들의 활용 목적을 고려해 20여 개의 주요 변수를 선택한 대체모델을 개발했다. 이 모델은 원본 모델의 복잡성을 줄여 설명 가능성을 높였으며, 이를 통해 IMF 연구팀은 경제 위기를 포착하는 데 있어 대체모델이 원본 모델과 유사한 결과를 도출할 수 있음을 확인했다.

대체모델의 장점은 원본 모델의 복잡한 작동 방식에 대한 이해를 돕는다는 점이다. 특히, 금융기관이나 소비자 대상 업무에서 예측 결과를 설명할 때 유용하게 사용되며, 정책결정자들이 익숙한 도메인의 언어로 결과를 이해하고 활용할 수 있도록 도와준다. 단, 대체모델이 원본 모델의 모든 로직을 완벽하게 재현하지는 않으며, 예측 결과를 근사하는 데 중점을 둔다.

LIME

LIME(Local Interpretable Model-Agnostic Explanation)은 특정 관심 영역과 유사한 정보를 포함한다고 간주되는 영역을 나누어 이를 이해 단위로 사용한다. 이러한 단위를 슈퍼픽셀(superpixel)이라 부른다. 슈퍼픽셀의 마스킹 여부에 따른 다양한 조합을 해석 가능한 모델에 입력하고, 특정 슈퍼픽셀이 마스킹될 때 블랙박스 모델의 예측에 어떤 영향을 미치는지 확인해 중요도를 평가하는 방식이다. 예를 들어, 개구리로 분류된 이미지의 분류 이유를 파악하기 위해 이미지를 적절한 설명 단위로 분할한다. 이후 각 설명 단위가 마스킹된 경우와 그렇지 않은 경우의 이미지들을 만들어 블랙박스 모델에 입력하고, 각 이미지가 개구리로 분류될 때의 확률을 확인한다. 이 과정에서 마스킹된 여러 이미지를 입력값으로 하고, 확률을 출력값으로 하는 대체 모델(Surrogate model)을 학습시켜 각 설명 단위가 예측에 얼마나 기여했는지 해석한다.

이 방법의 장점은 결과가 직관적이라는 점이다. 다른 기법에 비해 연산 자원이 적게 소요되며, 기계 학습 모델에 상관없이(Model-agnostic) 적용할 수 있다. 이는 블랙박스 모델과 유사한 결과를 내지만 설명 가능한 대체 모델을 이용하는 기법들의 공통적인 특징이기도 하다. 그러나 이 방법의 단점은 결정 경계를 확정하는 방식이 비결정적이어서, 결과가 호출될 때마다 다를 수 있다는 점이다. 또한 하나의 데이터에만 설명이 적용되기 때문에 모델 전체에 대한 설명을 제공하지 못한다. 대표성을 지닌 서브모듈(이미지의 경우 슈퍼픽셀)을 선택하는 알고리즘이 제안되었으나, 입력값에 대한 기여도를 간접적으로만 해석할 수 있으며, 블랙박스 내부의 은닉층 단계에서의 역학을 파악하거나 기여도를 분석하지는 않는다.

SHAP

SHAP(SHapley Additive exPlanations)는 선형 회귀, 로지스틱 회귀, 트리 기반 모델 등 다양한 머신러닝 및 자연어 처리(NLP) 모델에 적용 가능한 XAI 방법론이다. SHAP는 예측 결과에 각 특성이 얼마나 기여했는지를 설명하는데, 이는 게임 이론에서 셰이플리 값(Shapley Value)이라는 개념을 응용한 것이다. 셰이플리 값는 개별 특성의 유무뿐만 아니라 다른 특성과의 상호 관계까지 고려한다는 점에서 강력한 해석력을 제공한다. 예를 들어, SHAP을 자연어 처리 모델에 적용한 사례로 트위터(Twitter)에서 수집된 텍스트 데이터를 바탕으로 감정 분류를 수행한 연구가 있다. 이 연구에서는 각 텍스트가 '슬픔(sadness)', '기쁨(joy)', '사랑(love)', '화(anger)', '두려움(fear)', '놀람(surprise)'의 6가지 감정으로 분류되었으며, 각 감정에 영향을 미치는 단어들이 시각적으로 표시되었다. 파란색과 빨간색 막대로 나타난 SHAP 값은 해당 단어가 예측 감정에 미치는 영향을 나타내며, 막대의 길이는 그 값의 크기를 의미하고, 색상은 + 또는 - 영향을 나타낸다.

버트(BERT)와 같은 트랜스포머(Transformer) 기반의 자연어 처리 모델에 SHAP를 적용한 이 사례에서는 텍스트 내 사용된 단어들의 특성 조합을 바탕으로 예측 값을 계산하고, 그 평균적 영향을 셰이플리 값으로 나타냈다. 이를 통해 모델이 각 단어의 기여도를 직관적으로 시각화하는 기능을 제공하여, 빨간색 단어는 감정 분류에 긍정적 영향을, 파란색 단어는 부정적 영향을 미쳤다는 사실을 한눈에 파악할 수 있었다. SHAP의 장점은 게임 이론을 바탕으로 일관성 있는 설명을 제공한다는 점이다. 하지만 특성의 수가 증가할수록 계산량이 지수적으로 늘어나기 때문에, 변수의 개수가 10~20개를 넘는 복잡한 모델에서는 적용하기 어렵다는 한계가 있다.

계층별 타당성 전파

계층별 타당성 전파(LRP; Layer-wise Relevance Propagation)는 출력값을 은닉층마다 분해하여 각 층의 기여도를 계산한 후, 이를 타당성 전파(Relevance Propagation)를 통해 이전 은닉층에 재분배하는 방식이다. 이 과정에서 산출된 기여도를 히트맵(Heatmap)으로 시각화하여, 모델이 어떤 부분에서 판단에 영향을 받았는지 파악할 수 있다. 기여도 계산에는 테일러 급수(Taylor series)를 응용한 심층 테일러 분해(Deep Taylor Decomposition)를 사용한다. 테일러 급수는 복잡하거나 잘 알려지지 않은 함수를 다룰 때 이를 단순화하고 이해하기 쉽게 만드는 방법이다. 예를 들어, 신경망 모델이 특정 이미지를 고양이로 판단한 이유를 분석할 때, 각 은닉층의 기여도를 기반으로 생성된 히트맵을 보면, 고양이 형상이 포함된 히트맵이 특정 픽셀의 기여도를 나타내며, 해당 픽셀이 고양이로 분류되는 데 영향을 주었다고 해석할 수 있다.

이 방법론의 장점은 비교적 객관적인 결과를 제공한다는 점이다. 1995년의 딥러닝 활성화 함수 분해를 통한 민감도 분석(Sensitivity Analysis)은 원본 이미지에서 히트맵을 밀집시키는 데 실패해 해석력이 떨어졌으며, 2014년에 제안된 신경망의 연결을 역재생하는 디컨볼루션 기법은 은닉층 간의 상호작용을 합리적으로 설명하지 못했다. LRP는 디컨볼루션 기법을 개선하여 이후 파생된 기법들의 기반이 되었다. 그러나 단점으로는, 기여도를 시각화한 것만으로는 설명이 충분하지 않으며, 맥락적 해석이 요구된다는 점이다. 히트맵을 일일이 확인하면서 객체를 인식하는 번거로움이 있고, 출력에 가까운 은닉층일수록 나타나는 추상적 개념을 해석하기 어려울 수 있다.

DGNN의 생성 경계를 고려한 탐색적 샘플링 방식

DGNN(Deep Generative Neural Networks)의 생성 경계를 고려한 탐색적 샘플링 방식(Explorative Sampling Considering the Generative Boundaries of Deep Generative Neural Networks)은 이미지나 텍스트 등 생성 모델이 어떤 기준으로 결과물을 만들어내는지를 이해하기 어렵다는 문제를 해결하기 위한 방법론이다. 이 방법은 예제 기반 설명을 통해, 모델이 다차원 공간에서 만들어낸 격자(grid) 또는 경계 중 중요한 것들만 남기고, 경로 탐색 알고리즘(예: RRT; Rapidly-exploring Random Tree)의 응용을 사용해 격자 사이의 데이터를 샘플링하는 방식이다. 이를 통해 특정 격자가 샘플에 어떤 영향을 주는지 확인하고, 해당 격자의 역할을 추론한다. 예를 들어, 이미지 생성 모델에서 남성의 사진이 특정 격자 사이에 있을 때, 특정 격자에 가까운 이미지 샘플을 생성하면 여성스러운 느낌을 줄 경우, 해당 격자는 남성을 여성처럼 보이게 하는 역할을 한다고 추측할 수 있다.

이 방법론의 장점은 격자마다 어떤 특징이 있는지를 파악하고, 이를 의도적으로 제어할 수 있다는 점이다. 만약 의도하지 않은 이미지나 텍스트가 생성되었을 때, 샘플을 통해 문제를 일으키는 격자를 찾아내어 관련 노드를 비활성화하는 등의 조치를 취할 수 있다. 하지만 단점으로는 예제 기반 설명의 공통적인 문제인 샘플 간 변화와 경계를 언어로 표현하는 과정에서 분석가의 주관적 판단이 개입될 수 있다는 점이 있다. 또한, 이러한 경계 구분을 설명하는 데 편견이 들어갈 위험도 있다.

규칙 추출

규칙 추출(Rule Extraction)은 신경망의 구조에서 IF-THEN 형태의 규칙을 도출해 의사결정 나무와 같은 형식으로 나타내는 방법론이다. 신경망을 이루는 각 노드는 활성 함수에 의해 결정되며, 규칙 추출 방법에서는 특정 알고리즘을 통해 중요한 노드를 선택한 후, 특정 수치 경계를 기준으로 나눈다. 이때 경계값을 넘으면 TRUE, 넘지 않으면 FALSE로 나누고, 그 결과에 따라 다음 층의 노드로 이동하며 이를 반복한다. 딥러닝 모델에서 대표적인 방법론으로는 DeepRED가 있으며, 이 외에도 여러 변형된 방식이 존재한다. 예를 들어, 시그모이드 함수로 구성된 노드가 있다면 규칙 추출 알고리즘에 따라 임계값이 0.22로 도출될 수 있다. 이를 바탕으로 ‘IF 0.22>=input1 THEN output 1.00 ELSE output 0.00’과 같은 형태로 표현할 수 있으며, 이렇게 도출된 규칙을 통해 신경망을 가능한 한 논리적 형태로 축약할 수 있다.

이 방법의 장점은 신경망 모델을 단순화하여 가독성을 높이고, 유지보수가 용이하다는 점이다. 그러나 단점으로는 대부분의 연구가 은닉층이 1개인 단순한 모델을 대상으로 한다는 점이 있다. 모델이 복잡해질수록 가지가 너무 많아져, 아무리 단순화해도 블랙박스 모델과 마찬가지로 이해하기 어려울 수 있다. 또한, 도출된 규칙이 블랙박스 모델의 작동 방식과 완전히 일치하지 않아, 블랙박스의 메커니즘을 완벽하게 설명하는 데는 한계가 있다.

제로샷러닝

제로샷러닝(Zero-Shot Learning)은 전이학습을 기반으로, 한 번도 처리한 적 없는 데이터를 분류할 수 있게 하는 방법론이다. 크게 두 가지 발상에 기반한다. 첫 번째는, 이미지와 같은 데이터를 신경망 모델이 학습한 단어의 의미적 공간(e.g. 지식 그래프 : 서울-한국, 도쿄-일본처럼 단어 간의 관계를 의미적으로 연결한 다차원 공간)에 매핑하는 것이다. 두 번째는, 분류기가 이미 존재하는 태그를 선호하는 경향을 이용해 특이치 탐지(novelty detection)를 수행한다. 새로운 이미지가 주어졌을 때 특이치가 일정 수준 이상이면, 모델은 지식 그래프를 참조해 새로운 태그를 생성하여 분류하게 된다. 기존에 학습된 모델을 활용하기 때문에 전이 학습(Transfer Learning)의 일종으로 볼 수 있으며, 이와 유사한 접근법으로는 메타 러닝(Meta Learning)과 하이브리드 러닝(Hybrid Learning)이 있다. 예를 들어, 호랑이, 사자, 오랑우탄 이미지를 학습한 모델이 고양이를 한 번도 학습하지 않은 상태에서 고양이 이미지를 받았을 때, 특이치가 일정 수준을 넘으면 모델은 새로운 이미지로 판단하고 기존 지식 그래프를 탐색하여 적절한 태그를 찾는다. 이 과정에서 ‘호랑이-호피 무늬-없다-작은 고양이’와 같은 경로를 따라가 최종적으로 고양이로 분류한다.

이 방법론의 장점은 사전 학습된 지식 그래프를 바탕으로 맥락을 고려한 설명이 가능하다는 점이다. QA(질의응답) 시스템이나 지식 그래프 경로 탐색 기술을 활용해 자연어 기반 설명을 생성할 수도 있다. 그러나 단점으로는, 지식 그래프가 항상 문맥적 깊이를 보장하지 않으며, 이로 인해 더 깊은 설명이 필요할 경우 지식 그래프 자체를 구축하는 데 사용된 모델을 설명해야 하는 추가적인 문제를 야기할 수 있다. 이는 대규모 문서를 학습한 텍스트 생성 모델 GPT-3에서도 제기된 한계점이다.

비교

AI

XAI(설명 가능한 인공지능, Explainable AI)와 AI(인공지능, Artificial Intelligence)는 밀접하게 연관되어 있지만, 둘 사이에는 중요한 차이점이 있다. XAI는 AI의 하위 분야로, AI가 수행한 판단과 결정을 사람에게 설명할 수 있도록 만드는 기술을 의미한다. 반면, 일반적인 AI는 주어진 데이터를 기반으로 문제를 해결하고 결과를 도출하는 시스템으로, 그 과정에서 결정의 이유나 근거를 설명하는 기능을 필수적으로 갖추고 있지는 않다.

먼저 AI는 인간의 지능을 모방하여 다양한 작업을 수행할 수 있는 시스템을 의미한다. 이 시스템은 대량의 데이터를 학습하고 패턴을 인식하며, 이를 바탕으로 추론, 예측, 문제 해결 등의 역할을 수행한다. AI의 목표는 주어진 입력에 대해 최적의 결과를 도출하는 것이며, 이를 위해 딥러닝, 머신러닝, 강화학습 등의 알고리즘을 활용한다. 한편 XAI는 AI의 결과나 결정을 사람이 이해할 수 있는 형태로 설명해주는 AI 기술이다. 즉, XAI는 AI가 단순히 결과를 제공하는 데 그치지 않고, 그 결과가 어떻게 도출되었는지, 왜 그러한 결정을 내렸는지를 설명하는 데 중점을 둔다. 이는 AI가 내린 결정을 더욱 투명하고 신뢰할 수 있도록 만들어 주며, 사용자가 AI를 이해하고 그 결과를 신뢰할 수 있게 돕는다.

이 둘은 결과 도출과 설명, 투명성, 응용분야, 신뢰성 및 검증 등 다양한 곳에서 차이를 보인다. 먼저 결과 도출과 설명의 경우, 대부분의 전통적인 AI 시스템은 결과를 도출하는 데 중점을 둔다. 주어진 데이터를 바탕으로 특정 목표를 달성하기 위해 학습하고 최적화된 결과를 제공하지만, 그 과정에서 왜 특정 결정을 내렸는지에 대한 설명은 부족하다. 예를 들어, 이미지 분류 AI가 개와 고양이를 구분할 수 있지만, 왜 그 이미지가 개로 분류되었는지에 대한 이유를 설명하는 기능은 없을 수 있다. 한편 XAI는 결과를 도출하는 것뿐만 아니라 그 결과에 대한 설명을 제공한다. 이는 AI의 판단 과정을 투명하게 만들고, 사용자가 AI의 결정을 신뢰하고 검토할 수 있게 도와준다. 예를 들어, 같은 이미지 분류 AI가 XAI로 확장된다면, 특정 이미지가 개로 분류된 이유, 즉 이미지의 어떤 부분이 개로 인식되었는지를 설명할 수 있다. 이를 통해 AI의 의사결정 과정이 보다 명확하게 드러나게 된다.

투명성 측면에서, AI는 많은 경우 '블랙박스' 방식으로 작동한다. 즉, AI가 어떻게 특정 결론에 도달했는지를 사람이 알기 어렵다는 의미다. 특히 딥러닝과 같은 복잡한 모델은 수많은 뉴런과 계층으로 구성되어 있어, 각 단계에서 어떤 계산이 이루어졌는지 추적하기 어려운 경우가 많다. 이러한 불투명성은 특히 의료, 금융, 법률 등과 같은 민감한 분야에서 큰 문제로 작용할 수 있다. 이로 인해 AI의 판단에 대한 신뢰가 떨어지거나, AI가 도출한 결과를 제대로 검토할 수 없는 상황이 발생할 수 있다. 반면, XAI는 투명성을 목표로 한다. XAI는 AI가 어떤 데이터를 기반으로 어떤 과정을 통해 결정을 내렸는지에 대한 설명을 제공하므로, AI가 '블랙박스'가 아닌 '화이트박스'처럼 작동하게 만든다. 이를 통해 사용자는 AI가 도출한 결과가 어떻게 나온 것인지 이해할 수 있으며, AI가 잘못된 결정을 내렸을 때 이를 식별하고 수정할 수 있다.

응용 분야의 경우, AI는 매우 넓은 분야에 걸쳐 사용되고 있다. 자율주행차, 음성인식, 이미지 분류, 자연어 처리, 게임, 금융 예측, 의료 진단 등 다양한 분야에서 AI 기술이 적용되고 있다. AI는 이러한 작업들을 수행하는 데 매우 높은 성능을 발휘하지만, 그 결정이 어떻게 이루어졌는지 설명하지 않기 때문에 때때로 신뢰성 문제를 야기할 수 있다. 예를 들어, 의료 분야에서 AI가 질병을 진단할 때, 그 이유를 설명하지 못하면 의사나 환자는 AI의 결과를 신뢰하기 어렵다. 그러나 XAI는 특히 AI의 투명성과 신뢰성이 중요한 분야에서 더욱 중요한 역할을 한다. 예를 들어, 의료 분야에서 XAI는 AI가 왜 특정 환자가 췌장암일 가능성이 높은지를 설명할 수 있으며, 이를 통해 의사는 AI의 진단을 신뢰하고 더욱 적절한 치료 결정을 내릴 수 있다. 또한 금융 분야에서 XAI는 AI가 특정 거래의 위험성을 어떻게 평가했는지 설명함으로써, 거래자들이 그 결정을 이해하고 위험을 관리하는 데 도움을 줄 수 있다. 법률, 군사, 자율주행차 등과 같은 분야에서도 XAI의 역할이 점차 커지고 있다.

신뢰성 및 검증의 경우, AI는 일반적으로 데이터에 의존하여 학습하며, 데이터의 질과 양에 따라 성능이 달라진다. AI가 내린 결정은 매우 정확할 수 있지만, 때로는 잘못된 결과를 도출할 가능성도 존재한다. 특히, 데이터에 편향이 있거나 오류가 있을 경우, AI는 그 편향된 데이터를 학습하여 잘못된 결론을 내릴 수 있다. 하지만 전통적인 AI는 그 결정이 왜 잘못되었는지 설명하지 않기 때문에, 이를 수정하거나 개선하기가 어렵다. 그러나 XAI는 AI의 신뢰성을 높이는 데 중요한 역할을 한다. AI가 내린 결정에 대해 설명을 제공함으로써, 사용자는 AI가 잘못된 결정을 내렸을 때 그 원인을 파악하고 조치를 취할 수 있다. 예를 들어, XAI는 AI가 특정 편향된 데이터를 기반으로 잘못된 결정을 내렸는지 여부를 확인할 수 있다. 또한 XAI는 AI가 내린 결정이 합리적인지 검토하고, 그 결정에 대한 신뢰성을 사용자에게 부여하는 데 기여한다.

활용 분야

금융

금융 분야에서 XAI는 리스크 평가, 사기 탐지, 투자 결정 등 여러 측면에서 활용된다. 금융업체는 XAI를 통해 의사결정 과정을 투명하게 만들고, 고객에게 명확한 설명을 제공할 수 있다. 실제로 한 대형 은행은 XAI를 통해 대출 승인 과정을 투명하게 운영하고 있다. 고객이 대출 거절을 당했을 때, 단순히 “시스템이 그렇게 결정했다”고 하는 것이 아니라, “귀하의 최근 6개월 소득이 불안정하고, 현재 부채 비율이 높아 리스크가 크다”는 구체적인 이유를 제공한다. 이를 통해 고객은 자신의 상황을 이해하고, 필요한 조치를 취할 수 있다. 또한 로보어드바이저 서비스는 XAI를 도입하여 투자 추천의 근거를 명확히 한다. 예를 들어, “현재 시장 상황과 귀하의 위험 선호도를 고려했을 때, 채권 비중을 높이는 것이 적절하다”는 식으로, 투자 결정의 배경을 설명함으로써 고객의 신뢰를 얻는다.

의료

의료 분야에서 XAI는 진단 보조, 치료 계획 수립, 의료 영상 분석 등 다양한 영역에서 사용된다. XAI는 의료진에게 더 나은 의사결정을 지원하며, 환자에게 치료 과정의 투명성을 제공한다. 한 대학병원에서는 XAI를 활용한 유방암 진단 시스템을 도입했다. 이 시스템은 유방 조직 이미지를 분석하여 암세포를 탐지할 뿐만 아니라, 왜 해당 부분이 암으로 판단되었는지를 시각적으로 표시한다. 이로 인해 의사는 최종 진단을 내리기 전에 보다 명확한 정보를 바탕으로 결정을 내릴 수 있다. 또한 AI 기반의 약물 추천 시스템에 XAI를 적용하여, 특정 환자에게 왜 그 약물이 추천되었는지 설명한다. 환자의 유전자 정보, 과거 병력, 현재 증상 등을 종합적으로 고려하여, 처방의 이유를 구체적으로 제시함으로써 환자는 더 나은 치료 이해와 신뢰를 가질 수 있다.

자율주행

자율주행 분야에서 XAI는 차량 주행 결정 과정을 설명하고 안전성을 검증하는 데 중요한 역할을 한다. 자율주행 시스템의 투명성을 높이고, 사고 발생 시 분석을 통해 시스템 개선에 기여한다. 실제로 테슬라의 자율주행 시스템은 XAI를 통해 주행 중의 결정 사항을 명확히 설명할 수 있다. 예를 들어, “전방 8m 지점에서 갑자기 멈춘 차량을 감지하여 긴급 제동을 실시했다”는 식으로, 특정 상황에서의 결정 이유를 제공함으로써 사용자는 시스템의 신뢰성을 높일 수 있다. 또한 자율주행차의 사고 발생 시, XAI 기술을 활용하여 사고 직전 AI의 의사결정 과정을 상세히 분석한다. 이를 통해 사고의 원인을 파악하고, 시스템의 개선 방향을 모색할 수 있는 중요한 정보를 얻는다.

법률 및 공공 부문

법률 및 공공 부문에서 XAI는 의사결정의 공정성과 투명성을 확보하는 데 도움을 준다. 이 기술은 법적 절차와 공공 정책 결정의 신뢰성을 높이는 데 기여한다. 실제로 일부 해외 법원에서는 재범 위험을 예측하는 AI 시스템을 활용하고 있다. XAI를 통해 시스템이 과거 전과, 사회경제적 배경 등 어떤 요소를 고려하여 판단을 내렸는지 설명할 수 있다. 이로써 형량 결정의 공정성을 높이고, 법적 절차의 투명성을 강화한다. 또한 한 지방 정부는 사회 복지 서비스의 할당에 AI를 활용하고 있다. XAI를 통해 특정 지역이나 집단에 더 많은 자원이 할당된 이유를 투명하게 설명함으로써 정책 결정의 공정성을 입증하고, 시민들의 신뢰를 얻는다.

도전 과제

XAI는 많은 이점을 제공하지만, 몇 가지 도전 과제도 동반된다. 첫째, 설명과 정확성의 균형을 맞추는 것이 도전 과제 중 하나이다. XAI는 설명과 정확성 간의 균형을 맞추는 데 어려움을 겪을 수 있다. 설명 가능한 모델은 일반적으로 단순화된 형태를 취할 수 있으며, 이는 정확성을 희생할 수 있다. 따라서 설명 가능한 정보를 제공하면서도 높은 정확성을 유지하는 것이 도전 과제 중 하나이다. 둘째, 설명 생성의 복잡성은 XAI의 큰 도전 과제다. 복잡한 AI 모델, 특히 딥러닝 모델의 내부 구조와 동작 방식을 이해하고 이를 설명하는 것은 기술적으로 매우 어려울 수 있다. 따라서, 설명이 사용자에게 직관적이고 이해하기 쉬운 형태로 제공될 수 있도록 하는 기술 개발이 필요하다.

셋째, 사용자 이해의 차이도 고려해야 한다. XAI의 설명이 모든 사용자에게 동일한 수준으로 이해될 수 있는지는 불확실하다. 사용자의 배경지식, 전문성, 경험에 따라 설명의 효과가 달라질 수 있다. 이를 해결하기 위해 다양한 사용자 그룹에 맞춰 설명을 조정하고, 각 사용자에게 적합한 정보를 제공하는 것이 중요하다. 넷째, XAI 기술은 종종 높은 계산 자원을 요구할 수 있다. 복잡한 모델을 설명하기 위한 과정이 많은 연산 자원을 소모할 수 있으며, 이는 실제 시스템에 적용할 때 비용과 자원의 문제를 일으킬 수 있다. 따라서, 자원을 효율적으로 사용하는 방법을 모색하는 것이 필요하다.

마지막으로, 개인정보보호도 중요한 고려 사항이다. AI 시스템이 결정 과정을 설명하기 위해 필요한 데이터가 개인정보를 포함할 수 있으며, 이러한 데이터가 어떻게 처리되고 보호되는지가 중요하다. XAI는 개인정보 보호와 관련된 법적 요구 사항을 준수하면서 설명을 제공해야 하는 과제를 안고 있다. 이러한 도전 과제를 해결하는 것은 XAI의 발전과 성공적인 적용에 필수적이며, 이를 통해 인공지능 기술이 더욱 투명하고 신뢰할 수 있는 방향으로 발전할 수 있을 것이다.

참고자료

• 〈설명 가능한 AI란 무엇인가요?〉, 《IBM》
• 〈언제쯤 ‘설명가능 인공지능(XAI)’을 실현할 수 있을까?〉, 《Appier》
• 최창현 기자, 〈설명 가능한 인공지능(XAI)... 왜 주목하나?〉, 《인공지능신문》, 2019-12-16
• 최형규, 〈설명가능한 인공지능(Explainable AI; XAI) 연구 동향과 시사점 학습이 완료된 딥러닝 모델에 대한 설명을 중심으로〉, 《소프트웨어정책연구소》, 2021-09-13
• 최다은 기자, 〈"왜 이런 결과가 나온 거야?"…'설명 가능한 AI' 뜬다 (긱스)〉, 《한국경제》, 2023-02-17
• 김향자 기자, 〈왜 AI가 그런 응답?…설명 가능 ‘XAI’ 기술, 날로 중요〉, 《애플경제》, 2023-08-02
• 조남용, 안동욱, 〈생성형 AI의 등장으로 더욱 중요해진 설명 가능한 AI (XAI)〉, 《삼성SDS》, 2023-09-06
• 〈<지식 사전> 설명 가능한 AI(eXplainable AI, XAI): 비밀의 블랙박스를 열다〉, 《카카오클라우드 블로그》, 2024-07-29

같이 보기

• 인공지능
• AGI
• ANI
• ASI

이 XAI 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 문자인식과 음성인식 ICR • OCR • OMR • STT • TTS • 문자인식 • 음성인식 • 화자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 크라우드워커 • 토큰 • 토큰화 인공지능 학습 ADP • CoLLM • DALL-E • DDPG • DQN • LMM • SARSA • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 모델 기반 강화학습 • 모델 프리 강화학습 • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 심층믿음망 • 어니 • 에이전트 • 인공지능 학습 • 지도학습 • 학습 • 확률적 경사하강법 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 관계형 네트워크(RN) • 다층퍼셉트론 • 데이터마이닝 • 방사신경망 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 계산복잡도 NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 한돌 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반