인공지능 음성

인공지능 음성(AI Voice)은 인공지능 기술을 활용하여 생성되거나 인식되는 음성을 의미한다. 이는 주로 음성인식과 음성합성(TTS) 기술을 포함한다.

[아사달] 스마트 호스팅

개요

AI 음성 기술은 인공지능을 활용해 사람의 음성을 인식하고, 처리하며, 생성하는 기술이다. 주로 AI 음성 비서, 음성 인식 시스템, 텍스트 음성 변환 시스템, 음성 합성 등의 형태로 사용되며, 이를 통해 기계가 사람과 유사한 방식으로 소통하거나 명령을 이해하게 된다. 이 기술은 스마트폰, 스마트스피커, 차량, 헬스케어, 산업 자동화 등 다양한 분야에 걸쳐 적용되고 있다. 대표적인 AI 음성 기술의 예로는 아마존의 알렉사, 애플의 시리, 구글 어시스턴트, 삼성의 빅스비, 그리고 마이크로소프트의 코타나 등이 있다.

AI 음성 기술의 기본 목적은 사람과 기계 간의 상호작용을 직관적으로 만들고, 사용자가 더욱 자연스럽게 AI 시스템을 활용할 수 있도록 돕는 것이다. 이 기술은 사용자 편의성, 접근성 개선, 데이터 수집을 통한 사용자 경험 개인화 등의 이점으로 인해 스마트 홈, 자율주행, 헬스케어와 같은 다양한 응용 분야에서 필수적이다.

발전

AI 음성 기술의 발전은 크게 음성 인식 기술과 음성 합성 기술의 발전으로 구분할 수 있다.

초기 음성 인식 기술은 간단한 단어 인식에만 머물러 있었으며, 명령어나 특정 구문을 이해하는 데 한계가 있었다. 그러나 음성 데이터와 처리 능력이 증가함에 따라 딥러닝을 적용한 음성 인식 모델이 개발되기 시작했다. 특히 2010년대 중반부터 신경망 기반의 딥러닝 모델이 적용되면서, 사람의 발음과 억양, 음성의 연속성, 비언어적인 음성 특성까지 이해할 수 있는 수준으로 발전했다. 이를 통해 사용자의 발음이 불명확하거나 다양한 억양이 섞인 경우에도 높은 정확도를 유지할 수 있게 되었다.

음성 합성 분야에서도 초기에는 기계적으로 생성된 합성음을 사용했으나, 딥러닝과 GAN(Generative Adversarial Network) 모델의 발전으로 자연스러운 음성 합성이 가능해졌다. 특히 음성 합성에서는 TTS(Text-to-Speech) 시스템이 주목받으며, 사람이 직접 녹음한 듯한 음성을 재현하는 데에 성공했다. 최근의 AI 음성 합성 기술은 감정과 억양을 표현할 수 있을 만큼 자연스러워졌고, 이를 통해 영화, 교육 콘텐츠, 광고 등 다양한 분야에서 인공지능 성우가 활발히 사용되고 있다.

원리

AI 음성 기술의 기본 원리는 크게 두 가지로 나뉜다. 먼저 음성 인식 원리와 음성 합성 원리다.

음성 인식

음성 인식 기술은 사용자가 발화한 음성을 텍스트로 변환하는 기술로, 이를 위해 다양한 모델과 알고리즘이 협력하여 작동한다. 음성 인식의 주요 과정은 크게 음성 신호 처리, 음향 모델링, 언어 모델링, 그리고 최종 텍스트 변환 과정으로 나눌 수 있다.

• 음성 신호 처리

음성 신호 처리 단계에서는 사용자의 음성 데이터를 수집하고 이를 기계가 처리할 수 있도록 정제한다. 음성은 아날로그 신호로 입력되기 때문에, 이를 디지털 신호로 변환하고 잡음을 줄이며, 음성의 주파수와 시간 정보를 효율적으로 담을 수 있는 특징들을 추출하는 것이 필요하다. 이때 주로 사용되는 기법이 '스펙트로그램 변환'이다. 스펙트로그램은 음성을 주파수, 시간, 강도라는 세 축으로 표현하며, 이는 이후 음향 모델이 음성 패턴을 분석하는 데 매우 중요한 정보가 된다.

• 음향 모델링

음향 모델은 음성을 구성하는 가장 작은 소리 단위인 '음소'를 인식하는 역할을 한다. 음소는 언어를 구성하는 최소 발음 단위로, 예를 들어 한국어의 경우 ‘ㄱ’, ‘ㄴ’과 같은 자음이나 모음이 음소가 된다. 음향 모델은 각 음소에 해당하는 특징을 학습하고, 사용자의 음성을 분석해 어떤 음소가 포함되어 있는지 판단한다. 최근 음향 모델은 HMM(Hidden Markov Model)과 딥러닝 기반 순환신경망을 활용해 음성의 시간적 변화를 포착하고 있으며, 더불어 트랜스포머 기반의 Attention 메커니즘이 추가되어 더 높은 정확도를 제공하고 있다.

• 언어 모델링

언어 모델은 음향 모델이 인식한 음소들을 조합하여 의미 있는 단어와 문장으로 변환한다. 이 단계는 문법, 맥락 등을 고려해 의미 있는 텍스트를 구성하는 과정이다. 언어 모델은 특히 많은 텍스트 데이터를 학습하여 단어의 순서와 결합 가능성을 학습하고 있으며, 이를 통해 문법적으로 자연스러운 문장을 예측할 수 있다. 예를 들어, “오늘 날씨는”이라는 발음 후에 “좋다”라는 단어가 올 확률이 “나쁘다”보다 높다는 식의 패턴을 학습하여 더욱 자연스러운 문장으로 변환한다. 이때 트랜스포머 기반의 대형 언어 모델(BERT, GPT 등)이 특히 효과적이다.

• 최종 텍스트 변환 및 후처리

마지막으로 음향 모델과 언어 모델의 결과를 결합하여 텍스트로 변환하는 단계이다. 이 단계에서는 불필요한 공백이나 오타를 수정하고, 최종 텍스트가 문법적으로 자연스러우며 명확하게 읽힐 수 있도록 후처리 작업을 거친다.

음성 합성

음성 합성 기술(TTS, Text-to-Speech)은 입력된 텍스트를 소리로 전환하는 기술로, 사용자가 듣기에 자연스러운 음성을 생성하는 데 주력한다. 음성 합성 과정도 크게 텍스트 전처리, 프로소디(억양) 모델링, 음성 파형 생성으로 나뉜다.

• 텍스트 전처리

음성 합성의 첫 단계는 텍스트를 읽기 쉬운 형태로 전처리하는 것이다. 여기에는 숫자, 약어, 기호 등이 포함된다. 예를 들어, "3시"라는 텍스트를 음성으로 읽을 때 “세 시”로 변환하는 과정이 필요하다. 전처리 단계에서는 이러한 숫자나 특수기호의 발음을 정해주고, 텍스트 구조를 단순하게 변환하여 이후 프로소디 모델링이 더 효과적으로 이루어지도록 준비한다.

• 프로소디 모델링

텍스트 전처리 후에는 프로소디 모델링이 이루어진다. 프로소디란 억양, 속도, 강세와 같은 음성 특성으로, 이를 통해 더욱 자연스러운 음성을 만들 수 있다. 음성 합성 모델은 해당 텍스트에 맞는 억양, 발음 속도, 감정 등을 설정해 자연스러운 발음을 만들어내는 데 집중한다. 예를 들어 감정적인 대화에서는 더 높은 톤이나 빠른 속도를 적용하여 감정을 표현할 수 있으며, 설명이 필요한 문장에서는 천천히 말하도록 설정할 수 있다.

• 음성 파형 생성

최종 단계에서는 음성 파형을 생성한다. 딥러닝 기반의 음성 합성 모델, 예를 들어 타코트론, 웨이브넷, 그리고 VITS(Variational Inference Text-to-Speech)와 같은 모델이 이 단계에서 사용된다. 타코트론 모델은 텍스트를 스펙트로그램으로 변환한 후, 웨이브넷과 같은 신경망을 통해 스펙트로그램을 자연스러운 음성 파형으로 변환한다. 이는 사람이 발음하는 것과 매우 흡사한 음성을 생성할 수 있도록 한다. VITS와 같은 최신 모델은 음성 생성 속도를 높이고 품질을 개선해, 더 감정적이며 고품질의 음성 출력을 가능하게 한다.

주요 기술

AI 음성 기술은 크게 음성 인식, 음성 합성, 감정 분석, 자연어 처리 등으로 구성된다.

음성 인식

음성 인식 기술은 딥러닝과 신경망을 활용하여 다양한 사람의 음성을 인식하고, 이를 텍스트로 변환하는 데 중점을 둔다. 음성 인식 기술은 고도로 발전된 AI 모델인 합성곱 신경망(CNN)과 순환신경망(RNN)를 통해 정밀도를 높였으며, 주요 응용 분야는 음성 명령, 음성 검색, 자막 생성, 실시간 번역 등이 있다.

음성 합성

음성 합성 기술은 TTS 시스템을 기반으로 텍스트를 자연스러운 음성으로 전환하는 기술이다. 딥러닝 기반의 음성 합성 모델인 타코트론(Tacotron)과 웨이브넷(Wavenet)이 대표적이며, 자연스러운 음성 표현과 억양, 감정 등을 추가할 수 있어 더욱 생생한 음성을 구현할 수 있다.

감정 분석

감정 분석은 음성 속에 담긴 감정을 분석하는 기술이다. 주로 음성의 높낮이, 속도, 강약 등을 바탕으로 사용자의 감정을 파악하며, 이러한 분석을 통해 AI 음성 비서가 사용자에게 더 적절한 반응을 제공할 수 있다. 예를 들어 사용자가 슬픈 목소리로 "힘들어"라고 말할 경우, AI 비서는 단순히 반응하는 것을 넘어 감정적인 위로를 건네는 방식으로 작동할 수 있다. 이러한 감정 인식 기술은 감정에 따라 AI의 반응 톤과 내용을 조정하여 사용자와 더 긴밀한 상호작용을 지원한다. 감정 분석 기술은 헬스케어, 고객 서비스 등 감정 반응이 중요한 응용 분야에서 필수적이다.

다중 언어 및 방언 인식

AI 음성 기술의 글로벌 확산에 따라 다중 언어 지원 및 방언 인식이 중요한 기술로 부각되고 있다. 현재 음성 인식 모델은 다양한 언어 및 방언을 학습할 수 있는 다중 언어 모델을 구축하고 있으며, 이를 통해 사용자는 자신이 사용하는 언어에 관계없이 AI 음성 비서를 사용할 수 있게 된다. 특히 구글의 멀티링구얼 유니버셜 스피치 모델(Multilingual Universal Speech Model)과 같은 모델이 이 분야에서 주목받고 있다.

비언어적 요소와의 통합

AI 음성 비서가 표정, 제스처, 비언어적 신호와 결합되어 더욱 인간다운 상호작용을 제공하려는 연구가 활발하다. 음성에만 의존하지 않고, 제스처나 표정 인식을 통해 보다 직관적인 소통을 가능하게 하려는 것이다. 예를 들어 사용자가 고개를 끄덕이거나 손을 들어 올릴 때 이를 인식하여 AI 음성 비서가 추가적인 질문을 하지 않고 반응을 처리할 수 있다.

자연어 처리

자연어 처리는 음성 인식 후 얻어진 텍스트 데이터를 이해하고 처리하는 기술이다. 자연어 처리는 사용자의 의도를 파악하고 이에 맞는 반응을 생성하는 데 필수적이며, 최근에는 BERT, GPT 등과 같은 대규모 언어 모델을 기반으로 더욱 정교한 처리가 가능하다.

특징

AI 음성 기술의 특징은 크게 접근성 향상, 사용자 경험 개선, 감정 표현, 다국어 지원, 학습 능력 향상으로 요약된다.

• 접근성 향상 : AI 음성 기술은 텍스트 기반 소통에 어려움을 겪는 사람들에게 중요한 도구로 작용한다. 특히 시각장애인이나 손을 사용하기 어려운 사람들에게 필수적이며, 이를 통해 기기와의 상호작용이 가능하다.

• 사용자 경험 개선 : 음성 명령을 통해 기기를 손쉽게 제어할 수 있으며, 직관적이고 간편한 사용자 경험을 제공한다. 음성으로 할 수 있는 기능이 확대되면서 스마트 홈, 자동차, 헬스케어 분야에서도 중요한 기술로 자리 잡았다.

• 감정 표현 : 딥러닝과 감정 분석이 결합되면서 AI 음성은 감정이나 억양을 표현할 수 있는 수준에 도달했다. 사용자와의 감정적인 상호작용이 가능해지면서 더욱 친근한 소통을 지원한다.

• 다국어 지원 : 글로벌 사용자를 위한 다국어 인식 및 합성 기능이 강화되어, 다양한 언어와 방언을 지원한다. 이는 AI 음성 기술이 글로벌 시장에서 더욱 널리 활용되는 중요한 요인이며, 지역적 특성에 맞춘 언어 모델을 학습해 정확한 응답을 제공할 수 있다.

• 학습 능력 향상 : AI 음성 기술은 사용자와의 상호작용을 통해 지속적으로 학습하고 개선된다. 사용자가 자주 사용하는 명령어나 선호하는 발음을 학습하여 개인화된 경험을 제공할 수 있다.

활용 분야

고객 서비스 및 콜센터

AI 음성은 고객 서비스와 콜센터 산업에서 상담원의 역할을 대체하거나 보조하는 데 매우 유용하게 사용되고 있다. AI 음성 기술을 활용한 음성봇은 24시간 대응이 가능하여, 고객이 언제든지 필요한 정보를 빠르게 제공받을 수 있다. AI 기반의 음성봇은 고객의 문의 유형을 분석하여 적절한 답변을 제공하고, 복잡한 질문에 대해서는 실제 상담원에게 전환해주기도 한다.

활용 사례

• 아마존 알렉사와 구글 어시스턴트: 두 음성 비서 시스템은 단순히 정보를 제공하는 것을 넘어, 사용자가 문의하는 복잡한 문제를 해결하거나 주문 이력 확인과 같은 구체적인 업무까지 수행할 수 있다.
• 은행 및 보험사 콜센터: 일부 금융기관에서는 AI 음성 기술을 활용해 고객의 계좌 조회, 잔액 확인, 거래 내역 알림 등을 자동화하고 있다. 예를 들어, AI 음성 기술로 계좌 정보를 제공하는 '콜센터 음성봇'을 운영함으로써 고객 대기 시간을 줄이고, 상담원이 복잡한 고객 요청에 집중할 수 있도록 지원하고 있다.
• 항공사 및 숙박업체: 항공편 예약, 변경, 호텔 예약 확인과 같은 작업에서 AI 음성 비서가 사용된다. 특히 항공사의 예약센터에서는 AI 음성을 통해 항공편 스케줄 조회 및 변경 요청을 실시간으로 처리하고, 고객이 실시간으로 빠르게 대응을 받을 수 있게 한다.

의료 및 헬스케어

AI 음성 기술은 의료 및 헬스케어 분야에서 환자와의 상호작용을 개선하고, 의료진의 업무를 지원하는 데 큰 역할을 하고 있다. 특히 병원에서는 AI 음성 도우미를 통해 환자들의 증상 기록, 진료 예약, 복약 안내 등의 정보를 전달하며, 환자와의 소통을 강화하고 있다.

활용 사례

• 환자 안내 서비스: 병원에서는 AI 음성을 통해 환자의 증상을 분석하고 필요한 진료를 예약해주거나 의사에게 전달하는 역할을 수행한다. 특히 AI 음성이 환자와 자연스럽게 소통함으로써 병원 방문의 불편을 줄일 수 있다.
• 원격 건강 모니터링: 고령자나 만성질환자는 AI 음성 기술을 통해 집에서도 건강 상태를 모니터링할 수 있다. 예를 들어, 음성으로 심박수, 혈압 등의 건강 정보를 제공하거나 약 복용을 알람으로 알려주는 기능이 있다.
• 의사 지원 시스템: 의료진은 음성 인식을 통해 환자의 상태를 기록하거나 과거 진료 기록을 확인할 수 있다. 음성 기록 시스템은 진료 중 의료진이 손쉽게 데이터를 입력할 수 있도록 하며, 의사와 환자 간의 소통을 보다 원활하게 만들어준다.

교육 및 학습 도구

AI 음성 기술은 교육 분야에서도 큰 변화를 일으키고 있다. AI 음성 기술을 통해 학생들은 음성으로 질문하고 답변을 받으며, 학습 과정에서 도움을 받을 수 있다. 특히 언어 학습 분야에서 AI 음성은 발음 교정, 문법 설명 등을 실시간으로 제공해준다.

활용 사례

• 언어 학습: AI 음성 비서는 외국어 학습에서 큰 역할을 한다. 예를 들어, 듀오링고와 같은 언어 학습 앱에서는 AI 음성을 활용하여 학생들이 발음 연습을 하고, 실시간으로 발음 교정을 받을 수 있다. 학생들이 잘못된 발음을 했을 때 AI가 교정해 주고, 문법에 맞는 표현을 제안해준다.
• 맞춤형 학습 보조: AI 음성 기술은 학습 수준에 맞춰 맞춤형 학습을 제공하는 데 사용된다. 예를 들어, 학습자가 영어 문장을 읽거나 문제를 풀 때, AI 음성 시스템이 실시간으로 피드백을 제공하여 학생의 학습을 돕는다.
• 장애인을 위한 교육: 시각 장애 학생들은 AI 음성 기술을 통해 텍스트를 읽고, 문제를 푸는 데 도움을 받는다. 또, 청각 장애 학생들은 AI가 텍스트를 시각적으로 제시하거나, 음성을 문자로 변환해 실시간 자막을 제공하기도 한다.

스마트홈 및 가전

스마트홈과 가전제품의 분야에서 AI 음성 기술은 사용자가 음성으로 간편하게 다양한 가전제품을 제어할 수 있도록 하여, 집안의 편의성과 효율성을 극대화하고 있다. 음성으로 조명을 켜거나 끄고, 온도를 조절하며, 가전 기기들의 작동을 관리하는 것이 가능해졌다.

활용 사례

• 아마존 알렉사와 구글 어시스턴트 기반의 스마트홈: 이들 음성 도우미는 조명, 온도, 보안 카메라 등을 제어할 수 있도록 가전 기기와 연동되어 있어 사용자가 "불 끄기" 등의 명령을 내리면 자동으로 해당 작업을 수행한다.
• 삼성 스마트 냉장고: 삼성의 일부 냉장고 모델에는 AI 음성 비서가 탑재되어 있어 사용자가 음성으로 냉장고 내부의 식재료 상태를 확인하거나 레시피를 추천받을 수 있다.
• 로봇 청소기: 로봇청소기는 음성 명령으로 청소를 시작하거나 멈추는 것이 가능하며, 일정 시간에 맞춰 자동으로 청소를 진행할 수도 있다. AI 음성 기술은 주인과 대화를 통해 최적의 청소 방식을 선택하고, 사용자가 특정 공간을 청소하도록 지시할 때 그 명령을 정확히 수행할 수 있다.

엔터테인먼트 및 미디어

AI 음성 기술은 엔터테인먼트 분야에서도 새로운 경험을 제공하고 있다. AI 음성은 사용자 맞춤형 콘텐츠 추천, 실시간 방송 안내, 오디오북 제작 등 다양한 분야에서 활용된다. 이를 통해 사용자는 음성으로 쉽게 다양한 미디어 콘텐츠에 접근할 수 있다.

활용 사례

• 스트리밍 서비스: 넷플릭스나 디즈니플러스와 같은 스트리밍 플랫폼은 사용자가 음성으로 콘텐츠를 검색하거나 추천받을 수 있는 기능을 제공한다. AI 음성 기술은 사용자의 시청 이력을 바탕으로 취향에 맞는 콘텐츠를 추천하고, 특정 장르나 제목을 말하면 해당 콘텐츠를 재생하는 기능을 수행한다.
• 오디오북 제작: AI 음성은 책을 오디오북으로 전환하는 데 사용되며, 실시간으로 읽어주는 서비스가 인기를 끌고 있다. AI는 감정 표현이나 강조를 조절하여 인간 성우처럼 자연스럽게 읽을 수 있으며, 이를 통해 더 많은 독자가 오디오북을 쉽게 이용할 수 있게 되었다.
• 게임 내 음성 인식 기능: AI 음성 인식은 게임에서의 상호작용을 확대한다. 사용자가 게임 캐릭터에게 음성으로 명령을 내리거나, 게임 내 캐릭터가 음성으로 사용자와 소통하며 게임 몰입감을 높여준다. 예를 들어, '헤이 로보'와 같은 음성 명령으로 게임 내 동료에게 특정 명령을 내리는 기능이 대표적이다.

뉴스 및 정보 전달

AI 음성 기술은 뉴스, 날씨, 교통 정보 등 사용자에게 실시간 정보를 제공하는 데 매우 효과적으로 활용되고 있다. 사용자가 음성으로 특정 뉴스를 요청하면 AI가 해당 뉴스를 읽어주거나 요약본을 제공한다.

활용 사례

• 뉴스 알림: 아침에 음성 비서에게 뉴스 업데이트를 요청하면, AI가 최신 뉴스를 요약해 제공하거나 사용자가 관심 있는 주제에 맞춘 뉴스를 전달한다.
• 교통 및 날씨 정보: AI 음성은 교통 정보를 실시간으로 제공하여, 사용자가 출근이나 외출 시 빠르게 이동 계획을 세울 수 있도록 돕는다. 또한, 날씨를 확인하여 외출 준비를 도와주는 음성 비서 기능이 포함되어 있다.
• 긴급 상황 알림: AI 음성 기술은 재난 상황에서 신속하게 정보를 전달하는 데도 활용된다. 예를 들어, 지진이나 홍수와 같은 긴급 상황이 발생하면 AI가 즉시 해당 정보를 알려주고, 사용자가 필요한 대응 조치를 할 수 있도록 돕는다.

주요 플랫폼

클로바 더빙

클로바(Clova)

클로바 더빙(Clova Dubbing)은 네이버에서 개발한 인공지능 기반 음성 더빙 서비스로, 텍스트를 입력하면 다양한 목소리와 언어로 자동으로 음성을 생성하여 동영상에 더빙할 수 있는 도구이다.

클로바 더빙은 성별, 연령, 언어 등 다양한 보이스 옵션을 제공한다. 이를 통해 사용자들은 자신이 원하는 스타일의 목소리로 텍스트를 음성으로 변환할 수 있다. 네이버 클라우드 플랫폼에서는 MY 보이스 제작 기능을 통해 발화 속도와 음성 크기를 조절할 수 있으며, 자신만의 고유한 보이스를 만들어 사용할 수 있다​. 또한 클로바더빙은 사용하기 쉬운 인터페이스를 제공하여 비전문가도 손쉽게 동영상에 음성을 추가할 수 있다. 네이버 클라우드 플랫폼 콘솔에서 프로젝트를 생성하고, 텍스트를 입력한 후 원하는 목소리를 선택하면 자동으로 더빙이 완료된다. 이 모든 과정이 직관적으로 설계되어 있어 사용자가 쉽게 접근할 수 있다. 더불어 클로바더빙은 여러 사용자가 동시에 프로젝트를 편집할 수 있는 협업 기능을 제공한다. 이를 통해 팀원 간의 원활한 협업이 가능하며, 프로젝트의 진행 속도를 높일 수 있다.

AI 보이스 스튜디오

AI 보이스 스튜디오(AI Voice Studio)

AI 보이스 스튜디오(AI Voice Studio)는 인공지능(AI) 음성합성 콘텐츠를 제작할 수 있는 서비스다. KT와 한국 AI 스타트업 휴멜로가 개발한 것이다. AI 보이스 스튜디오는 100개의 AI 목소리를 활용해 즐거움, 침착함, 중립, 슬픔, 화남의 5가지 감정으로 합성할 수 있는 'AI 보이스'와, 이 AI 보이스를 활용해 영상 등 오디오 합성 콘텐츠를 제작할 수 있는 '스튜디오'로 구성돼 있다. AI 보이스 스튜디오의 '감정 더빙' 기능을 활용할 경우, AI 보이스를 내가 낭독한 감정 그대로 더빙할 수 있어 더 생생한 AI 음성을 만들 수 있다는 것이 특징이다.

KT가 제공하는 모든 AI 목소리는 한국어, 영어, 중국어, 일본어 4개국어로 '다국어 합성'도 가능해 글로벌 시장을 노리는 제작자들에게도 유용한 것으로 평가받는다. 유명인들의 음성을 AI로 제공하는 '셀럽 AI 보이스'도 눈 여겨볼만한 기능이다. 가수 윤도현이 첫번째 '셀럽 AI 보이스'로 나섰다. AI 윤도현의 목소리로 인기 도서 '인간관계가 힘들어서 퇴사했습니다'를 오디오북으로 제작했다. 다만 '셀럽 AI 보이스'는 셀럽의 권리 보호를 위해 홈페이지의 문의하기 기능을 활용해 별도 정책에 따라 이용할 수 있다.

특히 '마이AI보이스'는 나만의 AI 목소리를 쉽고 편하게 제작할 수 있는 서비스다. 30개 예시 문장만 녹음하면 내 목소리와 닮은 AI 보이스를 만들어 준다. AI 전문가가 아닌 일반인도 쉽게 자신의 육성으로 AI 목소리를 제작할 수 있다. 한국어뿐만 아니라 영어, 중국어, 일본어, 스페인어 음성도 합성하여 만들 수 있다. 마이AI보이스로 만든 AI 목소리는 AI 보이스 스튜디오의 회원유지 기간 동안 계속 보관해 활용할 수 있다.

타입캐스트

타입캐스트(Typecast)

타입캐스트(Typecast)는 인공지능 연기자 서비스이다. 대본을 입력하고 간단한 편집만으로 누구나 전문 연기자가 녹음한 것 같은 음성을 쉽게 다운로드 받을 수 있으며, 그 음성에 맞는 가상인간을 캐스팅하여 비디오 콘텐츠에서 활용할 수 있다. 타입캐스트는 감정 표현 음성 합성 기술을 개발한 스타트업 네오사피엔스에서 개발 및 운영하고 있다. 네오사피엔스는 이 외에도 적은 데이터로 목소리 모사, 다국어 음성합성, 가창 합성 기술 등에서 두각을 나타내고 있으며 가상의 목소리 생성 기술, 가상 인간 영상 합성 기술 등을 활용하여 타입캐스트에서 텍스트만 입력하면 가상인간이 말하는 영상을 쉽게 만들 수 있다.

2019년 4월 베타 서비스를 시작으로 가상 인간 비디오 기능, 프리미엄 성우 등 일부 유료 서비스를 포함해 운영 중이다. 전문 성우가 녹음한 목소리를 기반으로 음성이 생성되기 때문에 감정 표현, 운율, 속도 조절 등이 용이하며 2020년 8월부터는 가상 인간 비디오 기능을 추가하여 목소리까지 완벽한 가상 인간을 비디오에서 자유롭게 활용할 수 있도록 하고 있다. 유튜버들 사이에서 입소문이 나며 많이 사용되면서 사용자가 많이 늘었고, 2022년 2월 보도된 기사에 따르면 가입자가 100만명을 돌파하였다고 한다. 2022년 11월에 보도된 기사에 따르면 120만명 이상이 사용 중이다. 이들 사용자들을 일컬어 타입캐스터라고도 부르며, 타입캐스트로 유튜브 채널을 운영하는 사람들을 타입튜버(TypeTuber)라고 부르기도 한다.

복스박스

아이마이폰(iMyFone)

복스박스(VoxBox)는 휴대전화 및 컴퓨터를 위한 첨단 기술 솔루션을 제공하는 테크놀로지 기업 아이마이폰(iMyFone)이 출시한 인공지능(AI) 음성합성(TTS) 프로그램이다. 복스박스는 텍스트를 음성으로 변환하고, 음성을 텍스트로 변환하는 기능을 제공한다. 더빙 플랫폼, 영상 해설 플랫폼 등 다양한 플랫폼에서 사용할 수 있다. 복스박스는 텍스트의 음성 변환(TTS), 음성의 텍스트 변환(STT)을 지원하며 이미지, PDF, 워드(Word)를 음성으로 변환 가능하다. 3200개 이상의 음성과 한국어, 일본어, 영어, 프랑스어 등 46개 이상의 언어 지원하고 있으며, 형식 변환, 음성 녹음, 음성 편집 등 지원과 간단하고 직관적인 인터페이스로 초보자도 사용 가능하다.

문제점

일자리 감소

AI 음성 합성 기술의 가장 큰 논란 중 하나는 성우 및 음성 전문가들의 일자리 감소 문제이다. AI 음성은 성우들이 담당하던 다양한 분야에서 그 역할을 빠르게 대체하고 있다. 비영리 간행물인 '레스트 오브 월드(Rest of World)'는 AI 기술이 라틴 아메리카 성우들, 특히 스페인어 성우 시장에 미치는 부정적인 영향을 언급하며, 성우들이 AI와의 경쟁으로 직업적 위기를 겪고 있음을 보도했다.

예를 들어 아르헨티나의 성우 알레한드로 그라우는 자신이 참여했던 유튜브 채널에서 AI 음성으로 대체되며 일자리를 잃었다고 밝히며, 성우 커뮤니티 내에서 일어나는 AI로 인한 고용 불안감을 전달했다. 또, 익명의 성우가 AI 음성 데이터 수집 작업에 참여한 후 자신의 목소리를 AI 훈련 데이터로 제공했으나, 이후 자신의 음성에 대한 소유권을 전혀 주장할 수 없도록 하는 계약을 체결해야 했던 사례도 소개되었다. 이들은 자신의 목소리를 바탕으로 생성된 AI가 자신의 직업을 대신하게 될 때조차 아무런 권리를 주장할 수 없게 된 것이다. AI 음성 기술이 고용 시장에 미치는 영향은 성우 직종에 국한되지 않으며, 음성 안내, 교육, 광고 등 다양한 음성 관련 직종에 영향을 미칠 가능성이 크다.

라틴 아메리카에서는 성우가 중요한 문화적 역할을 담당하고 있는데, AI 음성 기술이 이러한 문화적 영역마저 위협하는 상황이다. 특히 언어와 억양, 문화적 특성을 고려한 성우의 역할은 AI가 쉽게 대체하기 어려운 부분이지만, 저렴하고 빠른 제작을 선호하는 산업계에서는 이러한 차별점을 고려하지 않고 AI 음성을 채택하는 경우가 많아지고 있다. 이는 단순히 성우 시장의 위축을 넘어 라틴 아메리카 문화 전반에 악영향을 미칠 가능성이 높다.

오남용

AI 음성 기술이 보이스피싱, 딥페이크 등과 같은 악의적 용도로 사용되면서 심각한 사회적 문제로 번지고 있다. IT 매체 바이스 마더보드에 따르면, 폴란드의 AI 스타트업 일레븐랩스가 만든 AI 음성 도구가 유명인의 목소리를 복제하여 혐오 발언과 인종차별적 발언을 하도록 악용되었다. 한 누리꾼은 배우 엠마 왓슨의 목소리를 AI로 재구성해 아돌프 히틀러의 저서를 읽게 하는 등의 사례를 만들어내며, AI 음성을 통해 실제 인물의 목소리를 모방해 딥페이크 콘텐츠를 생성하였다.

또한, 일레븐랩스의 AI 음성 기술을 사용해 은행 음성 인증 시스템을 속이는 사례도 나타났다. 일부 국가에서는 은행이 전화 인증에 목소리를 활용하는데, AI가 실제 사용자의 목소리와 억양을 재현해 타인의 은행 계좌에 접근하는 사례가 보고되었다. 이로 인해 AI 음성 기술은 금융 보안 시스템에 큰 위협이 되고 있다.

워싱턴포스트는 AI 음성 기술이 보이스피싱 범죄에 새로운 가능성을 제공하고 있음을 지적하며, 앞으로 이러한 문제들이 더욱 심화될 것이라고 경고했다. 단 몇 문장의 음성 샘플만으로도 타인의 목소리를 복제할 수 있는 기술이 급속히 발전하면서, 규제기관과 사법기관이 이에 대응할 준비가 되어 있지 않다는 문제점이 부각되고 있다. 피해자가 사기꾼의 신원을 알아내거나 추적하기 어려운 상황에서 보이스피싱 범죄의 증가가 예견되며, 피해자 보호를 위한 대책 마련이 시급한 상황이다.

법적 책임과 윤리적 문제

AI 음성 기술의 악용 사례가 늘어나면서, AI를 개발한 회사들의 법적 책임 문제도 주목받고 있다. UC 버클리 대학의 디지털 포렌식 교수 하니 파리드는 AI 음성 기술이 보이스피싱과 같은 범죄에 악용되는 사례가 증가함에 따라 “AI가 사회적 혼란을 일으킬 요소를 갖춘 일종의 완벽한 폭풍”이라고 표현했다. 그는 AI 제품이 피해를 초래할 경우, 법원이 해당 AI 제품의 제조사에게 책임을 물어야 한다고 주장했다.

그러나 실제로는 AI 음성 기술이 일으키는 피해에 대해 제조사에게 법적 책임을 묻기 어려운 경우가 많다. 국내법상 AI 음성 제품이 보이스피싱에 악용되었을 경우, AI 기술을 만든 제조사보다는 이를 범죄에 사용한 개인에게 책임이 있다고 규정되어 있다. 법무법인 비트의 안일운 변호사는 “특정 제품을 범죄에 사용했더라도, 그 제품의 제조사에 책임을 묻기는 어렵다”고 설명하며, 현행법은 보이스피싱에 AI 음성을 사용했는지 여부에 따라 특별히 처벌하지 않는다고 밝혔다. AI 음성 합성 기술이 보이스피싱을 위한 도구로 설계된 것이 아니며, 다양한 긍정적 용도로 활용될 가능성이 존재하기 때문에, 보이스피싱 범죄에 대해 제조사에게 책임을 묻는 것은 법적으로 난관이 많다.

개인정보 침해

AI 음성 기술은 음성 데이터를 학습하여 발전하는 특성이 있기 때문에, 이 과정에서 사용자의 개인정보와 음성 데이터가 유출되거나 악용될 가능성도 존재한다. 음성 데이터는 단순한 발화 내용뿐만 아니라 사용자의 억양, 감정 상태, 심지어 나이나 지역적 특징까지 담고 있을 수 있어, 이러한 정보가 외부에 유출될 경우 개인의 사생활이 침해될 위험이 있다. 특히 음성 데이터를 수집하고 AI를 훈련하는 과정에서 데이터 사용에 대한 명확한 권리와 책임이 사용자에게 잘 전달되지 않는 경우가 많다.

최근 AI 음성 모델들은 점점 더 개인 맞춤형으로 발전하고 있으며, 이는 사용자의 발화를 학습하여 개별 사용자의 말투나 억양을 반영하는 데 집중하고 있다. 하지만 이로 인해 사용자 데이터가 불법적으로 수집될 가능성도 커지고 있으며, 데이터 유출 시 악의적으로 활용될 여지가 있다. 사용자 동의 없이 수집된 음성 데이터로 AI 모델이 훈련될 경우, 이는 사용자의 음성을 개인 정보로 볼 수 있기에 법적, 윤리적 문제로 연결될 수 있다.

참고자료

• 클로바더빙 공식 홈페이지 - https://clovadubbing.naver.com/</ref><ref>〈CLOVA Dubbing - 사용자가 입력한 문장을 음성으로 변환하여 영상에 합성할 수 있는 서비스〉, 《네이버클라우드플랫폼》
• 〈CLOVA Dubbing - 사용자가 입력한 문장을 음성으로 변환하여 영상에 합성할 수 있는 서비스〉, 《네이버클라우드플랫폼》
• 백지영 기자, 〈(2023 IT혁신상품) "나만의 AI목소리 만들어요"…KT 'AI 보이스 스튜디오'〉, 《디지털데일리》, 2023-12-21
• 〈AI 연기자 서비스 ‘타입캐스트’, 가입자 100만명〉, 《플래텀》, 2022-02-11
• 〈5주년 네오사피엔스, 주요 성과 담은 인포그래픽 공개〉, 《플래텀》, 2022-11-17
• 〈타입캐스트〉, 《나무위키》
• 박현진 기자, 〈아이마이폰, AI 음성 합성 프로그램 ‘복스박스’ 출시...한국어·일어·영어 등 46개 이상 언어 지원〉, 《인공지능신문》, 2023-06-23
• 현기호 기자, 〈AI 음성의 장단점, 보이스피싱 등 범죄 악용 우려〉, 《이코리아》, 2023-03-06

같이 보기

• 인공지능
• 음성
• AI 보이스 스튜디오
• 복스박스
• 클로바더빙
• 타입캐스트

이 인공지능 음성 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 랭체인 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 • 프롬프트 엔지니어링 문자인식과 음성인식 ICR • OCR • OMR • TTS • URL • 글자 • 답변 • 대화 • 동영상 • 디자인 • 맥락 • 문서 • 문자 • 문자인식 • 문자채팅 • 발음 • 번역 • 분류 • 상담 • 소스코드 • 스토리 • 얼굴 • 얼굴인식 • 음성 • 음성채팅 • 음성인식(STT) • 이미지 • 인공어 • 인공지능 음성 • 자막 • 자연어 • 질문 • 채팅 • 코드 • 코딩 • 텍스트 • 통번역 • 통역 • 파일 • 폴더 • 화상채팅 • 화자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 돌마 • 벡터 • 벡터DB • 벡터공간 • 스칼라 • 임베딩 • 크라우드워커 • 토큰 • 토큰화 인공지능 학습 ADP • CoLLM • DALL-E • DDPG • DQN • LAM • LMM • SARSA • sLLM • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 과적합 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 메타추론 • 모델 기반 강화학습 • 모델 프리 강화학습 • 미세조정(파인튜닝) • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 어니 • 에이전트 • 인공지능 학습 • 전이학습 • 준지도학습 • 지도학습 • 추론 • 학습 • 확률적 경사하강법 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 가중치 • 관계형 네트워크(RN) • 뉴런 • 다층퍼셉트론 • 단층퍼셉트론 • 데이터마이닝 • 방사신경망 • 볼츠만 머신 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 은닉층 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 주의 메커니즘 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 계산복잡도 NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 파이토치 • 한돌 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반

인공지능 : 인공지능 서비스 □■⊕, 인공지능 로봇, 인공지능 기술, 인공지능 기업, 인공지능 인물 거대언어모델(LLM) 그록 • 네모 • 라마 • 몰모 • 믹스트랄 • 믿음 • 바드 • 사하바트-AI • 솔라 미니 • 솔라 프로 • 아야23 • 엑사원 • 인플렉션 2.5 • 제미나이 • 제미나이 나노 • 챗GPT • 클로드 • 파이-3.5 • 팔미라-X-004 • 하이퍼클로바X 챗봇 라온 • 브리티 코파일럿 • 샵봇 • 시리 • 심심이 • 아숙업(AskUp) • 알로 • 알리GPT • 애플 인텔리전스 • 오토GPT • 이루다 • 채티 • 챗뤼튼 • 챗베이스 • 클로바X • 키미챗 • 테이 • 패브릭스 • 픽스트랄 • 허깅챗 인공지능 검색 구버 • 라이너 • 빙 • 서치GPT • 옴니서치 • 퍼플렉시티 인공지능 문서 감마 • 구글 번역 • 노션AI • 다글로 • 딥엘(DeepL) • 뤼튼 • 비토 • 스위치미팅 • 에버노트 • 캔바 • 클로바노트 • 클로바더빙 • 파파고 인공지능 코딩 깃허브 코파일럿 • 데빈 • 커서AI • 코덱스 • 코디움메이트 • 탭나인 인공지능 이미지 AI 모션 • AI 프로필 • NUI 스튜디오 • 달리(DALL·E) • 드림스튜디오 • 레오나르도 AI • 미드저니 • 비디스커버 • 스테이블 디퓨전 • 에픽 • 카카오브레인 • 칼로 • 캐럿 • 코파일럿 • 파이어플라이 • 플레이그라운드 인공지능 웹툰 딥툰 • 로어머신 인공지능 음악 및 음성 AI 보이스 스튜디오 • 뮤직LM • 복스박스 • 사운드풀 • 수노 • 에이바 • 유디오 • 이봄 • 일레븐랩스 • 타입캐스트 인공지능 동영상 더 프로스트 • 드림머신 • 디-아이디 • 런웨이 젠 • 런웨이 젠3 • 무비 젠 • 브루 • 브이 • 소라 • 스테이블 비디오 디퓨전 • 인비디오 AI • 카이버 AI • 크레아 AI • 클링 AI • 피카아트 • 피포 디퓨전 • 픽스버스 • 픽토리 인공지능 서비스 슈퍼로이어 인공지능 무기 가스펠 • 라벤더 인공지능 스피커(한국) 갤럭시홈미니 • 기가지니 • 기가지니2 • 누구 • 누구네모 • 엑스붐AI씽큐 • 카카오아이 • 카카오미니 • 큐보이스 • 클로바 • 클로바웨이브 인공지능 스피커(글로벌) 구글홈 • 구글홈미니 • 구글홈허브 • 두어 • 빅스비 • 샤오두 • 스마트스피커 • 알렉사 • 어시스턴트 • 에코 • 에코닷 • 에코쇼 • 코타나 • 티몰지니 • 홈팟 인공지능 행사 2024년 제2차 AX 컨퍼런스 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반