자율성

인공지능의 자율성이란 주변 환경을 관측(Observe)하고, 판단(Orient)해서, 결심(Decide)한 후 행동(Act)하는 의사 결정 과정인 OODA 루프(Loop)상의 각 단계별로 인공지능 스스로 결정할 수 있는 능력을 의미한다. 인공지능, 로봇이 의사 결정을 하는 단계가 많을수록 자율성의 수준도 높다고 할 수 있다. 높아진 자율성만큼 인간 사용자의 기대와 통제를 벗어난 행동을 할 확률이 높아지며 그것이 사고로 연결될 가능성도 높아지게 되는 셈이다.

개요

일반적인 의미에서 자율성이란 타인의 의지가 아닌 자신의 행동에 자유의지를 갖고 행동하고 자기 자신의 원칙에 따라 어떤 일을 하거나 스스로 자신을 통제하여 절제하는 성질이나 특성이다. 하지만 인공지능은 입력받은 프로그램을 수행할 뿐 이기에 아직까진 인간처럼 사고하고 행동하는 자율성을 기대하기엔 큰 무리가 있다. 대표적으로 자율주행 자동차가 있다.

특징

인공지능 에미

1990년대 미국에서 인공지능인 에미(Emmy)가 인간의 도움 없이 작곡한 클래식 음악이 진정한 창작품인지 여부를 두고 논란이 커진 적이 있다. 인공지능의 작품이 인간이 만든 것과 다를 바 없다고 옹호하는 의견도 있었지만, 음악, 미술 등 예술적 창작 분야를 오직 인간의 몫으로만 여기는 다수의 사람들은 에미(Emmy)의 작품을 창조성이 결여된 획일적인 것, DB화되어 있는 과거의 성공작들을 의도적으로 조각조각 분해한 후 재조립한 것에 불과한 것이라고 힐난했다. 인공지능 작곡가에 대한 논란은 개발자 데이비드 코프(David Cope)가 알고리즘의 DB를 삭제해서 에미(Emmy)를 복구 불가능하도록 파괴함으로써 종식되었다.

장점

적절한 자율성이 잘 도입이 된다면 인공지능, 로봇의 도입 목적인 인간의 대체 효과, 즉, 인력 투입 및 관련 비용 절감을 확실하게 볼수 있다.

단점

인공지능에 의사 결정을 맡기는 것이 반드시 좋은 결과를 보장하지 않는다. 결국 입력된 프로그램내에서 인공지능이 판단을 내리는 것이기에 때로는 인간보다 훨씬더 잘못된 판단을 내릴수도있다.

사례

• 1988년 미군이 페르시아만에서 승객 290명을 태운 이란 민항기를 격추시켜 전원 사망하게 만들었다. 미군의 이지스 순양함이 민간 여객기를 적 전투기로 오인해서 발생한 사고로 당시 여객기는 지정된 항로를 따라 비행하면서 민간 항공기라는 무선 신호도 보내고 있었다. 당시 승무원들이 보던 레이더 화면에는 전투기가 아닌 민항기라는 사실을 보여주는 신호가 떠있었지만 어느 누구도 이지스 시스템의 판단을 의심하지않았다. 독자적으로 공격 권한까지 부여 받은 이지스 시스템이 내린 판정을 인간은 자신의 눈에 보이는 레이더 화면의 신호보다 더 믿었고 그결과 민간 여객기를 추락시켰다.

• 2003년 이라크전 당시 미군의 패트리엇 미사일 시스템은 아군 전투기들을 연달아 격추하는 실수를 했다.

• 2007년 남아공에서는 로봇 방공포가 갑자기 작동해서 수십 여명의 사상자를 발생시킨 사고가 있었다.

인명 손실을 줄이고 정확성을 높이고자 도입된 로봇이 오히려 인명 피해를 일으킨 주범이 되어버렸다.

• 2010년 미국 증시 폭락

거래 권한을 위임받은 인공지능이 특정한 매도 거래에 개입했다가 부족한 매수 주문을 확인하잠자 손실을 줄이기 위해 경쟁적으로 팔아 치우기 시작한 영향이 순식간에 포트폴리오 전체로 확산되어 증시 규모의 10분의 1인 약 1조달러가 불과 5분 만에 사라져버렸다.

• 2016년 미국,일본 자율주행 자동차 사고

낮은 수준의 자율주행 자동차들이 여러건의 교통사고를 일으키고 이 가운데 테슬라 모델 S의 운전자는 사망하기도했다. 이를 계기로 자율주행자동차의 사고의 책임을 운전자와 제조사 중 누가 져야 하는지에 대한 관심이 학계의 주제에서 현실의 이슈로 발전했다. 그리고 자율주행 자동차가 운전자와 보행자 중 누구를 더 보호하도록 개발해야 하는가라는 윤리적 문제에 대한 관심도 보다 커졌다.

• 2016년 미국 캘리포니아 주의 한 쇼핑센터에서 최신형 보안 서비스 로봇이 16개월된 유아를 공격해서 다치게 한 사고가 발생했다. 사고 발생 후에는 이와 유사한 사례들이 그 전에도 있었다는 사실이 드러났다.

자율성의 정도

인공지능이 예상치 못한 문제를 일으킬 수 있다고 해서 자율성을 완전히 제거할 수는 없다. 자율성은 인공지능, 로봇의 도입 목적인 인간의 대체 효과, 즉, 인력 투입 및 관련 비용 절감을 위해 필수적인 요소이기 때문이다. 이런 점을 고려하면 결국 문제의 핵심은 인공지능이 어느 정도의 자율성을 가지게 할 것인가, 바꿔 말하면 인간이 인공지능에게 자율적 의사결정권을 얼마나 부여해야 하는 것 인가이다. 자율성의 수준이 인공지능의 도입 효과를 결정하기 한다. 인공지능의 자율성은 인간이 가진 권한과 책임의 공유, 위임을 의미하므로 인간의 통제, 개입 수준과 반비례하게 된다. 그래서 인간을 대체하는 효과가 그만큼 커진다는 것이다.자율성의 수준에 따라 인공지능의 판단에 대한 책임 소재가 달라지기 때문이다. 자율성의 수준은 사용자의 편의성과 안전성에 직결된다 지나치게 똑똑해서 매사 간섭하려 들거나, 잔소리를 하는 인공지능은 사용자에게 불편한 존재가 될 가능성이 크다. 자율성의 수준은 기계에 대한 인간의 핵심적인 역할을 바꾸는 변수로 작용할 것이기 때문이다. 자율성을 갖춘 기계 앞에 선 인간의 역할이 OODA 루프 상의 최종 과정인 행동(Act) 단계에만 거부권을 행사하는 수준이거나, 인공지능이 고장 났을 때에 해결 능력을 제공하는 감독자 정도에 그칠 가능성도 엿보이기 때문이다. 그리고 인간이 인공지능의 판단을 곧이곧대로 신뢰하는 경향이 있다는 점에서도 자율성의 수준은 중요한 문제이다. 인간이 인공지능이나 로봇을 맹신할 수 있다는 우려는 로봇의 지시를 접한 인간의 반응을 조사한 실험과 미국의 이지스함 사례등에서 찾아볼수 있다.

인간 VS 인공지능

현재 많은 전문가들은 에미의 경우처럼 자율적인 인공지능의 활동이 인간과 갈등을 빚는 공간이나 영역이 점차 늘어날 가능성이 있다고 본다. 또 인공지능의 활동이 영향을 주는 범위도 개인의 차원에서 때로는 사회적, 국가적 차원에 이를 수 있고, 영향력의 수준 또한 사소한 불만족에서부터 재산 손실, 인명 피해 등 심각한 경우에 이를 수 있을 것으로 보고 있다. 왜냐 하면 인간과 인공지능이 상황 판단(Origin)이나 결심(Decision), 또는 행동(Act) 과정에서 각각 상이한 결정을 내릴 수 있기 때문이다. 인공지능이 사용자의 지시나 기대와 다른 결정을 내리는 상황에 직면하는 인간은 대부분 고민에 빠질 것이다. 즉, 인간과 인공지능간에 갈등이 빚어지는 것이다. 이러한 갈등은 다양한 상황에서 발생될 수 있다.

AI 가전기기

로봇화된 의자가 내장된 인공지능의 결정에 따라 볕이 잘 드는 위치로 옮겼는데, 정작 사용자는 그 지점이 너무 밝아서 싫어할 수도 있다. 냉장고의 인공지능이 사용자에게 비만이니 그만 먹어야 한다고 계속 잔소리를 늘어놓거나 심한 경우에는 냉장고 문을 열어주지 않을 수도 있다. 유머 감각을 뽐내던 우주탐사로봇 타스(TARS)가 수리 받는 도중에도 주인공의 기분에 아랑곳하지 않고 계속 썰렁한 농담을 내뱉던 영화 인터스텔라(Interstellar, 2014)의 한 장면처럼 가정용 감성 서비스 로봇의 유머가 사용자의 취향과 맞지 않을 수도 있다. 해결 방안은 영화에서처럼 타스(TARS)의 유머 수준을 낮춰서 농담을 못 하게 만들듯이 자율성의 수준을 조절하는 데에서 찾을 수도 있다. 하지만 때때로 개발자의 의도가 사용자의 성향에 맞지 않아서 인공지능에 대한 불만족이 지속될 수도 있다.

의료 인공지능

의사는 환자에 대한 진단, 처방, 시술 등 각 진료 단계에서 종종 자신의 경험, 생각과 인공지능의 판단이 배치되는 상황에 직면할 수 있다. 만약 환자에게도 선택에 개입할 기회가 주어진다면, 환자 역시 자신의 생명을 누구의 진단 결과에 맡겨야 하는지에 대해 심각한 고민에 빠질 수 있다.

자율주행 자동차

자율주행자동차의 선택 경로 또는 자율주행자동차의 운행 패턴이 사용자의 취향과 맞지 않을 수도 있다. 중고 자율주행자동차의 전 소유주가 난폭운전자 인줄 모르고 구매한 새로운 소유주는 장시간에 걸쳐 인공지능을 새로 학습시켜야 하는 고역을 치를 수도 있다. 또한 자동차 개발자도 고민에 빠질 수 있다. 만일 탑승자와 다수의 보행자 중 하나만 선택할 수 있는 상황에 처했을 때에 인공지능이 보행자 보호를 우선시하도록 만들면 소비자가 구매하지 않을 것이고, 무조건 탑승자를 보호하도록 만들면 도덕적 논란의 대상이 될 수 있기 때문이다.

인공지능 킬러

인간은 종종 킬러 로봇이 민간인을 공격 대상으로 오인하거나 임무 수행을 위해 민간인 피해를 무시하고 있는 것은 아닌지 의심해 볼 수 있다. 군사적 행동은 사회적으로도 파장이 크고 돌이킬 수 없는 문제이다. 전쟁터에서 자국의 인명 손실을 줄이려는 각국 정부의 노력이 역으로 자율성을 갖춘 킬러 로봇의 개발과 보급을 가속화시킬 수 있어서 사용자가 고민하는 경우도 늘어날 수 있다.

인공지능 VS 인공지능

인간과 인공지능간의 갈등뿐만 아니라 인공지능끼리의 경쟁이나 충돌도 중요한 문제가 될 것으로 보는 전문가들도 많다. 이들은 인공지능간의 갈등이 우발적인 결과를 낳을 수 있다는 것은 막연한 추측이 아니라 곧 현실화될 문제라고 주장한다. 단지 인공지능의 개발 자체가 여전히 큰 관심사인데다, 금융, 방산 등 전문적인 분야 외에는 인공지능을 사용한 경험이 부족한 탓에 충분히 다루어지지 못했을 뿐이라는 것이다.

인공지능간의 경쟁에서 비롯될 부작용을 주장하는 연구자들은 인공지능이 사용상의 부작용에 대해서는 전혀 고려되지 않은 채, 각각 독립적으로 오로지 목표 성취만을 위해 만들어지는 현실을 우려한다. 독립적으로 개발된 인공지능들 각각의 개별적이고 사소한 행동들이 모두 합쳐지면 심각한 현상으로 번질 수 있다는 것이다. 구글의 인공지능 전문가인 피터 노빅(Peter Novig)은 인공지능들 각각의 개별적인 행동이 모여서 대형 사고를 낳을 수 있는 영역으로 미국의 의료 분야를 거론하기도 했다. 매일 발생하는 미국 내 의료사고 사망자 200여 명 중 상당수는 바로 컴퓨터의 오류에 의한 것인데, 이런 컴퓨터의 실수와 의료 과정 상의 잘못이 결합하면 두어 달마다 911 테러와 맞먹는 규모의 사망자가 발생할 수도 있다고 경고했던 것이다. 인공지능이 통제하는 금융시장을 연구한 학자도 인공지능에게 전체적인 통제권을 주는 것이 어떤 결과를 낳을지 예측하기 힘들다는 견해를 보이기도 했다. 위 사례는 이미 2010년 미국 증시 폭락으로 겪은 바가있다.

로봇 윤리

시스템의 자율성이 커지면 공학자들도 그에 상응해서 안전과 책임 문제를 더 폭넓게 고려해야 한다고 주장해왔다. MIT 감성컴퓨팅 연굿좡을 지낸 로설린 피카드같은 로봇 공학자들도 기계의 자유가 커질수록 도덕적 기준이 필요하다고 한 바 있다. 바꿔 말하면, 기술 발전으로 향상되는 자율성에 비례해서 도덕적 고려 사항을 누가 어떻게 다룰 것인가도 고민해야 한다는 것이다. 이러한 학계의 분위기를 배경으로 2000년대 초반 로봇윤리(Roboethics) 연구가 시작되었고, 2005~2008년 진행된 EU 차원의 공동 프로젝트 ‘ETHICBOTS’ 등으로 확산되었다. 인공지능의 도입이 가속화될 조짐을 보이는 현재에는 로봇윤리 연구에 대한 관심도 더욱 커지고 있다. 오늘날 로봇윤리 측면에서 가장 첨예한 논쟁이 벌어지는 분야 중 하나는 킬러 로봇 개발이 진행되는 군수산업이다. 각국 정부가 인간의 개입이 전혀 없는 완전자율형 무기 개발에 박차를 가하면서 군사용 로봇도 갈수록 정교해지고 있고, 관련 사안들도 윤리적으로 복잡하기 때문이다.

참고자료

• 진석용연구원, 〈인공지능의 자율성, SF의 주제가 현실의 문제로 다가오고 있다〉, 《LG경제연구원》, 2016-08-10

같이 보기

인공지능 특징 인공지능 인공지능 법적 지위

이 자율성 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 랭체인 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 • 프롬프트 엔지니어링 문자인식과 음성인식 ICR • OCR • OMR • TTS • URL • 글자 • 답변 • 대화 • 동영상 • 디자인 • 맥락 • 문서 • 문자 • 문자인식 • 문자채팅 • 발음 • 번역 • 분류 • 상담 • 소스코드 • 스토리 • 얼굴 • 얼굴인식 • 음성 • 음성채팅 • 음성인식(STT) • 이미지 • 인공어 • 인공지능 음성 • 자막 • 자연어 • 질문 • 채팅 • 코드 • 코딩 • 텍스트 • 통번역 • 통역 • 파일 • 폴더 • 화상채팅 • 화자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 돌마 • 벡터 • 벡터DB • 벡터공간 • 스칼라 • 임베딩 • 크라우드워커 • 토큰 • 토큰화 인공지능 학습 ADP • CoLLM • DALL-E • DDPG • DQN • LAM • LMM • SARSA • sLLM • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 과적합 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 메타추론 • 모델 기반 강화학습 • 모델 프리 강화학습 • 미세조정(파인튜닝) • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 어니 • 에이전트 • 인공지능 학습 • 전이학습 • 준지도학습 • 지도학습 • 추론 • 학습 • 확률적 경사하강법 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 가중치 • 관계형 네트워크(RN) • 뉴런 • 다층퍼셉트론 • 단층퍼셉트론 • 데이터마이닝 • 방사신경망 • 볼츠만 머신 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 은닉층 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 주의 메커니즘 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 계산복잡도 NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 파이토치 • 한돌 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반