관계형 네트워크

관계형 네트워크(Relation Network)는 딥마인드가 제안한 물체 간의 관계를 추론할 수 있는 구조를 가진 인공신경망 요소이다. 관계형 네트워크는 관계를 추론할 수 있고, 데이터 효율적이며, 개체의 순서와 관계없이 개체 집합에서 작동한다. 간략히 RN(알엔)이라고도 한다.

개요

기존의 지도학습의 머신러닝 시스템은 모델의 파라미터를 훈련하기 위해 막대한 양의 라벨링 데이터와 많은 반복 훈련이 필요하다. 이는 주석 비용 때문에 새로운 클래스에 적응할 수 있는 확장성과 다용성을 크게 제한했다. 그래서 딥마인드는 관계형 추론(Relational Reasoning)을 도출하고자 관계형 네트워크라고 불리는 그들의 방법을 제안했다. 관계형 추론이란 객체와 객체 속성 간의 관계를 추론하는 능력을 말한다. 특정 객체의 속성을 추론하는 것을 비관계형 질문이라고 하고, 객체 간의 관계에 대해서 추론하는 것을 관계형 질문이라고 한다. 관계형 네트워크는 간단하며, 다른 모델에 쉽게 붙일 수 있고, 유연한 관계형 추론에만 중점을 둘 수 있다. 관계형 네트워크는 메타 학습 과정에서 입력 이미지 간의 차이를 측정하기 위해 거리 심층 측정법을 학습한다. 또한 이미지 간 또는 이미지와 클래스 설명 간의 관계를 비교하기 위해 전송 가능한 심층 메트릭을 학습한다. 모델이 교육되면 관계형 네트워크는 네트워크를 더 이상 업데이트하지 않고 쿼리 샘플의 입력과 지원 세트의 입력 사이의 관계, 유사성 점수를 계산하여 새로운 클래스의 이미지를 분류할 수 있는 기능을 가지게 된다. 몇 번의 촬영 학습으로 유망한 성과를 달성하는 것 외에도, 관계형 네트워크는 제로샷(zero-shot) 학습으로 확장될 수 있다.

특징

퓨샷 러닝

연구원들은 쿼리 세트의 입력 영상을 샘플 이미지로 분류된 몇 개의 샷과 비교하는 방법을 학습함으로써 몇 개의 샷 분류를 수행할 수 있도록 2개의 브랜치 관계형 네트워크를 제안했다. 네트워크는 임베딩 모듈 및 관계 모듈의 두 가지 모듈로 구성된다. 내장 모듈은 쿼리와 지원 세트 이미지를 표현한다. 그런 다음, 관계 모듈은 이러한 임베딩을 비교하여 동일한 등급에 속하는지 여부를 결정한다. 퓨샷 러닝(Few-shot Learning) 방법은 이전 접근법을 능가하며, 순환 신경망 없으므로 더 단순하고, 정밀한 조정이 필요 없어 더 빠르다. 쿼리 세트와 지원 세트의 이미지 샘플은 샘플링되고 임베딩 모듈에 공급되어 해당 기능 맵을 생성한다. 두 형상 맵은 연산자 $C(\cdot ,\cdot )$와 연결되고 관계 모듈 $g_{\phi }$에 전달되어 유사성/관계 점수 [0,1]을 생성한다. 이 관계 점수$r_{i,j}$는 쿼리 입력과 지원 샘플 예제 사이의 친밀도를 알려준다.

 $r_{i,j}=g_{\phi }(C((f_{\varphi })(x_{i}),\ (f_{\varphi })(x_{j}))),\ i=1,\ 2,\ \cdots ,\ C$

평균 제곱 오류 손실은 그라운드 진실에 대한 관계 점수를 역행하면서 네트워크를 훈련하는 데 사용된다. 가장 가까운 유사성을 공유하면 값이 1에 가까워지는 반면, 일치하지 않는 쌍은 0에 가까워진다. 예를 들어 5-way, 1-shot 분류 과제를 훈련하기 위해 5개 등급의 샘플 각각을 샘플링하여 지원 세트를 구성하고, 1개의 입력 이미지를 쿼리 세트 또는 테스트 세트로 선택한다. 이들은 고차원 벡터에서 형상을 추출하기 위해 임베딩 모듈로 먼저 공급될 것이다. 그런 다음 모든 피쳐 벡터가 관계 모듈에 연결되어 관계 점수를 생성하며, 쿼리 세트의 이미지가 어떤 클래스에 속하는지 결정한다. 쿼리 세트의 형상 벡터가 서포트 세트의 도그 이미지와 상대적으로 근접할 때 관계 점수는 더 높은 점수를 받게 된다.

퓨샷 러닝 모델이 완전히 새롭게 주어진 데이터에서도 잘 작동하도록 만들기 위해서는 메타 러닝(meta-learning)이 필요하다. 퓨샷 러닝 태스크에서는 에피소딕 훈련(episodic training) 방식으로 메타 러닝을 시도한다. 에피소딕 훈련은 퓨샷 태스크와 유사한 형태의 훈련 태스크를 통해 모델 스스로 학습 규칙을 도출할 수 있게 함으로써 일반화 성능을 높일 수 있게 한다. 퓨샷 러닝을 위한 에피소딕 훈련에는 훈련・검증・테스트 태스크를 둔다. 일반 딥러닝에는 데이터를 훈련・검증・테스트 데이터로 구분하지만 서로 같은 범주를 공유하는 대신 데이터만 서로 겹치지 않도록 한다. 에피소딕 훈련에 대해 좀 더 자세히 설명하자면 다음과 같다. 대용량 훈련 데이터로부터 N-way K-shot 훈련 태스크를 여러 개 샘플링한다. 모델은 다양한 범주로 구성된 훈련 태스크를 통해 최적의 성능을 낼 수 있도록 훈련된다. 훈련을 마친 모델은 완전히 새로운 데이터로 구성된 테스트 태스크로 그 성능을 평가받는다. 퓨샷 러닝 문제는 다양한 방식으로 해결해 볼 수 있다. 거리 학습(metric learning)과 그래프 신경망(graph neural networks, GNN)에 관련된 연구를 소개하면 다음과 같다.

거리 학습 기반 방식

범주별 훈련 데이터의 수가 적은 퓨샷 태스크에서는 딥러닝처럼 분류기의 가중치를 훈련하는 방식이 적합하지 않다. 그림에서 보듯이 한 태스크를 구성하는 N*K개의 소수 훈련 데이터에만 지나치게 적응하는 과적합(overfitting) 현상이 발생할 수 있기 때문이다. 그 대신 서포트 데이터와 쿼리 데이터 간의 거리(유사도)를 측정하는 방식을 활용한다. 모델은 주어진 서포트 데이터를 특징 공간(feature space)에 나타낸다. 이를 특징 추출이라고 한다. 이 공간 상에서 쿼리 데이터의 범주는 유클리디안 거리(Euclidean distance)가 가장 가까운 서포트 데이터의 것으로 예측된다. 모델은 두 데이터의 범주가 같으면 거리를 더 가깝게 두고, 다를 때는 거리가 더 멀게 만드는 방법을 학습한다. 이를 두고 거리 학습이라고 한다. 퓨샷 러닝 초기에 활용되던 거리 학습은 가장 간단하면서도 효과적인 것으로 잘 알려져 있다.

• 원샷 영상 인식을 위한 샴 신경망: 이전에는 인간이 직접 설계한 특징으로 거리 학습을 시도했다면, 샴 네트워크(Siamese network)는 처음으로 심층신경망(DNN)을 활용했다는 점에서 의의가 있다고 볼 수 있다. 대표적인 심층신경망 응용 알고리즘인 합성곱 신경망(CNN)으로 특징 추출기를 만든것이다. 매개변수를 공유하는 동일한 구조의 특징 추출기는 두 데이터 간 거리를 학습한다. 좀 더 자세히 설명하자면, 합성곱 신경망은 검증 손실 함수(verification loss function) 값을 최소화할 때까지 훈련된다. 이 검증 손실 값은 두 입력 데이터의 범주가 같은 상황에서 특징 공간상 거리가 멀면 커진다. 두 데이터의 범주가 다른 상황에서 거리가 가까워져도 마찬가지다. 이런 검증 손실 값을 최소화함으로써 모델은 범주가 같은 두 데이터의 거리가 가까워질수록 또는 범주가 다른 데이터의 거리가 멀어지게 하는 특징을 획득하게 된다.
• 원샷 러닝을 위한 매칭 네트워크: 샴 네트워크에서 특징 추출기는 두 개의 입력 데이터 간 거리를 절대적으로 0으로 만들거나 크게 만드는 훈련에 집중한다. 그러나 이는 테스트 단계에서 주어지는 N-way K-shot 문제를 푸는 데 최적화된 방법론이라고 볼 수는 없다. 쿼리의 범주는 상대적으로 더 가까운 서포트 데이터의 것으로 결정되기만 하면 된다. 따라서 N-way K-shot 문제에서는 데이터 간 상대적 거리를 잘 표현하는 특징 추출기를 만들 필요가 있다.
• 퓨샷 러닝을 위한 프로토타입 네트워크: 5-way 5-shot 태스크가 주어졌을 때 기존 방식에서는 서포트 데이터 25개와 쿼리 데이터 간 거리를 일일이 계산했다. 반면, 이 논문에서는 범주별 서포트 데이터의 평균 위치인 프로토타입(prototype)이라는 개념을 사용한다. 결과론적으로 모델은 5개 범주를 대표하는 프로토타입 벡터와 쿼리 벡터와의 거리만 계산하면 된다.
• 퓨샷 러닝을 위한 관계 네트워크: 한 태스크에서 {고양이, 자동차, 사과}처럼 서로 완전히 다른 성격의 범주를 분류하는 문제라면 물체의 모양(shape) 정보만으로도 쿼리 데이터의 범주를 쉽게 예측할 수 있을 것이다. 하지만 특징 추출기가 같은 범주의 데이터를 더 가깝게, 다른 범주의 데이터를 더 멀게 할 정도로 충분히 복잡하지 않다면 어떨까? 그렇다면 {러시안블루, 페르시안, 먼치킨}처럼 고양이의 종류를 구분하는 태스크를 풀기 어려울 것이다.

그래프 신경망 방식

최근에는 적은 양의 데이터만으로도 분류 성능을 극대화하고자 데이터 간 복잡한 관계 정보를 학습에 활용하는 추세이다. 가장 많이 연구되는 게 바로 그래프 신경망이다. 우리가 흔히 아는 일반적인 인공 신경망은 입력값으로 벡터나 행렬 형태를 활용한다면, 그래프 신경망은 밀집 그래프(dense graph) 구조를 활용한다. 그래프에서 노드는 데이터를, 노드와 노드를 잇는 간선(edge)은 데이터 간 관계 정보를 나타내며 밀집 그래프는 모든 노드가 서로 완전히 연결된 것을 가리킨다. 그래프 신경망은 바로 이 그래프 구조와 각 노드에 해당하는 데이터의 특징 벡터를 입력받는다.

• 퓨샷 학습을 위한 관계망 그래프 신경망을 이용한 퓨샷 학습: 이 논문에서 그래프 신경망의 동작 방식은 다음과 같다. 각 노드는 해당하는 데이터의 특징 벡터로 초기화된다. 그다음, 특정 노드 V의 이웃 노드에 노드별 거리(유사도)를 곱한 값들의 합(가중평균)을 구한다. 이를 V와 합쳐 새로운 벡터 V’를 얻는다. 다른 노드에 대해서도 같은 연산을 순차적으로 반복한다. 가장 마지막에 쿼리 노드 벡터값의 업데이트도 완료한다. 모델은 N개의 범주와 완전히 연결된 FC(fully connected layer)층을 통해 쿼리 데이터의 범주를 예측한다.
• 퓨샷 러닝을 위한 유도 전파 네트워크(TPN): 유도 전파 네트워크 또한 기존 그래프 신경망처럼 특정 노드와 이웃 노드와의 거리를 계산해 범주 정보를 전파한다. 그래프 신경망과 다른 점은 노드 값을 초기화한 후 더는 업데이트하지 않는 데 있다. 이렇게 되면 범주 정보를 연쇄적으로 전파하는 부분을 하나의 닫힌 형태 방정식(close form equation)으로 표현할 수 있게 된다. 이 방식에서는 범주 정보 전파 횟수에 비례해 늘어나는 연산 횟수가 단 한 번으로 줄어 들고, 매 단계에서 얻은 각 노드의 범주 벡터는 메모리에 기록될 필요가 없다. 즉, 노드 사이 거리를 고정하면 계산량과 메모리 사용량을 획기적으로 줄일 수 있다는 의미이다. 유도 전파 네트워크과 그래프 신경망의 또 다른 차이점은 한 그래프에서 참고하는 서포트 데이터의 수이다. 5-way 5-shot 문제에 10개의 쿼리 데이터가 있다고 가정해보겠다. 그래프 신경망은 25개의 서포트 데이터와 1개의 쿼리 데이터, 즉 26개의 노드로 이루어진 그래프를 각각 10개를 구성해 쿼리 10개에 대한 범주를 완전히 독립적으로 예측한다. 반면, 유도 전파 네트워크는 25개의 서포트 데이터와 10개의 쿼리 데이터, 즉 35개의 노드로 이루어진 단 하나의 그래프를 구성해 쿼리 10개의 범주를 한꺼번에 예측한다. 이처럼 유도 전파 네트워크는 모든 쿼리 데이터를 학습에 활용함으로써 그 범주를 더 정확하게 예측하게 된다. 데이터가 지극히 적은 상황에서 쿼리 데이터도 활용하면 저차원의 매니폴드(manifold)[6] 공간에서 결정 경계(decision boundary)를 더욱 수월하게 찾을 수 있기 때문이다. 이처럼 라벨링 데이터와 테스트 데이터의 분포를 고려해 테스트 데이터의 범주를 추론하는 방식을 변환 학습(transductive learning)이라고 한다.

제로샷 러닝

제로샷 러닝은 전이 학습(Trancfer learning)에서 발전된 머신러닝의 한 종류이다. 전이 학습이란, 최근 머신러닝에서 많이 사용되는 방법으로 데이터 간의 관계와 공통점을 이용해 정답을 찾는다. 예를 들어, 문제 A에 대한 정답이 문제 B, C, D 등 다른 문제에도 존재할 경우, 인공지능이 문제들 간의 관계를 분석한다. 분석 후 공통점이 파악되면 그것을 중심으로 문제의 정답을 찾을 수 있어 데이터가 풍부하지 않은 분야에서 주로 사용된다. 제로샷 러닝은 단 하나의 훈련 이미지가 아닌 하나의 카테고리 설명을 입력하도록 샘플 분기를 수정해 공간을 확장한다. 영상과 카테고리 임베딩의 정렬을 학습하고, 이미지와 카테고리 임베딩 페어가 일치하는지 예측해 분류 과제를 수행한다. 또한 각 C 교육 클래스에 대해 원샷/ k샷 이미지로 지원 세트를 받는 대신 의미 클래스 내장 벡터를 포함하고 있다. 제로샷 러닝을 통해 이미지 쿼리 세트에 두 번째 이기종 임베딩 모듈을 사용한다. 그러면 관계형 네트워크가 적용된다.

 $r_{i,j}=g_{\phi }(C(f_{\varphi 1})(u_{c}),\ f_{\varphi 2}(x_{j}))),\ i=1,\ 2,\ \cdots ,\ C$

기능

제로샷 러닝을 이용하면 지능형 로봇이 훈련에서 겪어보지 못한 익숙하지 않은 객체, 행동, 환경 패턴을 동적으로 인식하고 대응할 수 있다. 혼란스럽고 일회성인 환경에서 로봇이 최선의 조치를 반복적으로 수행할 수 있도록 강화학습과 점점 더 결합할 것으로 예상된다. 게임 애플리케이션이라면 성공적인 게임 방식에서 파생된 방대한 데이터에 대한 훈련 대신 반복적인 셀프 플레이와 같은 제로 샷 접근법이 가능하다. 이를 통해 처음부터 이런 게임에 대해 전혀 알지 못해도 복잡한 승리 전략을 구사할 수 있다. 이 밖에도 제로샷 러닝은 객체 인식 애플리케이션을 더 다양하게 만들 수 있는 다음과 같은 기능을 지원한다.

• 훈련 데이터에서 상당히 누락될 수 있는 드물고, 익숙하지 않고, 보이지 않는 객체의 즉각적인 인식
• 매우 높은 수준의 전문 지식으로 분류된 훈련 데이터를 얻기 어려운 패턴 인식
• 세분화된 카테고리의 확산으로 인해 통계적으로 다양한 분류된 훈련 데이터를 충분한 양으로 획득하기 어렵거나 엄청나게 비싼 객체 클래스의 인스턴스를 탐지하는 것

접근법

제로샷 러닝을 가능하게 하는 것은 통계적 또는 의미적 접근법을 통해 발견하고 용도를 변경할 수 있는 사전 지식의 존재다. 제로샷 러닝은 이 지식을 사용해 본 인스턴스(훈련 데이터에 있는 인스턴스)와 보이지 않는 인스턴스(훈련 데이터에 없는 인스턴스)를 모두 포함하는 특징(feature)을 예측한다. 이와 같은 자동화된 지식 발견과 관련해, 제로샷 러닝을 위한 가장 유망한 기술 접근 방식은 다음과 같다.

• 뚜렷하지만 의미적으로 인접한 객체 인식 영역에 있는 사전 감독된 학습 프로젝트에서 얻은 통계 지식을 바탕으로 분류 모델을 구축(관련 종에서 추출한 특징에 기초해 한 번도 본 적 없는 척추동물의 종류 식별)
• 대상 클래스의 텍스트 설명에서 대상 객체의 의미 지식 추출(인식할 종의 시각적 특징을 설명하는 로봇이 추출한 웹 기사)
• 대상 클래스의 텍스트 설명을 사용할 수 있는 경우, 단어 벡터와 기타 그래프 접근법을 사용해 대상 클래스의 의미 특징에 대한 추론을 소스 클래스의 의미 특징에 대한 추론에서 세분화

네트워크 구조

4개의 콘볼루션 블록이 임베딩 모듈에 사용되며, 각 블록은 64-필터 3x3 콘볼루션, 배치 정규화 계층 및 렐루(Relu) 비선형 함수를 포함한다. 처음 두 개의 콘볼루션 블록은 2x2의 최대 풀링 레이어를 포함하지만, 후자는 2x2의 풀링 레이어를 포함하지 않는다. 반면에 관계 모듈의 경우 2개의 콘볼루션 블록과 2개의 완전 연결 층으로 구성된다. 각 콘볼루션 블록은 64 필터 3x3 콘볼루션에 이어 배치 정규화 계층, 렐루 비선형 함수 및 마지막으로 2x2 최대 풀링 계층이다. 완전히 연결된 모든 계층은 최종 출력 계층을 제외하고 렐루 함수 - 0부터 1까지의 관계 점수를 생성하기 위한 시그모이드 함수이다.

전망

딥마인드의 연구팀은 최근 미국 코넬 대학교 아카이브(arXiv.org)에 인공지능의 추론 능력을 검증한 내용을 담은 2편의 논문 ‘관계형 추론을 위한 단순한 인공신경망’과 ‘비주얼 상호작용 네트워크’을 잇따라 게재했다. 연구팀은 ‘CLEVR’, ‘babI 스위트’ 라는 데이터 세트를 사용해 인공지능에게 시각적인 질문과 응답을 시도했다. 다양한 소재와 다양한 형태의 물건들을 섞어놓고 소재와 형태 간의 상관관계를 물어보는 방식이다. 다양한 소재와 색상의 정육면체, 볼, 원통 등 다양한 모양의 물체들을 썩어놓고 어려운 질문을 시도했다. “푸른 물체 앞에 찾는 물건이 있는데 매우 작은 크기의 청록색 물체로 회색 금속의 공 모양을 하고 있다”며 그 물건이 어디 있느냐는 식의 질문을 던졌다. 이런 질문에 답변하기 위해서는 물체의 다양한 속성들을 서로 연계해 추론할 수 있어야 한다. 실험은 기존 머신러닝 프로그램과 사람, 그리고 관계형 네트워크의 능력을 보강한 인공지능 3자를 대상으로 진행했는데 기존 기계학습 프로그램은 77%의 정답을 맞추었다. 이는 사람의 96% 정답률과 비교해 훨씬 뒤지는 점수다. 반면 관계형 네트워크를 보강한 인공지능은 96%의 점수를 기록했다. 이는 사람의 추론 능력을 넘어서는 놀라운 점수다. 관계형 네트워크를 보강한 인공지능은 언어 추론 능력에서도 놀라운 능력을 발휘했다. 연구팀은 인공지능에게 ‘산드라가 축구공을 주웠다’, ‘산드라가 사무실에 갔다’ 등의 문장을 제시한 후 ‘공이 어디에 있느냐?’는 식의 질문을 거듭했다. 문장의 연관관계를 통해 정답을 추론하는 능력을 테스트하기 위한 시도였다. 그 결과 98%의 정답률을 기록했는데 40% 대의 점수를 기록한 사람과 기존의 기계학습 프로그램과 큰 대조를 보였다. 연구팀은 또 보이지 않는 스프링과 막대를 통해 튕겨지고 있는 10개의 볼을 보여주고 어떤 힘에 의해 볼이 튕겨지고 있는지 답변하라고 했다. 그 결과 90%의 정답률을 기록했다. 이는 인공지능이 보이지 않는 힘의 작용을 정확히 분석해낼 수 있다는 것을 의미한다. 그동안 과학자들은 인공지능의 머신러닝 기능에 관계 추론 능력을 주입하는 것이 불가능하다고 여겨왔다. 추론이 가능하려면 두 종류의 물체나 사건 사이에서 통계적인 의미와 상징적인 의미를 동시에 인식해야 하는데 상징적인 의미를 분석할 수 있는 능력에서 사람을 따라오기 힘들다는 판단이었다. 그러나 구글 딥마인드에서 이런 주장을 뒤집었다. 런던에 있는 딥마인드의 컴퓨터 과학자 티모시 릴리크랩(Timothy Lillicrap)은 “컴퓨터 기계학습을 통해 (사람처럼) 두 대상 간에 관계성을 추론해낼 수 있는 네트워크를 개발하는데 확실하게 성공했다”고 강조했다. 이번 연구 결과를 접한 스탠포드 대학교의 컴퓨터 과학자 저스틴 존슨(Justin Johnson) 교수는 “딥마인드 논문을 보고 크게 놀랐다”며, “유사한 일을 하고 있는 다른 인공지능과 연결할 경우 큰 능력을 발휘할 수 있을 것”으로 내다봤다. 보스톤 대학교의 컴퓨터 과학자 카테 사엔코(Kate Saenko) 교수는 “이 알고리즘을 활용할 경우 향후 사물인터넷, 사회적 네트워크, 무인차 시스템, 범죄 가능성 추적 등 다양한 방면에서 큰 도움을 받을 수 있을 것”이라고 말했다.

딥마인드에서 인공지능의 추론 학습 능력을 입증함으로서 인공지능의 새로운 가능성이 열린 것으로 보인다. 인공지능 스스로 언어의 의미를 해득하고, 이미지들을 연계해 새로운 이미지를 만들어낼 수 있게 됐다. 또한 기존 통계방식에 이 기능을 연결해 여러 가지 시각적이고 추상적인 문제들을 풀어나갈 수 있는 가능성이 열렸다. 최근 알파고의 바둑 실력이 세상을 놀라게 했듯이 사람처럼 생각하는 인공지능이 또 한 번 세상을 충격에 빠뜨리게 할 가능성이 높아졌다. 무엇보다 큰 관심을 불러일으키고 있는 것은 인공지능이 사람처럼 유연한 사고를 할 수 있다는 점이다. 그럴 경우 사람과 유사한 로봇 출현이 가능해지고 SF 영화에서 볼 수 있는 로봇 실현이 가능해진다. 그러나 그렇게 되기까지는 아직 많은 시간이 필요하다. 스탠포드 대학교의 저스틴 존슨 교수는 “딥마인드에서 진행한 실험이 아직 단순한 단계에 머루르고 있다”며 “후속 연구를 통해 특수한 유형의 추론 능력 등을 개발해나가야 한다”고 말했다.

참고 자료

• 김태영, 〈Relation Networks for Visual QA〉, 《github》, 2017-06-10
• 이강봉 객원기자, 〈컴퓨터가 추론하기 시작했다〉, 《사이언스타임즈》, 2017-06-16
• Fabian Tan, 〈Learning to Compare: Relation Network for Few-shot Learning〉, 《Medium》, 2019-07-16
• 이수경, 김종민, 〈1.퓨샷 러닝(few-shot learning) 연구 동향을 소개합니다.〉, 《카카오 브레인》, 2019-11-06
• James Kobielus, 〈훈련 데이터 없이 AI 만든다…'제로 샷' 학습을 아시나요?〉, 《아이티월드》, 2020-03-04
• 과학기술정보통신부, 〈인공지능의 시대, 데이터가 필요 없는 제로샷 학습〉, 《네이버 블로그》, 2020-04-02

같이 보기

• 인공신경망
• 딥러닝

이 관계형 네트워크 문서는 인공지능 기술에 관한 글로서 검토가 필요합니다. 위키 문서는 누구든지 자유롭게 편집할 수 있습니다. [편집]을 눌러 문서 내용을 검토·수정해 주세요.

인공지능 : 인공지능 서비스, 인공지능 로봇, 인공지능 기술 □■⊕, 인공지능 기업, 인공지능 인물 인공지능 기술 AI 워싱 • 랭체인 • 로봇공학 • 로봇기술 • 인지과학 • 자동추론 • 자연어 처리 • 지능 • 지식표현 • 컴퓨터 비전 • 튜링 테스트 • 프롬프트 • 프롬프트 엔지니어링 문자인식과 음성인식 ICR • OCR • OMR • TTS • URL • 글자 • 답변 • 대화 • 동영상 • 디자인 • 맥락 • 문서 • 문자 • 문자인식 • 문자채팅 • 발음 • 번역 • 분류 • 상담 • 소스코드 • 스토리 • 얼굴 • 얼굴인식 • 음성 • 음성채팅 • 음성인식(STT) • 이미지 • 인공어 • 인공지능 음성 • 자막 • 자연어 • 질문 • 채팅 • 코드 • 코딩 • 텍스트 • 통번역 • 통역 • 파일 • 폴더 • 화상채팅 • 화자인식 인공지능 데이터 데이터라벨러 • 데이터라벨링 • 데이터셋 • 돌마 • 벡터 • 벡터DB • 벡터공간 • 스칼라 • 임베딩 • 크라우드워커 • 토큰 • 토큰화 인공지능 학습 ADP • CoLLM • DALL-E • DDPG • DQN • LAM • LMM • SARSA • sLLM • SLM • 강화학습 • 거대언어모델(LLM) • 결정이론적 메타추론 • 계통적 강화학습 • 과적합 • 동적 계획법 • 딥러닝 • 딥큐러닝 • 머신러닝(기계학습) • 메타추론 • 모델 기반 강화학습 • 모델 프리 강화학습 • 미세조정(파인튜닝) • 반영식 아키텍처 • 비지도학습 • 사전학습 • 수시 알고리즘 • 어니 • 에이전트 • 인공지능 학습 • 전이학습 • 준지도학습 • 지도학습 • 추론 • 학습 • 확률적 경사하강법 인공지능 알고리즘 AGI • ANI • ASI • RAG • XAI • 가중치 • 관계형 네트워크(RN) • 뉴런 • 다층퍼셉트론 • 단층퍼셉트론 • 데이터마이닝 • 방사신경망 • 볼츠만 머신 • 분산 샌드박스 • 생성대립신경망(GAN) • 생성형 AI • 수퍼얼라인먼트 • 순전파 • 순환신경망(RNN) • 시그모이드 함수 • 신경망 • 신경망 구조 • 심층신경망(DNN) • 심층신뢰신경망(DBN) • 양방향 비고정값 암호 체계(TSID) • 역전파 • 은닉층 • 인공신경망(ANN) • 인공지능(AI) • 제한 볼츠만 머신(RBM) • 전방전달신경망 • 주의 메커니즘 • 코헨 자기조직 신경망 • 텍스트마이닝 • 트랜스포머 • 파이 • 퍼셉트론 • 합성곱 신경망(CNN) 계산복잡도 NP • NP-완전 • 계산복잡도 • 공간복잡도 • 시간복잡도 • 여 NP • 여 NP-완전 인공지능 프로그램 BCI • GPT • 딥블루 • 딥페이크 • 멀티모달 AI • 모달 • 모달리티 • 모달창 • 알렉스넷 • 어니 • 알파고 • 알파고제로 • 알파폴드 • 왓슨 • 카페 • 컨트롤넷 • 텐서플로 • 텔레파시 • 토치 • 파이토치 • 한돌 인공지능 특징 결정이론 • 계산상의 합리성 • 논리학 • 논리주의자 • 분산성 • 불확실성 • 삼단논법 • 선호도 • 예측곤란성 • 완벽한 합리성 • 유계 합리성 • 이유 불충분의 원리 • 자율성 • 최대기대효용 • 할루시네이션 • 효용이론 인공지능 법적 지위 권리주체성 • 소버린 AI • 전자대리인 • 전자적 인간 • 책임법 위키 : 자동차, 교통, 지역, 지도, 산업, 기업, 단체, 업무, 생활, 쇼핑, 블록체인, 암호화폐, 인공지능, 개발, 인물, 행사, 일반