NLP : 단순 공부 : Efficient Estimation of Word Representations in Vector Space

Abstract

 

초대규모 데이터셋에서 단어의 연속 벡터 표현을 계산하기 위한 두 가지 새로운 모델 architecture를 제안합니다. 이러한 표현의 품질은 단어 유사성 작업에서 측정되며, 그 결과는 다양한 유형의 neural networks를 기반으로 이전에 가장 우수한 성능을 보인 기술과 비교됩니다. 훨씬 낮은 계산 비용으로 정확도가 크게 향상되었음을 확인했습니다. 즉, 16억 단어 데이터 세트에서 고품질 단어 벡터를 학습하는 데 하루도 걸리지 않습니다. 또한 이러한 벡터가 구문 및 semantic 단어 유사성을 측정하기 위한 테스트 세트에서 state-of-the-art 성능을 제공함을 보여줍니다.

 

 

1 Introduction

 

많은 현재 NLP 시스템과 기술은 단어를 atomic unit으로 취급합니다. 단어가 어휘의 인덱스로 표현되기 때문에 단어 간의 유사성 개념이 없습니다. 이러한 선택에는 몇 가지 좋은 이유가 있습니다. 간단함, 견고성, 그리고 방대한 양의 데이터로 학습된 단순한 모델이 더 적은 데이터로 학습된 복잡한 시스템보다 성능이 뛰어나다는 관찰입니다. 한 가지 예는 통계적 언어 모델링에 사용되는 인기 있는 N-gram 모델입니다. 오늘날 거의 모든 사용 가능한 데이터(수조 개의 단어)에서 N-gram을 학습할 수 있습니다.

그러나 이러한 단순한 기술은 많은 작업에서 한계에 도달했습니다. 예를 들어, 자동 음성 인식과 관련된 in-domain 데이터의 양은 제한적입니다. 성능은 일반적으로 고품질의 transcribed 음성 데이터(종종 수백만 단어에 불과함)의 크기에 의해 좌우됩니다. 기계 번역에서 많은 언어에 대한 기존 코퍼스는 수십억 단어 이하만 포함합니다. 따라서 기본 기술의 단순한 확장으로는 큰 진전을 이룰 수 없는 상황이 있으며, 더 발전된 기술에 집중해야 합니다.

최근 몇 년 동안 machine learning 기술이 발전함에 따라 훨씬 더 큰 데이터 세트에서 더 복잡한 모델을 학습할 수 있게 되었으며 일반적으로 단순한 모델보다 성능이 뛰어납니다. 아마도 가장 성공적인 개념은 단어의 distributed representations를 사용하는 것입니다. 예를 들어, neural network 기반 언어 모델은 N-gram 모델보다 성능이 훨씬 뛰어납니다.

 

 

distributed representations : 워드 임베딩(word embedding)

 

 

 

 

1.1 Goals of the Paper

 

이 논문의 주요 목표는 수십억 개의 단어와 수백만 개의 어휘를 가진 방대한 데이터 세트에서 고품질 단어 벡터를 학습하는 데 사용할 수 있는 기술을 소개하는 것입니다. 우리가 아는 한, 이전에 제안된 architecture 중 어느 것도 50~100 사이의 적당한 단어 벡터 차원으로 수억 개 이상의 단어에 대해 성공적으로 학습된 적이 없습니다.

결과 벡터 표현의 품질을 측정하기 위해 최근 제안된 기술을 사용하며, 유사한 단어가 서로 가까이 있는 경향이 있을 뿐만 아니라 단어가 여러 단계의 유사성을 가질 수 있다는 기대를 가지고 있습니다. 이는 이전에 굴절 언어의 맥락에서 관찰되었습니다. 예를 들어 명사는 여러 단어 어미를 가질 수 있으며, 원래 벡터 공간의 부분 공간에서 유사한 단어를 검색하면 유사한 어미를 가진 단어를 찾을 수 있습니다.

 

다소 놀랍게도 단어 표현의 유사성이 단순한 구문 규칙을 넘어선다는 사실이 밝혀졌습니다. 단어 벡터에 대해 간단한 대수 연산을 수행하는 단어 오프셋 기술을 사용하여, 예를 들어 vector("King") - vector("Man") + vector("Woman")의 결과가 Queen이라는 단어의 벡터 표현에 가장 가까운 벡터가 됨을 보여주었습니다.

 

이 논문에서는 단어 간의 선형 규칙성을 보존하는 새로운 모델 architecture를 개발하여 이러한 벡터 연산의 정확도를 극대화하려고 합니다. 구문 및 semantic 규칙성을 모두 측정하기 위한 새로운 포괄적인 테스트 세트를 설계하고 이러한 많은 규칙성을 높은 정확도로 학습할 수 있음을 보여줍니다. 또한 학습 시간과 정확도가 단어 벡터의 차원과 학습 데이터의 양에 따라 어떻게 달라지는지 설명합니다.

 

 

1.2 Previous Work

단어를 연속 벡터로 표현하는 연구는 오랜 역사를 가지고 있습니다.

 

신경망 언어 모델(NNLM)을 추정하는 데 매우 인기 있는 모델 아키텍처 중 하나는 Bengio 등이 2003년에 제안한 feedforward neural network입니다. 이 모델은 선형 투영 계층과 비선형 은닉 계층을 사용하여 단어 벡터 표현과 통계적 언어 모델을 함께 학습합니다. 이 연구 이후, 많은 연구자들이 이 분야에 뛰어들어 다양한 후속 연구를 진행했습니다.

또 다른 흥미로운 NNLM 아키텍처는 Collobert와 Weston이 2008년, 2011년에 제시한 모델입니다. 이 모델에서는 먼저 단일 은닉 계층을 가진 신경망을 사용하여 단어 벡터를 학습합니다. 그런 다음 학습된 단어 벡터를 사용하여 NNLM을 학습합니다. 즉, 전체 NNLM을 구성하지 않고도 단어 벡터를 학습할 수 있습니다.

 

본 연구에서는 이 아키텍처를 직접 확장하여 단어 벡터가 간단한 모델을 사용하여 학습되는 첫 번째 단계에 중점을 둡니다.

이후 연구에서 단어 벡터를 사용하면 많은 NLP 애플리케이션을 크게 개선하고 단순화할 수 있음이 밝혀졌습니다. 단어 벡터 자체의 추정은 다양한 모델 아키텍처를 사용하여 수행되었고, 다양한 코퍼스에서 학습되었습니다. 또한, 결과로 나온 단어 벡터 중 일부는 향후 연구 및 비교를 위해 공개되었습니다. 그러나 저희가 아는 한, 이러한 아키텍처는 대각선 가중치 행렬을 사용하는 특정 버전의 log-bilinear 모델을 제외하고는 Collobert와 Weston이 제안한 모델보다 학습에 있어 계산 비용이 훨씬 많이 듭니다.

 

 

• 단어를 벡터로 표현하는 아이디어는 오래전부터 연구되어 왔다.
• 초기에는 '신경망 언어 모델 (NNLM)'이라는 모델을 통해 단어 벡터를 학습했다.
  • Bengio 등이 제안한 모델은 단어 벡터와 언어 모델을 동시에 학습하는 방식을 사용했습니다.
  • Collobert와 Weston은 단어 벡터를 먼저 학습한 후, 이를 이용하여 언어 모델을 학습하는 방식을 제안했습니다.
• 단어 벡터는 다양한 자연어 처리 작업에 활용될 수 있다.
• 단어 벡터를 학습하는 데에는 많은 계산 비용이 필요하다.

 

2 Model Architectures

 

단어의 연속적인 표현을 추정하기 위해 잠재 의미 분석(LSA) 및 잠재 디리클레 할당(LDA)을 포함한 다양한 유형의 모델이 제안되었습니다. 본 논문에서는 신경망에 의해 학습된 단어의 분산 표현에 중점을 둡니다. 왜냐하면 신경망이 단어 간의 선형 규칙성을 유지하는 데 LSA보다 훨씬 더 나은 성능을 보인다는 것이 이전에 밝혀졌기 때문입니다. 또한 LDA는 대규모 데이터 세트에서 계산 비용이 매우 많이 듭니다.

 

Mikolov 등(2011)의 연구와 유사하게, 서로 다른 모델 아키텍처를 비교하기 위해 먼저 모델의 계산 복잡성을 모델을 완전히 학습하기 위해 접근해야 하는 매개변수의 수로 정의합니다. 그런 다음 계산 복잡성을 최소화하면서 정확도를 극대화하려고 합니다.

모든 모델에 대해 학습 복잡성은 O = E × T × Q 에 비례합니다. 여기서 E는 학습 에포크 수이고, T는 학습 세트의 단어 수이며, Q는 각 모델 아키텍처에 대해 추가로 정의됩니다. 일반적인 선택은 E = 3-50이고 T는 최대 10억입니다. 모든 모델은 확률적 경사 하강법 및 역전파를 사용하여 학습됩니다.

 

 

2.1 Feedforward Neural Net Language Model (NNLM)

 

확률적 feedforward neural network 언어 모델은 Bengio 등에 의해 2003년에 제안되었습니다. 이 모델은 입력, 투영, 은닉 및 출력 계층으로 구성됩니다. 입력 계층에서 N개의 이전 단어는 1-of-V 코딩을 사용하여 인코딩됩니다. 여기서 V는 어휘의 크기입니다. 그런 다음 입력 계층은 공유 투영 행렬을 사용하여 차원이 N × D인 투영 계층 P로 투영됩니다. 주어진 시간에 N개의 입력만 활성화되므로 투영 계층의 구성은 비교적 저렴한 작업입니다.

 

투영 계층의 값이 조밀하기 때문에 NNLM 아키텍처는 투영 계층과 은닉 계층 간의 계산에서 복잡해집니다. 일반적인 N = 10의 경우 투영 계층(P)의 크기는 500에서 2000 사이일 수 있는 반면 은닉 계층 크기 H는 일반적으로 500에서 1000 유닛입니다. 또한 은닉 계층은 어휘의 모든 단어에 대한 확률 분포를 계산하는 데 사용되므로 차원이 V인 출력 계층이 생성됩니다. 따라서 각 학습 예제에 대한 계산 복잡성은 Q = N × D + N × D × H + H × V 이며, 여기서 지배적인 항은 H × V입니다. 그러나 이를 피하기 위해 계층적 softmax를 사용하거나 학습 중에 정규화되지 않는 모델을 사용하여 정규화된 모델을 완전히 피하는 등 몇 가지 실질적인 솔루션이 제안되었습니다. 어휘의 이진 트리 표현을 사용하면 평가해야 하는 출력 단위의 수가 약 log2(V)로 줄어들 수 있습니다. 따라서 대부분의 복잡성은 N × D × H 항에 의해 발생합니다.

 

본 모델에서는 어휘가 Huffman 이진 트리로 표현되는 계층적 softmax를 사용합니다. 이는 단어의 빈도가 신경망 언어 모델에서 클래스를 얻는 데 적합하다는 이전의 관찰 결과를 따릅니다. Huffman 트리는 빈번한 단어에 짧은 이진 코드를 할당하며, 이는 평가해야 하는 출력 단위의 수를 더욱 줄입니다. 균형 이진 트리에는 log2(V) 출력을 평가해야 하는 반면 Huffman 트리 기반 계층적 softmax에는 약 log2(Unigram perplexity(V))만 필요합니다. 예를 들어 어휘 크기가 백만 단어일 때 평가 속도가 약 2배 빨라집니다. 계산 병목 현상이 N × D × H 항에 있는 신경망 LM의 경우 이것이 중요한 속도 향상은 아니지만 나중에 은닉 계층이 없는 아키텍처를 제안하여 softmax 정규화의 효율성에 크게 의존합니다.

 

 

 

이 논문에서는 이러한 문제를 해결하기 위해 계층적 softmax 와 Huffman 트리 라는 방법을 사용합니다.

• 계층적 softmax: 모든 단어에 대한 확률을 한 번에 계산하는 대신, 단어들을 계층적으로 분류하여 단계적으로 확률을 계산하는 방법입니다. 이를 통해 계산량을 줄일 수 있습니다.
• Huffman 트리: 자주 등장하는 단어에는 짧은 코드를, 드물게 등장하는 단어에는 긴 코드를 부여하는 방법입니다. 이를 통해 자주 등장하는 단어의 확률을 더 빠르게 계산할 수 있습니다.

 

2.2 Recurrent Neural Net Language Model (RNNLM)

 

Recurrent neural network 기반 언어 모델은 feedforward NNLM의 특정 제한 사항(예: 컨텍스트 길이(모델 N의 순서)를 지정해야 할 필요성)을 극복하고 이론적으로 RNN이 얕은 neural networks보다 더 복잡한 패턴을 효율적으로 나타낼 수 있기 때문에 제안되었습니다. RNN 모델에는 투영 계층이 없습니다. 입력, 은닉 및 출력 계층만 있습니다. 이 유형의 모델에 특별한 것은 시간 지연 연결을 사용하여 은닉 계층을 자체에 연결하는 recurrent matrix입니다. 이를 통해 recurrent 모델은 과거의 정보가 이전 시간 단계의 은닉 계층 상태 및 현재 입력을 기반으로 업데이트되는 은닉 계층 상태로 표현될 수 있으므로 일종의 단기 기억을 형성할 수 있습니다.

RNN 모델의 학습 예제당 복잡성은 Q = H × H + H × V 이며, 여기서 단어 표현 D는 은닉 계층 H와 동일한 차원을 갖습니다. 다시 말하지만, H × V 항은 계층적 softmax를 사용하여 H × log2(V)로 효율적으로 줄일 수 있습니다. 그러면 대부분의 복잡성은 H × H에서 비롯됩니다.

 

2.3 Parallel Training of Neural Networks

방대한 데이터 세트에서 모델을 학습하기 위해 feedforward NNLM과 이 논문에서 제안된 새로운 모델을 포함하여 DistBelief라는 대규모 분산 프레임워크 위에 여러 모델을 구현했습니다. 이 프레임워크를 통해 동일한 모델의 여러 복제본을 병렬로 실행할 수 있으며 각 복제본은 모든 매개변수를 유지하는 중앙 집중식 서버를 통해 gradient 업데이트를 동기화합니다. 이 병렬 학습을 위해 Adagrad라는 적응형 학습률 절차와 함께 미니 배치 비동기 gradient descent를 사용합니다. 이 프레임워크에서는 일반적으로 100개 이상의 모델 복제본을 사용하며 각 복제본은 데이터 센터의 여러 머신에서 많은 CPU 코어를 사용합니다.

 

 

챕터2 요약

• 계층적 softmax와 Huffman 트리를 사용하여 계산량을 줄인다.
• 모델이 복잡해지므로 병렬 처리를 통해 학습 속도를 높인다.
• Adagrad를 사용하여 학습 속도를 더욱 향상시킨다.

이 세 가지가 핵심 내용이며, 추가적으로 덧붙이자면,

• RNNLM은 NNLM보다 복잡한 패턴을 학습할 수 있지만, 계산 복잡성이 더 높다.

 

 

3 New Log-linear Models

 

이 섹션에서는 계산 복잡성을 최소화하기 위해 단어의 분산 표현을 학습하는 두 가지 새로운 모델 아키텍처를 제안합니다. 이전 섹션의 주요 관찰 결과는 대부분의 복잡성이 모델의 비선형 은닉 계층에 의해 발생한다는 것입니다. 이것이 neural networks를 매우 매력적으로 만드는 요인이지만, neural networks만큼 데이터를 정확하게 표현할 수는 없지만 훨씬 더 많은 데이터를 효율적으로 학습할 수 있는 더 간단한 모델을 탐색하기로 했습니다.

새로운 아키텍처는 이전 연구에서 제안된 아키텍처를 직접 따릅니다. 이전 연구에서는 neural network 언어 모델을 두 단계로 성공적으로 학습할 수 있음을 발견했습니다. 첫째, 간단한 모델을 사용하여 연속 단어 벡터를 학습한 다음 이러한 단어의 분산 표현 위에 N-gram NNLM을 학습합니다. 나중에 단어 벡터 학습에 중점을 둔 상당한 양의 연구가 있었지만 [13]에서 제안된 접근 방식이 가장 간단한 접근 방식이라고 생각합니다. 관련 모델은 훨씬 이전에도 제안되었음을 유의하십시오.

 

 

3.1 Continuous Bag-of-Words Model

제안된 첫 번째 아키텍처는 feedforward NNLM과 유사합니다. 비선형 은닉 계층이 제거되고 투영 계층이 모든 단어에 대해 공유됩니다(투영 행렬뿐만 아니라). 따라서 모든 단어가 동일한 위치에 투영됩니다(벡터의 평균). 히스토리의 단어 순서가 투영에 영향을 미치지 않으므로 이 아키텍처를 bag-of-words 모델이라고 합니다. 또한 미래의 단어도 사용합니다. 다음 섹션에서 소개될 과제에서 입력에 4개의 미래 단어와 4개의 히스토리 단어가 있는 log-linear 분류기를 구축하여 최상의 성능을 얻었습니다. 여기서 학습 기준은 현재(중간) 단어를 올바르게 분류하는 것입니다. 그러면 학습 복잡성은 Q = N × D + D × log2(V) 입니다.

표준 bag-of-words 모델과 달리 컨텍스트의 연속 분산 표현을 사용하므로 이 모델을 CBOW라고 합니다. 모델 아키텍처는 그림 1에 나와 있습니다. 입력 계층과 투영 계층 사이의 가중치 행렬은 NNLM과 동일한 방식으로 모든 단어 위치에 대해 공유됩니다.

 

Figure 1: New model architectures. The CBOW architecture predicts the current word based on the context, and the Skip-gram predicts surrounding words given the current word.

 

 

 

3.2 Continuous Skip-gram 모델

 

두 번째 아키텍처는 CBOW와 유사하지만 컨텍스트를 기반으로 현재 단어를 예측하는 대신 동일한 문장의 다른 단어를 기반으로 단어의 분류를 최대화하려고 합니다. 더 정확하게 말하면, continuous projection layer가 있는 log-linear 분류기의 입력으로 각 현재 단어를 사용하고 현재 단어 앞뒤의 특정 범위 내에서 단어를 예측합니다. 범위를 늘리면 결과 단어 벡터의 품질이 향상되지만 계산 복잡성도 증가한다는 것을 발견했습니다. 더 멀리 떨어진 단어는 일반적으로 가까운 단어보다 현재 단어와 관련이 적기 때문에 학습 예제에서 해당 단어를 덜 샘플링하여 멀리 떨어진 단어에 더 적은 가중치를 부여합니다.

이 아키텍처의 학습 복잡성은 Q = C × (D + D × log2(V)) 에 비례합니다. 여기서 C는 단어의 최대 거리입니다. 따라서 C = 5를 선택하면 각 학습 단어에 대해 < 1; C > 범위에서 숫자 R을 무작위로 선택한 다음 현재 단어의 과거에서 R개의 단어와 미래에서 R개의 단어를 올바른 레이블로 사용합니다. 이를 위해 현재 단어를 입력으로, R + R개의 단어를 각각 출력으로 사용하여 R × 2 단어 분류를 수행해야 합니다. 다음 실험에서는 C = 10을 사용합니다.

 

 

 

• CBOW: 주변 단어들을 이용하여 중간 단어를 예측합니다. 여러 단어를 입력으로 받아 하나의 단어를 출력하는 형태입니다. 마치 여러 명의 친구들이 힘을 합쳐 하나의 퍼즐 조각을 맞추는 것과 같습니다.
• Skip-gram: 중간 단어를 이용하여 주변 단어들을 예측합니다. 하나의 단어를 입력으로 받아 여러 단어를 출력하는 형태입니다. 마치 하나의 퍼즐 조각을 보고 주변에 어떤 조각들이 있을지 추측하는 것과 같습니다.

이처럼 두 모델은 예측 방향이 반대이기 때문에 학습하는 방식과 결과물인 단어 벡터에도 차이가 있습니다.

• 학습 방식: CBOW는 여러 단어의 정보를 종합하여 하나의 단어를 예측하기 때문에 학습 속도가 빠릅니다. 반면 Skip-gram은 하나의 단어로 여러 단어를 예측해야 하므로 학습 속도가 느립니다.
• 단어 벡터: CBOW는 주변 단어들의 평균적인 의미를 반영하는 단어 벡터를 생성합니다. Skip-gram은 중간 단어와의 관계를 고려하여 다양한 의미를 담은 단어 벡터를 생성합니다.

 

 

 

요약본

 

 

• 연구 목적
  연구 목적: 대규모 데이터 세트에서 고품질 단어 벡터를 학습할 수 있는 새로운 기법을 제안하고, 이를 기존 기법과 비교하여 정확성과 계산 효율성을 평가합니다.
• 학문적 및 산업적 기여
  • 학문적 기여: 고품질 단어 벡터를 빠르게 학습할 수 있는 기법을 통해 자연어 처리(NLP) 분야의 기존 모델을 개선하는 데 기여.
  • 산업적 기여: 대규모 데이터 세트에서 효과적으로 단어 벡터를 학습함으로써 검색 엔진, 번역 시스템 등에서의 성능을 향상시킬 수 있음.
• 사용된 방법론
  • Feedforward Neural Net Language Model (NNLM): N-그램 모델을 사용한 신경망 기반 언어 모델.
  • Recurrent Neural Net Language Model (RNNLM): 시계열 데이터의 패턴을 학습하는 순환 신경망 모델.
  • Continuous Bag-of-Words Model (CBOW): 단어의 순서를 무시하고 문맥에서 단어 벡터를 추정하는 모델.
  • Continuous Skip-gram Model: 주어진 단어를 기반으로 문장 내 다른 단어들을 예측하는 모델.
• 연구의 독창성
  • 신속한 단어 벡터 학습: 높은 계산 효율성을 바탕으로 대규모 데이터 세트에서 빠르게 단어 벡터를 학습.
  • 비선형 은닉층 제거: 모델의 복잡성을 낮추면서도 정확도를 유지할 수 있는 아키텍처 설계.
• 연구의 한계
  • 신경망의 단순화: 비선형 요소를 제거하여 일부 복잡한 패턴을 학습하는 데 한계가 있을 수 있음.
  • 데이터 의존성: 대규모 데이터에 의존하는 모델로, 데이터가 충분하지 않을 경우 성능 저하 가능성.

 

모델시간 복잡도설명

NNLM	O = E × T × (N × D + N × D × H + H × V)	은닉층과 출력층 계산으로 인해 복잡도가 높음
RNNLM	O = E × T × (H × H + H × V)	은닉층의 순환 연결로 인해 복잡도가 높음
CBOW	O = E × T × (N × D + D × log2(V))	은닉층을 제거하고 투영층을 공유하여 복잡도를 낮춤
Skip-gram	O = E × T × C × (D + D × log2(V))	CBOW와 유사하지만, 예측 범위 C 만큼 복잡도 증가

 

 

 

 

 

시간 복잡도를 좌우하는 요인:

• E (학습 에포크 수): 전체 데이터셋에 대한 학습 횟수
• T (학습 데이터셋의 단어 수): 데이터셋의 크기
• N (컨텍스트 길이): NNLM에서 주변 단어 개수
• D (투영 계층의 차원): 단어 벡터의 차원
• H (은닉 계층의 크기): NNLM, RNNLM에서 은닉층의 크기
• V (어휘 크기): 전체 단어 개수
• C (최대 거리): Skip-gram에서 예측 범위

CBOW & Skip-gram 모델의 시간 복잡도 감소 요인:

• 은닉 계층 제거: NNLM, RNNLM과 달리 은닉 계층이 없어 계산량이 줄어듭니다.
• 투영 계층 공유: 모든 단어에 대해 투영 계층을 공유하여 계산량을 줄입니다.
• 계층적 softmax: 출력 계층에서 모든 단어에 대한 확률을 계산하는 대신, 계층적으로 계산하여 효율성을 높입니다.
• Huffman 트리: 자주 등장하는 단어에 짧은 코드를 부여하여 계산 속도를 높입니다.

이처럼 CBOW와 Skip-gram 모델은 기존의 NNLM, RNNLM보다 시간 복잡도를 효율적으로 줄여 대규모 데이터셋에서 빠르게 단어 벡터를 학습할 수 있도록 합니다.

하지만, 시간 복잡도가 낮다고 항상 좋은 것은 아닙니다. 모델의 복잡성을 낮추면 표현력이 떨어져 성능이 저하될 수 있습니다. 따라서 시간 복잡도와 성능 사이의 균형점을 찾는 것이 중요합니다.

 

 

 

 

논문 한단락정리

 

이 논문은 대규모 텍스트 데이터셋에서 고품질 단어 벡터를 학습하기 위한 두 가지 새로운 모델 아키텍처인 Continuous Bag-of-Words (CBOW)와 Continuous Skip-gram을 소개합니다. 이 모델들은 기존 신경망 언어 모델(NNLM)에 존재하는 비선형 은닉 계층을 제거하여 계산 복잡성을 최소화하도록 설계되었습니다. CBOW는 주변 문맥을 기반으로 대상 단어를 예측하는 반면 Skip-gram은 대상 단어를 기반으로 주변 문맥 단어를 예측합니다. 두 모델 모두 단어 확률을 효율적으로 계산하기 위해 계층적 softmax와 Huffman 트리를 사용하여 계산 비용을 더욱 절감합니다. 이를 통해 수십억 개의 단어와 수백만 개의 고유한 어휘 용어가 있는 방대한 데이터 세트에 대한 학습이 가능하며 단어 유사성 작업에서 최첨단 성능을 달성합니다. 결과적으로 생성된 단어 벡터는 단어 간의 구문적 및 의미적 관계를 모두 포착하여 기계 번역, 정보 검색 및 질문 답변과 같은 다양한 NLP 애플리케이션의 개선을 가능하게 합니다. 또한 저자들은 대규모 데이터 세트에서 더 빠르고 효율적인 학습을 위해 DistBelief 프레임워크와 Adagrad 최적화 알고리즘을 사용한 병렬 학습의 효과를 입증합니다.

 

This paper introduces two novel model architectures, Continuous Bag-of-Words (CBOW) and Continuous Skip-gram, for learning high-quality word vectors from large text datasets. These models are designed to minimize computational complexity by removing the non-linear hidden layer present in traditional neural network language models (NNLM). CBOW predicts the target word based on its surrounding context, while Skip-gram predicts context words based on the target word. Both models utilize hierarchical softmax and Huffman trees to efficiently compute word probabilities, further reducing computational cost. This allows for training on massive datasets with billions of words and millions of unique vocabulary terms, achieving state-of-the-art performance on word similarity tasks. The resulting word vectors capture both syntactic and semantic relationships between words, enabling improvements in various NLP applications such as machine translation, information retrieval, and question answering. Furthermore, the authors demonstrate the effectiveness of parallel training using the DistBelief framework and the Adagrad optimization algorithm for faster and more efficient learning on large datasets.