Language Model

언어 모델은 다음과 같은 검색엔진에 단어를 입력했을 때, 어떤 단어가 다음에 올 것인지 예측하는 것이다.

⇒ 문장을 모델링할 수 있는 능력이 있어야한다.

RNN을 활용하면, Fixed Length가 아닌 Variable Length(가변적인 길이)에 대해서도 문장을 모델링하는 능력이 있다.

EXAMPLE (우리가 Language Model을 구현한다 가정할 때)

Task: Language Model

• 기존의 주어진 문장들을 학습
• 특정 문맥 이후에 나오는 단어

Given situation

• of Sentence: 79,710 (우리에게 주어진 문장들 79,710개)

• of Unique words: 65,751 (Unique한 단어의 개수)

  • Voca Size($\mathcal{C}$): 8,000 (파레토 법칙과 같이 자주 나오는 단어 8000개만 추출해서 사용)
• Hidden Layer size $H$ : 100

Input Data

• $X:$$[[0,51,27,16,856, 53,25,35,69],[0,11,17,38,664,28,784,5,917,6453,2],...]$

  • [0,51,27,16,856, 53,25,35,69]: SENTENCE_START What aren’t you understanding about this?!
  • [0,11,17,38,664,28,784,5,917,6453,2]: SENTENCE_START 해당 문장 it’s just currently not available to private sellers.
  • 0: Sentence Start

• $Y:[[51,27,16,856, 53,25,35,69,1],[11,17,38,664,28,784,5,917,6453,2,1]...]$

  • [51,27,16,856,53,25,35,69,1]:What aren’t you understanding about this?! SENTENCE_END
  • [11,17,38,664,28,784,5,917,6453,2,1]: it’s just currently not available to private sellers SENTENCE_END
  • 1 : Sentence End

우리가 만약에 $X$데이터에 대해서 Batch로 최적화과정을 진행한다고 하면,

다음 사진과 같이, 행렬로 처리를 한다.