오늘은 RNN 이전의 초기 Lanuage Model의 방식에 대해서 다룰 것이다.Language Model?Language Model이란 다음에 올 단어에 대한 예측을 의미한다.문장이 주어지면 바로 다음 단어를 확률에 따라 예측하는 방식이다.이걸 수학적 의미로 풀어보자면, 조건부 확률에 의해 x(1), x(2).. 뒤에 다음 단어 x(t+1)의 확률 분포를 계산하는 것으로, x(t)가 현재 시간의 단어라고 가정한다면, x(t+1)은 바로 다음 시간의 단어라고 볼 수 있다.이 방식 자체를 Language Model이라고 할 수 있다.(뒤에서 다룰 것이지만 모든 모델이 Language Model이라고는 볼 수 없다.) n-gram Language Model초기 Language Model은 count기반으로 ..
