T academy 자연어처리에 대한 이해 2강

RNN

• 시계열 데이터를 모델링할 수 있는 신경망 기반 모델

RNN 의 활용 분야

• sequence data의 labeling

• 시계열 예측

• 파형 생성

• 필기체 인식/생성

  generation

RNN의 Architecture

• 이전 hidden 에 영향 받아서 다음 hidden
• U,W,V는 (시점 마다) 같은 parameter
• 음절, word, sentence마다 다 다르게 error 를 적용한다.
• input에 one hot encoding 보다 word to vec(google) 사용하면 성능 향상됨.
• back propagation - 일반 뉴럴넷과 달리 W, U 자리의 error들은 앞에서 했던 과정들까지 올라가서 chain rule 적용됨. (s3는 s2와 관련있기 때문)
• LSTM - sequence 길어졌을 때 학습 잘 시키기 위해. 멀리 있는 것이라도 중요한 거면 기억하고, 가까이 있더라도 중요하지 않으면 잊어버리게 하는 것.