[PyTorch로 시작하는 딥러닝 기초] Lab 11-0 RNN intro

edwith의 파이토치로 시작하는 딥러닝 기초 중 <11-0 RNN intro> 수업을 듣고 정리하였습니다. 

[LECTURE] Lab-11-0 RNN intro : edwith

---

RNN (Recurrent Nenural Network)

Intro

Sequential 데이터가 중요한 경우에 RNN 모델을 사용한다. sequntial 데이터는 순서가 중요하며, 문장, 단어, 시간 등이 있다. 
예를 들어서, <강아지와 고양이 분류 모델>에서 사진을 입력하는 순서에 따라서 성능에 영향을 주지 않는다면 이 경우는 순서(sequntial)가 중요하지 않은 요소가 된다. 하지만 단어 hello는 순서가 바뀌면 다른 의미나 틀린 단어가 되기 때문에 입력하는 데이터의 순서(h > e> l > l > o)가 매우 중요하다.

 

RNN 모델 구조

하나의 Cell A를 살펴보면 아래와 같다.

Cell A의 복잡도는 일반적인 RNN이 가장 낮고, LSTM이 가장 높다. GRU가 그 사이 중간쯤이 된다. (셀 A의 복잡도: LSTM > GRU > RNN)

 

new state = some function with parameters W ( old state, input vector at some time step)

Vanilla RNN : RNN 중 많이 사용하는 모델이다

반복되는 RNN 모델을 위 그림처럼 하나로 표현할 수 있는 이유는 세 개의 가중치 W_hh, W_xh, W_hy가 모든 과정에서 같기 때문이다.

Usage of RNN

 

---

References

Understanding LSTM Networks -- colah's blog

http://cs231n.stanford.edu/slides/2018/cs231n_2018_lecture10.pdf

https://www.youtube.com/watch?v=-SHPG_KMUkQ&feature=youtu.be

Sung Kim 교수님의 <모두의 딥러닝 시즌1 - lec12: NN의 꽃 RNN 이야기>