본문 바로가기
  • 기술을 이야기하지만 사람을 생각합니다.
20. Deep Learning

[PyTorch로 시작하는 딥러닝 기초] Lab 11-0 RNN intro

by WE DONE IT 2020. 3. 29.

edwith의 파이토치로 시작하는 딥러닝 기초 중 <11-0 RNN intro> 수업을 듣고 정리하였습니다. 

 

[LECTURE] Lab-11-0 RNN intro : edwith

학습목표 순환신경망(Recurrent Neural Network)에 대해 알아본다. 핵심키워드 순환신경망(Recurrent Neural Network) - tkddyd

www.edwith.org


RNN (Recurrent Nenural Network)

Intro

Sequential 데이터가 중요한 경우에 RNN 모델을 사용한다. sequntial 데이터는 순서가 중요하며, 문장, 단어, 시간 등이 있다. 
예를 들어서, <강아지와 고양이 분류 모델>에서 사진을 입력하는 순서에 따라서 성능에 영향을 주지 않는다면 이 경우는 순서(sequntial)가 중요하지 않은 요소가 된다. 하지만 단어 hello는 순서가 바뀌면 다른 의미나 틀린 단어가 되기 때문에 입력하는 데이터의 순서(h > e> l > l > o)가 매우 중요하다.

 

RNN 모델 구조

하나의 Cell A를 살펴보면 아래와 같다.

Cell A의 복잡도는 일반적인 RNN이 가장 낮고, LSTM이 가장 높다. GRU가 그 사이 중간쯤이 된다. (셀 A의 복잡도: LSTM > GRU > RNN)

 

new state = some function with parameters W ( old state, input vector at some time step)
Vanilla RNN : RNN 중 많이 사용하는 모델이다

반복되는 RNN 모델을 위 그림처럼 하나로 표현할 수 있는 이유는 세 개의 가중치 W_hh, W_xh, W_hy가 모든 과정에서 같기 때문이다.

Usage of RNN

 


References

 

Understanding LSTM Networks -- colah's blog

Posted on August 27, 2015 Humans don’t start their thinking from scratch every second. As you read this essay, you understand each word based on your understanding of previous words. You don’t throw everything away and start thinking from

colah.github.io

http://cs231n.stanford.edu/slides/2018/cs231n_2018_lecture10.pdf

https://www.youtube.com/watch?v=-SHPG_KMUkQ&feature=youtu.be

Sung Kim 교수님의 <모두의 딥러닝 시즌1 - lec12: NN의 꽃 RNN 이야기>

 

댓글0