LSTM 어탠션1 밑바닥부터 시작하는 딥러닝2 :: Ch 08 어텐션 (2) 양방향 LSTM 이 글은 책 을 스터디를 하면서 제가 리딩한 파트를 설명/공유하기 위해 작성하였습니다. 추가적인 설명을 하기 위해 관련 논문이나 아티클 등도 참고하였습니다. 혹시 잘못 작성한 부분이나 코멘트는 댓글로 남겨주세요! LSTM의 시각별 은닉 상태 벡터를 모은 hs의 각 행에는 그 행에 대응하는 단어의 성분(예: 나, 는, 고양이, 로소, 이다)을 많이 포함하고 있다. 그러나 여기에서 짚어야할 점은 글을 왼쪽에서 오른쪽으로 읽는다는 점이다. 그렇기에 "고양이"에 대응하는 벡터에는 "나", "는", "고양이"까지 총 세 단어의 정보가 인코딩 된다. 문장이 길어질 수록 한 벡터에 포함하고 있는 단어의 정보는 점점 많아질 것이다. 대응하는 단어(고양이)의 주변 정보(나, 는, 로소, 이다)를 균형 있게 담기 위한 방.. 2019. 7. 14. 이전 1 다음