전체 글74 밑바닥부터 시작하는 딥러닝2 :: Ch 08. 어텐션 - (4) 구글 신경망 기계 번역 (GNMT) 이 글은 책 을 스터디를 하면서 제가 리딩한 파트를 설명/공유하기 위해 작성하였습니다. 추가적인 설명을 하기 위해 관련 논문이나 아티클 등도 참고하였습니다. 혹시 잘못 작성한 부분이나 코멘트는 댓글로 남겨주세요! 기계 번역의 흐름 규칙 기반 번역 용례 기반 번역 통계 기반 번역 신경망 기계 번역(Neural Machine Translate, NMT): 최근에는 seq2seq를 사용한 기계 번역의 총칭으로 사용됨 구글 신경망 기계 번역 (Google Neural Machine Translate, GNMT) 다른 모델과 GNMT와의 차이점 LSTM 계층의 다층와 양방향 LSTM (Encoder의 첫 번째 계층만 적용) skip 연결 Google's Neural Machine Translatgion Syste.. 2019. 7. 19. 밑바닥부터 시작하는 딥러닝 2 :: Ch 08 어탠션 (3) seq2seq2 심층 + skip 연결 이 글은 책 을 스터디를 하면서 제가 리딩한 파트를 설명/공유하기 위해 작성하였습니다. 추가적인 설명을 하기 위해 관련 논문이나 아티클 등도 참고하였습니다. 혹시 잘못 작성한 부분이나 코멘트는 댓글로 남겨주세요! LSTM 계층에서 Encoder와 Decoder에서 같은 층 수를 이용하는 게 일반적이다. Attention 계층에서는 모델의 구조에 여러 변형을 줄 수 있다. 에 소개된 변형 방법은 다음과 같다. Decoder의 LSTM 계층의 은닉 상태를 Attention 계층에 입력하고, Attention 계층의 출력인 맥락 벡터를 Decoder의 여러 계층 (LSTM 계층과 Affine 계층)으로 전파한다. 이 외에도 다양하게 변형할 수 있으며, 계층이 깊어질 수록 일반화 성능을 떨어트리지 않는 것이 중.. 2019. 7. 14. 밑바닥부터 시작하는 딥러닝2 :: Ch 08 어텐션 (2) 양방향 LSTM 이 글은 책 을 스터디를 하면서 제가 리딩한 파트를 설명/공유하기 위해 작성하였습니다. 추가적인 설명을 하기 위해 관련 논문이나 아티클 등도 참고하였습니다. 혹시 잘못 작성한 부분이나 코멘트는 댓글로 남겨주세요! LSTM의 시각별 은닉 상태 벡터를 모은 hs의 각 행에는 그 행에 대응하는 단어의 성분(예: 나, 는, 고양이, 로소, 이다)을 많이 포함하고 있다. 그러나 여기에서 짚어야할 점은 글을 왼쪽에서 오른쪽으로 읽는다는 점이다. 그렇기에 "고양이"에 대응하는 벡터에는 "나", "는", "고양이"까지 총 세 단어의 정보가 인코딩 된다. 문장이 길어질 수록 한 벡터에 포함하고 있는 단어의 정보는 점점 많아질 것이다. 대응하는 단어(고양이)의 주변 정보(나, 는, 로소, 이다)를 균형 있게 담기 위한 방.. 2019. 7. 14. 밑바닥부터 시작하는 딥러닝2 :: Ch 08. 어텐션 (1) 어텐션 구조 8.1 어텐션(Attention) 구조 7장에서 다룬 seq2seq 모델의 문제점을 개선하기 위해두 가지 방법 1) 입력 데이터 반전(Reverse) 과 2) 엿보기(Peeky)을 사용했다. 입력 데이터 반전(Reverse) : 입력 데이터의 순서를 반전 시키는 것만으로도 학습 속도와 정확도가 향상된다. 직관적으로는 기울기 전파가 원할해지기 때문이라고 생각할 수 있다. ( 7장을 리딩했던 스터디원의 의견으로는 입력 데이터를 반전하면 decoder하는 과정에서 해당 단어와 짧게 매칭되므로, "첫 단추를 잘 꼈기 때문"이라고 해석하였다. 언어별 어순마다 다르기 때문에, 모든 언어에 적용되는 해석은 아니겠지만 나름 설득력있는 해석 같다! ) 엿보기(Peeky) : 중요한 정보가 담긴 Encoder의 출력값 h.. 2019. 7. 14. Deep Learning Cookbook :: 06 06 질문 대답 매칭하기 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 6장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. Tokenize 개념 설명 (https://excelsior-cjh.tistory.com/63) TF-IDF 개념 설명 특정 문서 내에서 단어 빈도가 높고, 전체 문서 중에서 그 단어를 포함한 단어가 적을수록 TF-IDF 값이 높다. TF-IDF 값을 이용하면 모든 문서에서 흔하게 사용하는 단어를 걸러낼 때 이용할 수 있다. IDF의 로그 함수값은 항상 1 이상이므로, IDF값과 TF-IDF값은 항상 0 이상이 된다. 특정 단어를 포함하는 .. 2019. 5. 1. Deep Learning Cookbook :: Chp 5 특정 문체를 흉내 내는 문장 생성하기 05 특정 문체를 흉내 내는 문장 생성하기 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 5장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. 이번 장은 RNN(Recurrent Netural Network, 순환신경망)을 사용하여 원본 문장의 문체를 흉내 내는 문장을 생성하는 방법을 다룬다. 시간이나 순서를 고려하기 위해 RNN을 활용하며, 그 중에서도 DensNet을 이용한다. 들어가기에 앞서 1. DensNet 특징 DensNet의 개념을 간단하게 살펴보기 위해, ResNet과의 가장 큰 차이점을 살펴보면 다음과 같다. ResNet의 Skip connection:.. 2019. 4. 13. Deep Learning Cookbook :: 04 위키피디아 외부 링크를 이용한 추천 시스템 구축 04 위키피디아 외부 링크를 이용한 추천 시스템 구축 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 4장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. INDEX 4장에서는 간단하게(?) 추천 시스템을 구축하는 방법을 소개한다. 방법은 크게 네 가지로 나눌 수 있다. 위키피디비아의 외부 링크에서 학습셋을 추출 이 링크들을 임베딩하여 학습(training) 그 다음 SVM을 구현하여 추천 제안 영화의 평점을 예측 4.1. 데이터 수집 위키피디아에서 최신 덤프 데이터를 내려받는다. Jupyter Notebook의 데이터 폴더 안에 미리 추출된 상위 10,000편의 영화정.. 2019. 4. 6. Deep Learning Cookbook :: Chapter 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 (2) (feat. SVM) Chapter 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 3장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. 3장의 앞 부분은 다른 스터디원이 정리한 포스트를 참고해 주세요! Chapter 3.1 단어 임베딩 관련 포스트 Chapter 3 : 단어 임베딩을 사용하여 텍스트 유사성 계산하기 Note : 이 포스터는 (주)느린생각의 지원을 받아 딥러닝 쿡북이라는 교재로 스터디를 하고 작성하는 포스터입니다. 이론은 딥러닝을 이용한 자연여 처리 입문(https://wikidocs.net/22660) 교재를 사용하였고 코.. 2019. 3. 10. Deep Learning Cookbook :: Chapter 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 (1) 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 3장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. 3장의 앞 부분은 다른 스터디원이 정리한 포스트를 참고해 주세요! Chapter 3.1 단어 임베딩 관련 포스트 Chapter 3 : 단어 임베딩을 사용하여 텍스트 유사성 계산하기 Note : 이 포스터는 (주)느린생각의 지원을 받아 딥러닝 쿡북이라는 교재로 스터디를 하고 작성하는 포스터입니다. 이론은 딥러닝을 이용한 자연여 처리 입문(https://wikidocs.net/22660) 교재를 사용하였고 코드.. eda-.. 2019. 3. 10. 이전 1 ··· 4 5 6 7 8 9 다음
