20. 인공지능과 딥러닝48 [인공지능을 위한 선형대수] 부분공간의 기저의 차원 Subspace 닫혀있는 결합의 연산 재료벡터가 있을 때, 모든 선형 집합을 포함하는 선형결합은 Basis of a Subspace 기저벡터 (Basis) Subspan을 Fully span 하는 집합 1. 벡터 두 개로 fully span 하는 경우, 이 subspace의 기저벡터이다. 2. linearly independent 해야됨 중복을 허용하지 않는 (=linearly independent) span이 주어져있고, 기저 벡트를 찾는 상황 Ununique of Basis 기저벡터는 유니크하지 않다 가중치(계수) 값이 0.8, 1.1 -> 105, 88 로 변경됨 기저벡터가 바뀌면 가중치(계수)가 변경된다. Dimension of Subspace 수학적 의미에서의 Dimension : Subspac.. 2019. 9. 4. [인공지능을 위한 선형대수] 선형독립과 선형종속 이 글은 주재걸 교수님의 edwith 강의를 기반으로 선형대수 개념을 정리하였습니다. [LECTURE] 선형독립과 선형종속 : edwith 학습목표 이번 강의에서는 선형대수에서 중요한 개념 중 하나인 선형독립과 선형종속에 대해서 배우겠습니다. 그리고 이들이 선형 시스템 내에서 가지는 특성에 대해서도 알아보겠습니다. ... - MJ www.edwith.org Uniqueness of Solution for Ax = B 재료벡터 안에 상수벡터가 존재한다면 '해(solution)가 존재'하게 되는데, 해가 한 개인지 여러 개인지 확인할 수 있는 개념이 선형독립(Linear independence)이다. 선형의존이 되는 상황 여러 방법으로 평행사변형을 만들 수 있어, 해가 여러 개인 경우 (해가 유일하면 선형독.. 2019. 9. 1. [인공지능을 위한 선형대수] 선형결합 (Linear combination) 이 글은 주재걸 교수님의 edwith 강의를 기반으로 선형대수 개념을 정리하였습니다. 인공지능을 위한 선형대수 강좌소개 : edwith - 주재걸 교수 www.edwith.org CHAPTER 2. 선형시스템 및 선형변환 선형 결합 2019. 9. 1. 밑바닥부터 시작하는 딥러닝2 :: Ch 08. 어텐션 - (4) 구글 신경망 기계 번역 (GNMT) 이 글은 책 을 스터디를 하면서 제가 리딩한 파트를 설명/공유하기 위해 작성하였습니다. 추가적인 설명을 하기 위해 관련 논문이나 아티클 등도 참고하였습니다. 혹시 잘못 작성한 부분이나 코멘트는 댓글로 남겨주세요! 기계 번역의 흐름 규칙 기반 번역 용례 기반 번역 통계 기반 번역 신경망 기계 번역(Neural Machine Translate, NMT): 최근에는 seq2seq를 사용한 기계 번역의 총칭으로 사용됨 구글 신경망 기계 번역 (Google Neural Machine Translate, GNMT) 다른 모델과 GNMT와의 차이점 LSTM 계층의 다층와 양방향 LSTM (Encoder의 첫 번째 계층만 적용) skip 연결 Google's Neural Machine Translatgion Syste.. 2019. 7. 19. 밑바닥부터 시작하는 딥러닝 2 :: Ch 08 어탠션 (3) seq2seq2 심층 + skip 연결 이 글은 책 을 스터디를 하면서 제가 리딩한 파트를 설명/공유하기 위해 작성하였습니다. 추가적인 설명을 하기 위해 관련 논문이나 아티클 등도 참고하였습니다. 혹시 잘못 작성한 부분이나 코멘트는 댓글로 남겨주세요! LSTM 계층에서 Encoder와 Decoder에서 같은 층 수를 이용하는 게 일반적이다. Attention 계층에서는 모델의 구조에 여러 변형을 줄 수 있다. 에 소개된 변형 방법은 다음과 같다. Decoder의 LSTM 계층의 은닉 상태를 Attention 계층에 입력하고, Attention 계층의 출력인 맥락 벡터를 Decoder의 여러 계층 (LSTM 계층과 Affine 계층)으로 전파한다. 이 외에도 다양하게 변형할 수 있으며, 계층이 깊어질 수록 일반화 성능을 떨어트리지 않는 것이 중.. 2019. 7. 14. 밑바닥부터 시작하는 딥러닝2 :: Ch 08 어텐션 (2) 양방향 LSTM 이 글은 책 을 스터디를 하면서 제가 리딩한 파트를 설명/공유하기 위해 작성하였습니다. 추가적인 설명을 하기 위해 관련 논문이나 아티클 등도 참고하였습니다. 혹시 잘못 작성한 부분이나 코멘트는 댓글로 남겨주세요! LSTM의 시각별 은닉 상태 벡터를 모은 hs의 각 행에는 그 행에 대응하는 단어의 성분(예: 나, 는, 고양이, 로소, 이다)을 많이 포함하고 있다. 그러나 여기에서 짚어야할 점은 글을 왼쪽에서 오른쪽으로 읽는다는 점이다. 그렇기에 "고양이"에 대응하는 벡터에는 "나", "는", "고양이"까지 총 세 단어의 정보가 인코딩 된다. 문장이 길어질 수록 한 벡터에 포함하고 있는 단어의 정보는 점점 많아질 것이다. 대응하는 단어(고양이)의 주변 정보(나, 는, 로소, 이다)를 균형 있게 담기 위한 방.. 2019. 7. 14. 밑바닥부터 시작하는 딥러닝2 :: Ch 08. 어텐션 (1) 어텐션 구조 8.1 어텐션(Attention) 구조 7장에서 다룬 seq2seq 모델의 문제점을 개선하기 위해두 가지 방법 1) 입력 데이터 반전(Reverse) 과 2) 엿보기(Peeky)을 사용했다. 입력 데이터 반전(Reverse) : 입력 데이터의 순서를 반전 시키는 것만으로도 학습 속도와 정확도가 향상된다. 직관적으로는 기울기 전파가 원할해지기 때문이라고 생각할 수 있다. ( 7장을 리딩했던 스터디원의 의견으로는 입력 데이터를 반전하면 decoder하는 과정에서 해당 단어와 짧게 매칭되므로, "첫 단추를 잘 꼈기 때문"이라고 해석하였다. 언어별 어순마다 다르기 때문에, 모든 언어에 적용되는 해석은 아니겠지만 나름 설득력있는 해석 같다! ) 엿보기(Peeky) : 중요한 정보가 담긴 Encoder의 출력값 h.. 2019. 7. 14. Deep Learning Cookbook :: 06 06 질문 대답 매칭하기 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 6장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. Tokenize 개념 설명 (https://excelsior-cjh.tistory.com/63) TF-IDF 개념 설명 특정 문서 내에서 단어 빈도가 높고, 전체 문서 중에서 그 단어를 포함한 단어가 적을수록 TF-IDF 값이 높다. TF-IDF 값을 이용하면 모든 문서에서 흔하게 사용하는 단어를 걸러낼 때 이용할 수 있다. IDF의 로그 함수값은 항상 1 이상이므로, IDF값과 TF-IDF값은 항상 0 이상이 된다. 특정 단어를 포함하는 .. 2019. 5. 1. Deep Learning Cookbook :: 04 위키피디아 외부 링크를 이용한 추천 시스템 구축 04 위키피디아 외부 링크를 이용한 추천 시스템 구축 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 4장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. INDEX 4장에서는 간단하게(?) 추천 시스템을 구축하는 방법을 소개한다. 방법은 크게 네 가지로 나눌 수 있다. 위키피디비아의 외부 링크에서 학습셋을 추출 이 링크들을 임베딩하여 학습(training) 그 다음 SVM을 구현하여 추천 제안 영화의 평점을 예측 4.1. 데이터 수집 위키피디아에서 최신 덤프 데이터를 내려받는다. Jupyter Notebook의 데이터 폴더 안에 미리 추출된 상위 10,000편의 영화정.. 2019. 4. 6. Deep Learning Cookbook :: Chapter 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 (2) (feat. SVM) Chapter 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 3장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. 3장의 앞 부분은 다른 스터디원이 정리한 포스트를 참고해 주세요! Chapter 3.1 단어 임베딩 관련 포스트 Chapter 3 : 단어 임베딩을 사용하여 텍스트 유사성 계산하기 Note : 이 포스터는 (주)느린생각의 지원을 받아 딥러닝 쿡북이라는 교재로 스터디를 하고 작성하는 포스터입니다. 이론은 딥러닝을 이용한 자연여 처리 입문(https://wikidocs.net/22660) 교재를 사용하였고 코.. 2019. 3. 10. 이전 1 2 3 4 5 다음
