20. 인공지능과 딥러닝48 [PyTorch로 시작하는 딥러닝] Lab-11-2 RNN hihello and charseq edwith의 파이토치로 시작하는 딥러닝 기초 중 수업을 듣고 정리하였습니다. 잘못된 부분이 있으면 말씀해 주세요! 'Hihello' example 'hihello' problem h가 들어오면 i를 예측하고, i가 들어오면 h, h가 들어오면 e (...) 를 예측하는 문제이다. 이렇게 character가 들어오면 다음 character를 예측하는 모델을 만들고자 한다. 'h'가 들어왔을 때, 'i', 'e' 중 어떤 게 출력되는지 올바르게 결정할 수 있도록 hidden state의 역할이 중요하게 된다. How can we represent charaters? One-hot encodding continuous하지 않고 categorical한 데이터를 표현할 때 주로 one-hot encodding을.. 2020. 3. 29. [PyTorch로 시작하는 딥러닝] Lab 11-1 RNN Basic edwith의 파이토치로 시작하는 딥러닝 기초 중 수업을 듣고 정리하였습니다. 잘못된 부분이 있으면 말씀해 주세요! RNN in PyTorch 입력하고자 하는 데이터(input_data)는 세 가지 차원을 가지는 Tensor로 정의된다. shape = ( ___, ___, ___) 세 가지 차원은 아래에서 설명할 예정입니다. Example : Input 여기에서 사용한 1-hot encoidng은 단어를 구성하는 문자들을 사전식으로 쭉 나열한 뒤, 사전의 개수만큼 vector를 만들어 놓고 각각의 문자를 index에 해당하는 그 자리에 '1'을 주고 나머지는 '0'을 넣어주는 방식이다. 따라서, input_size는 input_data Tensor의 dimension 중 하나이다. Exampel : Hi.. 2020. 3. 29. [PyTorch로 시작하는 딥러닝 기초] Lab 11-0 RNN intro edwith의 파이토치로 시작하는 딥러닝 기초 중 수업을 듣고 정리하였습니다. [LECTURE] Lab-11-0 RNN intro : edwith 학습목표 순환신경망(Recurrent Neural Network)에 대해 알아본다. 핵심키워드 순환신경망(Recurrent Neural Network) - tkddyd www.edwith.org RNN (Recurrent Nenural Network) Intro Sequential 데이터가 중요한 경우에 RNN 모델을 사용한다. sequntial 데이터는 순서가 중요하며, 문장, 단어, 시간 등이 있다. 예를 들어서, 에서 사진을 입력하는 순서에 따라서 성능에 영향을 주지 않는다면 이 경우는 순서(sequntial)가 중요하지 않은 요소가 된다. 하지만 단어 .. 2020. 3. 29. [PyTorch로 시작하는 딥러닝 기초] Lab-10-3 visdom edwith의 [파이토치로 시작하는 딥러닝 기초] Lab-10-3 visdom 강의를 정리했습니다. 잘못된 부분이 있으면 말씀해 주세요! [LECTURE] Lab-10-3 visdom : edwith 학습목표 Visdom 사용 방법을 알아본다. 핵심키워드 Visdom CNN - tkddyd www.edwith.org 이번 강의에서는 Visdom 사용 방법을 익히고 MNIST-CNN의 loss graph를 그리는 것까지 적용할 예정입니다. Visdom Visdom은 라이브 데이터를 풍부하게 시각화 해주는 시각화 도구입니다. 연구원과 개발자가 원격 서버에서 과학 실험을 지속적으로 할 수 있도록 도와주며, 브라우저에서 실행되며 다른 사람과 쉽게 공유할 수 있습니다. Visdom 설치 pip install vi.. 2020. 3. 8. [PyTorch로 시작하는 딥러닝 기초] Lab-10-2 Mnist CNN edwith의 [파이토치로 시작하는 딥러닝 기초] Lab-10-2 Mnist CNN 강의를 정리했습니다. 잘못된 부분이 있으면 말씀해 주세요! [LECTURE] Lab-10-2 Mnist CNN : edwith 학습목표 MNIST 데이터를 CNN으로 적용해본다. 핵심키워드 딥러닝 학습 단계 CNN - tkddyd www.edwith.org 학습 단계 (코드 기준) 라이브러리 가져오고 (torch, torchvision, matplotlib 같은것들) GPU 사용 설정 하고 random value를 위한 seed 설정! 학습에 사용되는 parameter 설정!(learning_rate, training_epochs, batch_size, etc) 데이터셋을 가져오고 (학습에 쓰기 편하게) loader 만들.. 2020. 3. 7. [PyTorch로 시작하는 딥러닝 기초] Lab-10-1 Convolution edwith의 부스트코스 강의 Part 3 - CNN 를 정리한 글입니다. 잘못된 부분이 있으면 말씀해 주세요! [LECTURE] Lab-10-1 Convolution : edwith 학습목표 합성곱 (Convolution) 연산에 대해 알아본다. 핵심키워드 합성곱 (Convolution) 연산 필터(Filter) 스트라이드(Stride) 패딩(Padding) ... - tkddyd www.edwith.org Convolution 이미지 위에 stride 값 만큼 filter(kernel)을 이동시키면서 겹쳐지는 부분의 각 원소의 값을 모두 곱한 뒤 더한 값을 출력하는 연산 Stride and Padding stride: filter를 한 번에 이동하는 간격 padding: input의 크기 만큼 이미지.. 2020. 3. 7. [PyTorch로 시작하는 딥러닝 기초] 09-4 Batch-Normalization edwith의 [부스트코스] 파이토치로 시작하는 딥러닝 기초 강의를 정리한 내용입니다. [LECTURE] Lab-09-4 Batch Normalization : edwith 학습목표 Batch Normalization 에 대해 알아본다. 핵심키워드 Batch Normalization 경사 소실(Gradient Vanishing) / 폭발(Explodi... - tkddyd www.edwith.org Batch Normalization Gradient Vanishing / Exploding Internal Covariate Shift Batch Normalization Code: mnist_batchnorm Gradient Vanishing / Exploding Gradient Vanishing Gradi.. 2020. 2. 9. [PyTorch로 시작하는 딥러닝 기초] 08. Perceptron edwith의 [부스트코스] 파이토치로 시작하는 딥러닝 기초 의 강의를 정리한 내용입니다. [LECTURE] Lab-08-1 Perceptron : edwith 학습목표 퍼셉트론(Perceptron) 에 대해 알아본다. 핵심키워드 퍼셉트론(Perceptron) 선형분류기(Linear Classifier) AND, OR, XOR 게이트 - 커넥트재단 www.edwith.org Neuron 인공신경망은 뇌에 있는 뉴런의 동작 방식을 본 따 만든 것이다. 뉴런은 입력 신호가 들어왔을 때 입력 신호의 총 값이 임계치를 넘계되면 신호가 다음으로 전파한다. Perceptron 입력값이 있을 때, 가중치를 곱한 값과 bias를 더해 output을 만든다. Ouput을 만드는 과정에는 softmax와 같은 활성화 함수.. 2020. 2. 8. [PyTorch로 시작하는 딥러닝 기초] 05. Logistic Regression edwith의 의 'Lab-05 Logistic Regression' 강의를 정리하였습니다. [LECTURE] Lab-05 Logistic Regression : edwith 학습목표 로지스틱 회귀(Logistic Regression)에 대해 알아본다. 핵심키워드 로지스틱 회귀(Logistic Regression) 가설(Hypothesis) 손실함수(C... - tkddyd www.edwith.org Logistic Regression X라는 데이터는 m개의 데이터들이 d 차원(d 사이즈)의 벡터 => m이 '0' 또는 '1'로 이루어진 매트릭스 => m * d 차원의 매트릭스 로지스틱 회귀는 d 차원의 1d 벡터가 주어졌을 때, '0' 또는 '1'에 가까운지 찾는 문제 w (weight 파라미터)는 (.. 2020. 2. 2. [PyTorch로 시작하는 딥러닝 기초] 04-2. Loading Data edwith의 'Lab-o4-2 Loading Data' 강의를 정리하였습니다. [LECTURE] Lab-04-2 Loading Data : edwith 학습목표 미니배치 경사하강법(Minibatch Gradient descent)를 배우고 Dataset & DataLoader 사용법에 대해 알아본다. 핵심키워드 다항 선형 회귀(M... - tkddyd www.edwith.org Lab-04-2 Loading Data Minibatch Gradient Descent 수 많은 데이터를 한 번에 학습하면 시간이 오래 걸리며, 컴퓨터에 무리가 간다. 이 문제를 해결하기 위해, 딥러닝에서는 전체 데이터를 'minibatch'로 양을 균일하게 나눈 뒤, minibatch를 하나씩 학습한다. Minibatch Gr.. 2020. 2. 2. 이전 1 2 3 4 5 다음
