본문 바로가기
  • 기술을 이야기하지만 사람을 생각합니다.

20. 인공지능과 딥러닝48

Deep Learning Cookbook :: Chapter 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 (1) 03 단어 임베딩을 사용하여 텍스트 유사성 계산하기 이 책은 (주)느린생각에서 'Deep Learning Cookbook' 책을 지원 받아 이 책을 교재로 스터디를 진행하였습니다. 이 글은 Deep Learning Cookbook의 3장 를 실습을 목적으로 공부한 내용을 정리한 글입니다. 3장의 앞 부분은 다른 스터디원이 정리한 포스트를 참고해 주세요! Chapter 3.1 단어 임베딩 관련 포스트 Chapter 3 : 단어 임베딩을 사용하여 텍스트 유사성 계산하기 Note : 이 포스터는 (주)느린생각의 지원을 받아 딥러닝 쿡북이라는 교재로 스터디를 하고 작성하는 포스터입니다. 이론은 딥러닝을 이용한 자연여 처리 입문(https://wikidocs.net/22660) 교재를 사용하였고 코드.. eda-.. 2019. 3. 10.
[논문리뷰] DeepMind의 AlphaGO 논문 톺아보기 Nature 논문으로 살펴보는 AlphaGo 알고리즘 이 글은 최성준 박사님의 강의와 여러 자료들을 기반으로 AlphaGo 논문(다운로드)을 정리한 글입니다. 혹시 잘못된 내용이 있으면 말씀해 주세요! Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou, I., Huang, A., Guez, A., ... & Chen, Y. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676), 354. 딥마인드와 알파고 2011년에 설립한 딥마인드 테크놀로지(DeepMind Technologies)는 기계학습과 신경과학을 통해서 인공지능을 구현하고 개발하는 영국의 스타트업이다. 2014년 .. 2019. 2. 6.
[딥러닝개념] 딥러닝 효과적으로 학습하기(2) (ft. regularization) 이 글은 최성준 박사님의 의 'Overfitting을 막는 regularization' 강의에서 소개한 Ian Goodfellow의 Deep Learning 책에서 Regularization 챕터에서 나온 기법들을 소개합니다. 잘못된 부분이 있다면 알려주세요! 이전글 보기 Regularization for Deep LearningIan Goodfellow의 책의 Chp7. Regularization for deep learning에서 나온 기법들에 대해서 소개합니다. 머신러닝에서 주요 문제는 '학습셋뿐만 아니라 새로운 데이터(new input) 또한 어떻게 잘 맞추는가'이다. 이 문제에 답하기 위해서는 오버피팅을 해결해야 하며, 가장 효과적인 해결책은 정규화이다. 다양한 정규화 방법 중 하나는 모델의 복.. 2019. 1. 13.
[딥러닝개념] 딥러닝 효과적으로 학습하기(1) (ft. regularization) 이 글은 최성준 박사님의 강의 중 'Overfitting을 막는 regularization' 강의와 여러 자료들을 모아 정리했습니다. 잘못된 부분이 있다면 알려주세요! Overfitting을 막는 Regularization 딥러닝을 실제로 적용하는 데 초점을 둔다면 이번에 소개하는 기법들이 매우 중요하다!이 글에서는 오버피팅이 발생하는 이유와 이를 해결할 수 있는 기법인 정규화(regularization)에 대해 설명한다. Regularization이란?정규화(regularization)이란 오버피팅(overfitting)을 피하는 게 목적이다!오버피팅이란 학습 데이터를 너무 믿는 나머지, 테스트 데이터를 맞추지 못하는 문제이다.오버피팅이 발생한다는 건 간접적으로 밖에 알 수 없다. Overfitting.. 2019. 1. 13.
[논문리뷰] RNN :: LSTM(Long Short Term Memory) 톺아보기 이 블로그 글은 딥러닝 공부를 목적으로, 최성준 박사님 강의와 여러 자료들을 참고하여 LSTM의 개념에 대해 정리하였습니다. 기존의 인공 신경망의 은닉층에는 맥락이 고려되지 않은 단순한 뉴런만 배치되어 있는 구조이다. 과거의 은닉층(hidden layer)을 도입하여 시계열 데이터를 예측할 수 있지만 vanishing gradient 문제가 발생한다. 반면, 순환신경망(RNN)은 과거의 이벤트가 미래의 결과에 영향을 줄 수 있는 순환 구조(directed cycle)를 가지고 있다. 데이터 중에서도 연속적인 속성(sequence)을 띄고 있는 번역, 문자, 음성 인식 등 다양한 분야에서 RNN이 활용되고 있다. LSTM은 RNN의 주요 알고리즘으로 각광받고 있는 모델이다. LSTM(Long Short T.. 2019. 1. 5.
[논문리뷰] CNN :: ResNet 톺아보기 ResNet 논문 리뷰 He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778). ResNet 논문 리뷰를 시작하며 ResNet은 ILSVRC 대회에서 오류율 3.6%를 기록하며 1위를 한 모델이다. 이미지 분류하는 작업에서 인간의 오류율이 5.1%인 것을 감안하면, ResNet의 3.6%의 오류율은 인간보다 더 뛰어난 성과를 기록한 것이다. (하지만 휴먼 에러의 기준의 top-1인지 top-5인지에 따라 이야기가 조금 달라질 거 .. 2018. 12. 2.
[논문리뷰] CNN :: VGGNet 톺아보기 VGGNet Simonyan, K., & Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556. https://arxiv.org/abs/1409.1556 논문 요약ILSVRC 2014 대회에서 2등을 차지한, Karen Simonyan과 Andrew Zisserman이 만든 CNN 모델 VGGNet은 네트워크의 깊이가 모델이 좋은 성능을 보이는 데 중요한 역할을 한다는 것을 보여줌VGGNet의 필터 크기는 3x3, stride 1, 제로 패딩 1의 Conv 레이어로 이루어져 있으며, 필터 크기 2x2 (패딩 없음)의 Max-pool을 Pooli.. 2018. 11. 18.
[논문리뷰] CNN :: AlexNet 톺아보기 논문 리뷰. AlexNet 톺아보기 Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems (pp. 1097-1105). 상세 과정 서론ImageNet LSVRC-2012 대회에서 2등(에러율 26.2%)과 11.1%의 큰 격차를 벌리며 1등(에러율 15.3%)을 한 모델에 대한 설명고해상도 이미지는 CNN 계산량이 매우 많기 때문에, GPU를 최적화하여 2D 합성곱(convolution)을 구현함 (GTX580 3G 2개를 이용하여 학습하는 데 5~6일.. 2018. 11. 11.

티스토리툴바