분류 전체보기74 오토인코더의 모든 것 (1/3) 03. Autoencoders 김활석(Naver) 님의 오토인코더의 모든 것 (1/3) 강의에서 03. Autoencoders 챕터 일부를 정리한 글입니다. 오토인토더란? 인코딩(encoding) 하면 줄어들고, 디코딩(decoding)하면 늘어나는 구조 Autoencoders = Auto-associators = Diabolo networks = Sandglass-shaped net Bottleneck Hidden Layer code Laten Variable Feature Hidden representation Introduction | Notations Make output layer same size as input layer Loss encourages output to be close to input L(x, y) : 네트.. 2022. 3. 26. 내가 가진 삶의 태도 01. 굳이? 타임머신이 있다면 언제로 돌아가고 싶어? 01. 우리는 이런 질문을 가끔 주고 받곤 한다. 그리고 나는 대답했다. "굳이?" 친구가 말했다. "너는 굳이라는 표현을 자주하는 거 같아." 나도 인지하지 못했던 단어 선택이다. 나는 왜 그런 단어를 종종 쓰곤했는지 복기해 보았다. 여전히 인지할 수 없고, 어느 순간에 사용했는지 기억나지 않지만 이유는 알 것도 같다. 02. 나는 내일이 기대된다. 미래가 설레이고, 궁금하다. 그래서 과거로 돌아가고 싶다는 생각이 잘 들지 않는다. 물론 과거로 돌아갈 수 있다면 제일 먼저 손 들 것이다. 그리고 내가 기억할 수 있는 가장 과거의 순간으로 돌아갈 것이다. 다만, 매 순간 순간을 (나름의) 최선을 다 하고 있기 때문에, 그래서 과거에 대한 아쉬움이나 미련이 적나 보.. 2022. 3. 10. [2018 여름 카오스 마스터 클래스/물리] 1강. F=ma 모든 현상은 운동으로 이해된다! (WiP) 모든 현상은 운동으로 이해된다! 철학의 기본 원칙 인류가 우리에게 물려준 다른 어떤 도구보다 수학이 가장 강력한 지식의 도구 - 데카르트- 나는 생각한다. 고로 존재한다. 모든 현상에는 필연적인 원인이 있다. 결과가 원인보다 클 수 없다. 완벽함, 공간, 시간, 운동이라는 개념은 마음에 타고 나는 것이다. 운동의 법칙 일정한 속도로 움직이는 것은 자연스러운 운동이다. 속도가 변하는 것은 자연스럽지 못하다. 따라서 운동 법칙은 속도의 변화를 기술한다. - 갈릴레오 F = ma F (원인) = ma (결과) F = 힘 m = 질량 a = 가속도 (속도의 미분) Q. 뉴턴이 설명하는 사과는 떨어지지만 달이 떨어지지 않는 이유? A. 떨어지는 동안 땅바닥이 꺼진다. (=지구가 둥글다) 그래서 달은 떨어지지만 땅.. 2022. 3. 10. [토크ON세미나_아파치 하둡 입문 4/4] 하둡 활용 하둡 강의를 들으면서 빠르게 메모한 내용입니다. 예쁘게 정리해서 발행하고 싶었으나 게으름을 이기지 못하고 오랫동안 방치하다가, 누군가에게는 도움이 될 수도 있지 않을까 기대하며 공개발행으로 전환하였습니다. 출처 : [토크ON세미나] 아파치 하둡 입문 6강 - 하둡 활용 | T아카데미 https://youtu.be/nrhgH0qShwI 하둡 : 큰 데이터에 유리 적합하지 않은 경우 크지 않은 경우 (오히려 느릴 수 있음) 스몰 파일들이 저장되면 여러 측면에서 좋지 않음 (NN 메모리를 많이 씀, 부하 이슈가 있음) MapReduce 128mb 미만이면 combined format 으로 합쳐서 성능 측면에서 장점을 얻을 수 있음 더 쉬운 분석을 위해 SQL을 지원하는 쿼리 엔진이 필요함 (예: Hive) A.. 2022. 1. 23. [토크ON세미나_아파치 하둡 입문 3/3] Hadoop Map Reduce 하둡 강의를 들으면서 빠르게 메모한 내용입니다. 예쁘게 정리해서 발행하고 싶었으나 게으름을 이기지 못하고 오랫동안 방치하다가, 누군가에게는 도움이 될 수도 있지 않을까 기대하며 공개발행으로 전환하였습니다. 출처 : [토크ON세미나] 아파치 하둡 입문 5강 - 하둡 맵리듀스 | T아카데미 https://youtu.be/Jx9rjPTWYPQ 맵리듀스 Map Function : key1, value1 -> key2, value2 Reduce Function : key2, LIst of value2 -> key3, value3 YARN : 2.0 클라이언트 잡 트래커 태스크 트래커 하둡분산파일시스템 분산 저장 -> Map -> Merge, Sort -> (Map task) -> Reduce Mapper 필수 R.. 2022. 1. 23. [토크ON세미나_아파치 하둡 입문] HDFS 이해 2 Hadoop Ecosystem을 공부하기 위해 빠르게 메모한 내용입니다. 예쁘게 정리하고 싶었으나, 게으름으로 오랫동안 묵혀두다가 언젠간 또는 누군가에게 도움이될 수도 있지 않을까 기대하며 퍼블릭으로 공개합니다. 출처 : [토크ON세미나] 아파치 하둡 입문 2강 - 하둡 설치 | T아카데미 https://youtu.be/0i3ttGPBQp4 Rack Awareness 랙 단위로 장애(전원, 스위치 등)가 발생할 수 있기 때문에, 블록을 저장할 때 2개의 블록은 같은 랙에 저장하고 1개는 다른 블록에 저장하도록 구성함 HDFS Safe Mode 레플리케이션이 3인데 2인 경우 -> 언더 레플리케이션 한개도 없으면 미싱블록 일정 비율 늘어나면 세이프 모드로 변환됨 or 클러스터 재구성 시 블록 리포트 다 받.. 2022. 1. 23. [토크ON세미나_아파치 하둡 입문 1/3] HDFS 하둡 분산 파일 시스템 하둡 강의를 들으면서 빠르게 메모한 내용입니다. 나중에 예쁘게 정리해서 발행하고 싶었으나 게으름을 이기지 못해 오랫동안 방치하다가, 누군가에게는 일말의 도움이 될 수도 있겠다는 기대를 하며 공개 버전으로 전환하였습니다. 출처 : [토크ON세미나] 아파치 하둡 입문 1강 - 하둡의 탄생과 생태계의 활용 | T아카데미 https://youtu.be/OPodJE1jYbg Hadoop 1.0 ver 기준 Name Node : DFS 관리 master (데이터의 위치, 형식 보관) Job Tracker : app/job 관리 master 같은 slave node에 demon을 2개(DN, TT) 띄움 DN (data node) : 실 데이터 저장하는 slave node TT (task tracker) : slav.. 2022. 1. 22. 전체주의, 거짓의 대가, 생각의 무능 "거짓의 대가는 무엇인가? 거짓을 진실로 착각하는 것이 아니다. 거짓의 진짜 대가란 거짓을 끝없이 듣다가 진실을 인지하는 능력을 완전히 상실하는 것이다." "What is the cost of lies? It's not that we'll mistake them for the truth. The real danger is that if we hear enough lies, then we no longer recognize the truth at all." [다시 읽는 명저] "타인의 입장과 자신 행위에 대한 생각 포기는 최악"…'악의 평범성'이란 개념 [다시 읽는 명저] "타인의 입장과 자신 행위에 대한 생각 포기는 최악"…'악의 평범성'이란 개념으로 '생각의 무능력' 비판, 홍영식 sgsg.hankyu.. 2021. 8. 7. [AWS SA-CO2] AWS EC2 온디맨드 인스턴스 - 시작하는 인스턴스에 대한 비용을 초 단위로 지불합니다. • Savings Plans – 1년 또는 3년 기간 동안 시간당 USD로 일관된 사용량을 약정하여 Amazon EC2 비용을 절감할 수 있습니다. • 예약 인스턴스 – 1년 또는 3년 기간 동안 인스턴스 유형 또는 지역을 포함해 일관된 인스턴스 구성을 약정하여 Amazon EC2 비용을 절감할 수 있습니다. • 예약된 인스턴스 - 1년 동안 항상 사용할 수 있는 인스턴스를 지정된 되풀이 일정으로 구입합니다. • 스팟 인스턴스 – 미사용 EC2 인스턴스를 요청하여 Amazon EC2 비용을 대폭 줄일 수 있습니다. • 전용 호스트 - 인스턴스 실행을 전담하는 실제 호스트 비용을 지불하며, 기존의 소켓, 코어 또는 VM 소프트웨어.. 2021. 8. 1. [SAA-CO2] AWS 스토리지 S3 버킷에 객체를 저장하는 비용을 지불합니다. 부과되는 요금은 객체의 크기, 해당 월에 객체를 저장한 기간, 스토리지 클래스에 따라 다르며, 스토리지 클래스에는 S3 Standard, S3 Intelligent-Tiering, S3 Standard - Infrequent Access, S3 One Zone - Infrequent Access, S3 Glacier, S3 Glacier Deep Archive, Reduced Redundancy Storage(RRS)가 있습니다. 액세스 패턴을 모니터링하고 S3 Intelligent-Tiering 스토리지 클래스의 액세스 계층 간에 객체를 이동하도록 S3 Intelligent-Tiering에 저장된 객체당 월별 모니터링 및 자동화 요금을 지불합니다. S3 .. 2021. 7. 31. 이전 1 2 3 4 5 ··· 8 다음
