본문 바로가기
  • 기술을 이야기하지만 사람을 생각합니다.

30. Cloud7

[토크ON세미나_아파치 하둡 입문 4/4] 하둡 활용 하둡 강의를 들으면서 빠르게 메모한 내용입니다. 예쁘게 정리해서 발행하고 싶었으나 게으름을 이기지 못하고 오랫동안 방치하다가, 누군가에게는 도움이 될 수도 있지 않을까 기대하며 공개발행으로 전환하였습니다. 출처 : [토크ON세미나] 아파치 하둡 입문 6강 - 하둡 활용 | T아카데미 https://youtu.be/nrhgH0qShwI 하둡 : 큰 데이터에 유리 적합하지 않은 경우 크지 않은 경우 (오히려 느릴 수 있음) 스몰 파일들이 저장되면 여러 측면에서 좋지 않음 (NN 메모리를 많이 씀, 부하 이슈가 있음) MapReduce 128mb 미만이면 combined format 으로 합쳐서 성능 측면에서 장점을 얻을 수 있음 더 쉬운 분석을 위해 SQL을 지원하는 쿼리 엔진이 필요함 (예: Hive) A.. 2022. 1. 23.
[토크ON세미나_아파치 하둡 입문 3/3] Hadoop Map Reduce 하둡 강의를 들으면서 빠르게 메모한 내용입니다. 예쁘게 정리해서 발행하고 싶었으나 게으름을 이기지 못하고 오랫동안 방치하다가, 누군가에게는 도움이 될 수도 있지 않을까 기대하며 공개발행으로 전환하였습니다. 출처 : [토크ON세미나] 아파치 하둡 입문 5강 - 하둡 맵리듀스 | T아카데미 https://youtu.be/Jx9rjPTWYPQ 맵리듀스 Map Function : key1, value1 -> key2, value2 Reduce Function : key2, LIst of value2 -> key3, value3 YARN : 2.0 클라이언트 잡 트래커 태스크 트래커 하둡분산파일시스템 분산 저장 -> Map -> Merge, Sort -> (Map task) -> Reduce Mapper 필수 R.. 2022. 1. 23.
[토크ON세미나_아파치 하둡 입문] HDFS 이해 2 Hadoop Ecosystem을 공부하기 위해 빠르게 메모한 내용입니다. 예쁘게 정리하고 싶었으나, 게으름으로 오랫동안 묵혀두다가 언젠간 또는 누군가에게 도움이될 수도 있지 않을까 기대하며 퍼블릭으로 공개합니다. 출처 : [토크ON세미나] 아파치 하둡 입문 2강 - 하둡 설치 | T아카데미 https://youtu.be/0i3ttGPBQp4 Rack Awareness 랙 단위로 장애(전원, 스위치 등)가 발생할 수 있기 때문에, 블록을 저장할 때 2개의 블록은 같은 랙에 저장하고 1개는 다른 블록에 저장하도록 구성함 HDFS Safe Mode 레플리케이션이 3인데 2인 경우 -> 언더 레플리케이션 한개도 없으면 미싱블록 일정 비율 늘어나면 세이프 모드로 변환됨 or 클러스터 재구성 시 블록 리포트 다 받.. 2022. 1. 23.
[토크ON세미나_아파치 하둡 입문 1/3] HDFS 하둡 분산 파일 시스템 하둡 강의를 들으면서 빠르게 메모한 내용입니다. 나중에 예쁘게 정리해서 발행하고 싶었으나 게으름을 이기지 못해 오랫동안 방치하다가, 누군가에게는 일말의 도움이 될 수도 있겠다는 기대를 하며 공개 버전으로 전환하였습니다. 출처 : [토크ON세미나] 아파치 하둡 입문 1강 - 하둡의 탄생과 생태계의 활용 | T아카데미 https://youtu.be/OPodJE1jYbg Hadoop 1.0 ver 기준 Name Node : DFS 관리 master (데이터의 위치, 형식 보관) Job Tracker : app/job 관리 master 같은 slave node에 demon을 2개(DN, TT) 띄움 DN (data node) : 실 데이터 저장하는 slave node TT (task tracker) : slav.. 2022. 1. 22.
[AWS SA-CO2] AWS EC2 온디맨드 인스턴스 - 시작하는 인스턴스에 대한 비용을 초 단위로 지불합니다. • Savings Plans – 1년 또는 3년 기간 동안 시간당 USD로 일관된 사용량을 약정하여 Amazon EC2 비용을 절감할 수 있습니다. • 예약 인스턴스 – 1년 또는 3년 기간 동안 인스턴스 유형 또는 지역을 포함해 일관된 인스턴스 구성을 약정하여 Amazon EC2 비용을 절감할 수 있습니다. • 예약된 인스턴스 - 1년 동안 항상 사용할 수 있는 인스턴스를 지정된 되풀이 일정으로 구입합니다. • 스팟 인스턴스 – 미사용 EC2 인스턴스를 요청하여 Amazon EC2 비용을 대폭 줄일 수 있습니다. • 전용 호스트 - 인스턴스 실행을 전담하는 실제 호스트 비용을 지불하며, 기존의 소켓, 코어 또는 VM 소프트웨어.. 2021. 8. 1.
[SAA-CO2] AWS 스토리지 S3 버킷에 객체를 저장하는 비용을 지불합니다. 부과되는 요금은 객체의 크기, 해당 월에 객체를 저장한 기간, 스토리지 클래스에 따라 다르며, 스토리지 클래스에는 S3 Standard, S3 Intelligent-Tiering, S3 Standard - Infrequent Access, S3 One Zone - Infrequent Access, S3 Glacier, S3 Glacier Deep Archive, Reduced Redundancy Storage(RRS)가 있습니다. 액세스 패턴을 모니터링하고 S3 Intelligent-Tiering 스토리지 클래스의 액세스 계층 간에 객체를 이동하도록 S3 Intelligent-Tiering에 저장된 객체당 월별 모니터링 및 자동화 요금을 지불합니다. S3 .. 2021. 7. 31.
[WIP] AWS 솔루션즈 아키텍트 (SAA-CO2) 자격증 준비 AWS Solutions Associate 자격증 취득을 위해 자료와 정보 등을 정리한 글입니다. 목표 일정 : 2021년 여름 안에 AWS 솔루션 아키텍트 자격증을 취득해 보자 구매한 도서 : AWS 공인 솔루션스 아키텍트 올인원 스터디 가이드 : 어소시에이티드 References AWS Certified Solutions Architect - Associate (SAA-C02) 시험 가이드 2021. 6. 20.