하둡 활용1 [토크ON세미나_아파치 하둡 입문 4/4] 하둡 활용 하둡 강의를 들으면서 빠르게 메모한 내용입니다. 예쁘게 정리해서 발행하고 싶었으나 게으름을 이기지 못하고 오랫동안 방치하다가, 누군가에게는 도움이 될 수도 있지 않을까 기대하며 공개발행으로 전환하였습니다. 출처 : [토크ON세미나] 아파치 하둡 입문 6강 - 하둡 활용 | T아카데미 https://youtu.be/nrhgH0qShwI 하둡 : 큰 데이터에 유리 적합하지 않은 경우 크지 않은 경우 (오히려 느릴 수 있음) 스몰 파일들이 저장되면 여러 측면에서 좋지 않음 (NN 메모리를 많이 씀, 부하 이슈가 있음) MapReduce 128mb 미만이면 combined format 으로 합쳐서 성능 측면에서 장점을 얻을 수 있음 더 쉬운 분석을 위해 SQL을 지원하는 쿼리 엔진이 필요함 (예: Hive) A.. 2022. 1. 23. 이전 1 다음