YoonWould!!

[먼저 맵리듀스(mapreduce) 알아보기] (클릭) Mapreduce vs RDBMS Mapreduce는 간단히 애드혹 분석을 위해 일괄 처리 방식으로 전체 데이터셋을 분석할 필요가 있는 문제에 적합하다.RDBMS(관계형 데이터베이스 관리 시스템)은 포인터 쿼리와 업데이트에 적합한데, 상대적으로 적은 양의 데이터를 낮은 지연 시간에 검색하고 업데이트하기 위해 데이터셋을 색인한다. Mapreduce는 데이터를 한 번 쓰면 여러 번 읽는 응용프로그램에 적합하고 반면에 RDBMS는 지속적으로 업데이트되는 데이터셋에 적합하다. 다음 표는 RDBMS와 Mapreduce 비교를 나타내는 표이다. Mapreduce와 RDBMS의 또 다른 차이는 연산하는 데이터셋 구조의 개수다. RDBMS구조화된 데이터(struc..

1. 맵리듀스 개념맵리듀스 프로그래밍은 맵(Map)과 리듀스(Reduce)라는 두 가지 단계로 데이터를 처리한다.맵(Map)은 입력 파일을 한 줄씩 읽어서 데이터를 변형(transformation)하며, 리듀스(Reduce)는 맵의 결과 데이터를 집계(aggregation)한다.특별히 애드혹 분석을 위해 일괄 처리 방식으로 전체 데이터 셋을 분석할 필요가 있는 문제에 적합하다. [출처: http://www.slideshare.net/kwnam4u/hadoop-38481079] 2. 맵리듀스 아키텍처 1) 시스템 구성- 맵리듀스 시스템은 클라이언트, 잡트래커, 태스크트래커로 구성된다. [출처: http://zetawiki.com/] - 클라이언트 : 클라이언트는 사용자가 실행한 맵리듀스 프로그램과 하둡에서..

가장 흔해빠진 7가지 하둡 및 스파크 프로젝트Andrew C. Oliver | InfoWorld뭔가 색다르고 혁신적인 것을 하는 이에게 필요한 모든 지원과 자금을 제공하면 결국 그 사람은 다른 사람과 똑같은 것을 하게 된다는 격언이 있다. 이 격언은 하둡, 스파크, 스톰에도 적용된다. 모두가 자신은 새로운 빅데이터 기술을 사용해 뭔가 특별한 것을 한다고 생각하지만 사실은 똑같은 패턴의 끊임없는 반복일 수 있다. 구체적인 구현은 다소 다를 수 있지만 다음은 필자의 경험을 바탕으로 간추린 가장 흔한 7가지 프로젝트다. 프로젝트 No. 1: 데이터 통합(Data consolidation) '엔터프라이즈 데이터 허브(enterprise data hub)' 또는 '데이터 레이크(Data lake)'라고 한다. 이..