YoonWould!!

[먼저 맵리듀스(mapreduce) 알아보기] (클릭) Mapreduce vs RDBMS Mapreduce는 간단히 애드혹 분석을 위해 일괄 처리 방식으로 전체 데이터셋을 분석할 필요가 있는 문제에 적합하다.RDBMS(관계형 데이터베이스 관리 시스템)은 포인터 쿼리와 업데이트에 적합한데, 상대적으로 적은 양의 데이터를 낮은 지연 시간에 검색하고 업데이트하기 위해 데이터셋을 색인한다. Mapreduce는 데이터를 한 번 쓰면 여러 번 읽는 응용프로그램에 적합하고 반면에 RDBMS는 지속적으로 업데이트되는 데이터셋에 적합하다. 다음 표는 RDBMS와 Mapreduce 비교를 나타내는 표이다. Mapreduce와 RDBMS의 또 다른 차이는 연산하는 데이터셋 구조의 개수다. RDBMS구조화된 데이터(struc..

1. 맵리듀스 개념맵리듀스 프로그래밍은 맵(Map)과 리듀스(Reduce)라는 두 가지 단계로 데이터를 처리한다.맵(Map)은 입력 파일을 한 줄씩 읽어서 데이터를 변형(transformation)하며, 리듀스(Reduce)는 맵의 결과 데이터를 집계(aggregation)한다.특별히 애드혹 분석을 위해 일괄 처리 방식으로 전체 데이터 셋을 분석할 필요가 있는 문제에 적합하다. [출처: http://www.slideshare.net/kwnam4u/hadoop-38481079] 2. 맵리듀스 아키텍처 1) 시스템 구성- 맵리듀스 시스템은 클라이언트, 잡트래커, 태스크트래커로 구성된다. [출처: http://zetawiki.com/] - 클라이언트 : 클라이언트는 사용자가 실행한 맵리듀스 프로그램과 하둡에서..

가장 흔해빠진 7가지 하둡 및 스파크 프로젝트Andrew C. Oliver | InfoWorld뭔가 색다르고 혁신적인 것을 하는 이에게 필요한 모든 지원과 자금을 제공하면 결국 그 사람은 다른 사람과 똑같은 것을 하게 된다는 격언이 있다. 이 격언은 하둡, 스파크, 스톰에도 적용된다. 모두가 자신은 새로운 빅데이터 기술을 사용해 뭔가 특별한 것을 한다고 생각하지만 사실은 똑같은 패턴의 끊임없는 반복일 수 있다. 구체적인 구현은 다소 다를 수 있지만 다음은 필자의 경험을 바탕으로 간추린 가장 흔한 7가지 프로젝트다. 프로젝트 No. 1: 데이터 통합(Data consolidation) '엔터프라이즈 데이터 허브(enterprise data hub)' 또는 '데이터 레이크(Data lake)'라고 한다. 이..

O2O(온‧오프라인 연계) 숙박 플랫폼 야놀자와 KT가 인공지능(AI)을 활용한 숙박 시설을 만들기 위해 서로 손을 잡았다.이수진 야놀자 대표(왼쪽)와 이필재 KT 마케팅부문 부사장이 업무협약을 마치고 협약서를 들어보이고 있다. 야놀자 제공야놀자는 KT와 AI 숙박운영 플랫폼 구축을 위한 업무협약을 체결했다고 30일 발표했다. 우선 야놀자의 지능형 객실 관리 시스템 ‘스마트프런트’에 KT의 ‘기가지니’ AI 서비스를 연동해 운영 효율성과 편의성을 향상시킬 계획이다. 기가지니를 사물인터넷(IoT)과 연계한 서비스도 공동으로 개발한다. 두 회사는 야놀자의 호텔 브랜드인 헤이와 에이치에비뉴에 기가지니를 활용한 인포테인먼트(정보+엔터테인먼트) 시스템을 적용한다. 객실 내 TV 관리 시스템인 야놀자TV와도 연계해..

주민번호·이름 지운 개인정보, 동의 없이 기업이 쓸 수 있게 허용 文대통령 규제개혁 3탄 "인터넷 강국서 데이터 강국으로"정부가 4차 산업혁명 시대 산업 발전과 새로운 가치 창출의 촉매 역할을 하는 ‘데이터 경제’를 활성화한다. 이를 위해 개인정보 활용을 막는 규제를 대폭 풀기로 했다. 주민등록번호, 이름, 전화번호 등을 삭제해 특정 개인을 알아볼 수 없도록 한 가명정보를 개인 동의 없이도 기업들이 시장조사 등 상업적 활동에 활용할 수 있게 한다. 문재인 대통령은 31일 경기 성남시 판교 스타트업캠퍼스에서 열린 ‘데이터 경제 활성화 규제혁신’ 현장방문에서 이 같은 방안을 보고받았다. 문 대통령은 “데이터는 미래 산업의 원유(原油)”라며 “산업화 시대의 경부고속도로처럼 데이터 경제 시대를 맞아 데이터고속도..

제6절 함수(FUNCTION)1. 내장 함수(BUILT-IN FUNCTION) 개요다양한 기준으로 분류를 할수 있는데 밴더에서 제공하는 함수인 내장 함수(Built-in Function)와 사용자가 정의할 수 있는 함수(User Defined Function)로 나눌 수 있다.내장 함수는 다시 함수의 입력 값이 단일행 값이 입력되는 단일행 함수(Single-Row Function)와 여러 행의 값이 입력되는 다중행 함수(Multi-Row Function)로 나눌 수 있다. 다중행 함수는 다시 집계 함수(Aggregate Function), 그룹 함수(Group Function), 윈도우 함수(Window Function)로 나눌 수 있다.형식: 함수명 (칼럼이나 표현식 [, Arg1, Arg2, ... ..

1. WHERE 조건절 개요데이터를 가져오기 위해서는 SELECT 절과 FROM 절만을 사용하여 기본적인 SQL 문장을 구성한다면 자신이 원하는 자료만을 검색하기 위해서 SQL 문장에 WHERE 절을 이용하여 자료들에 대하여 제한할 수 있다.현실의 데이터베이스는 많은 사용자나 프로그램들이 동시에 접속하여 다량의 트랜잭션을 발생하고 있다. WHERE 조건절을 사용하지 않고 필요 없는 많은 자료들을 데이터베이스로부터 요청하는 SQL 문장은 해당 데이터 베이스의 CPU와 메모리를 과다 사용하게 되어 성능을 저하 시키게 된다. 뿐만아니라 조건이 없는 SELECT문은 테이블을 전체(FTS) 를 읽게 되어 데이터의 양에 따라 성능을 저하 시키게 된다 (FTS가 무조건 나쁜 것은 아니며 병렬 처리 등을 이용해 유용하..

1. 트랜잭션 개요트랜잭션은 데이터베이스의 논리적 연산단위이다.밀접히 관련되어 분리될 수 없는 한 개 이상의 데이터베이스 조작을 가리킨다.하나의 트랜잭션에는 하나 이상의 SQL 문장이 포함된다. 트랜잭션은 분할할 수 없는 최소의 단위이다.하나의 트랜잭션은 전부 적용하거나 전부 취소한다. 즉, TRANSACTION은 ALL OR NOTHING의 개념인 것이다.은행에서의 계좌이체 상황을 연상하면 트랜잭션을 이해하는데 도움이 된다. 계좌이체는 최소한 두 가지 이상의 작업으로 이루어져 있다. 우선 자신의 계좌에서 잔액을 확인하고 이체할 금액을 인출한 다음 나머지 금액을 저장한다. 그리고 이체할 계좌를 확인하고 앞에서 인출한 금액을 더한 다음에 저장하면 계좌이체가 성공한다.계좌이체 사례STEP1. 100번 계좌의..

1. INSERT테이블에 데이터를 입력하는 방법은 두 가지 유형이 있으며 한 번에 한 건만 입력된다. ▶ INSERT INTO 테이블명 (COLUMN_LIST) VALUES (COLUMN_LIST에 넣을 VALUE_LIST); ▶ INSERT INTO 테이블명 VALUES (전체 COLUMN에 넣을 VALUE_LIST); -- 아래는 SELECT절에서 읽어온 값을 저장할때(컬럼명, 데이타 타입 동일하게) ▶ INSERT INTO 테이블명 SELECT * FROM 테이블명; 해당 칼럼명과 입력되어야 하는 값을 서로 1:1로 매핑해서 입력하면 된다. 해당 칼럼의 데이터 유형이 CHAR나 VARCHAR2 등 문자 유형일 경우 『 ' 』(SINGLE QUOTATION)로 입력할 값을 입력한다. 숫자일 경우 『 ..

1. 데이터 유형데이터베이스의 테이블에 특정 자료를 입력할 때, 그 자료를 받아들일 공간을 자료의 유형별로 나누는 기준특정 칼럼을 정의할 때 선언한 데이터 유형은 그 칼럼이 받아들일 수 있는 자료의 유형을 규정선언한 유형이 아닌 다른 종류의 데이터가 들어오려고 하면 데이터베이스는 에러를 발생시킴데이터 유형과 더불어 지정한 크기(SIZE)도 중요한 기능을 제공, 지정한 데이터의 크기를 넘어선 자료가 입력되는 상황에서 에러를 발생데이터 유형(숫자 타입)ANSI/ISO 기준에서는 NUMERIC Type의 하위 개념으로 NUMERIC, DECIMAL, DEC, SMALLINT, INTEGER, INT, BIGINT, FLOAT, REAL, DOUBLE PRECISIONSQL Server와 Sybase는 ANSI..