YoonWould!!

1. 맵리듀스 개념맵리듀스 프로그래밍은 맵(Map)과 리듀스(Reduce)라는 두 가지 단계로 데이터를 처리한다.맵(Map)은 입력 파일을 한 줄씩 읽어서 데이터를 변형(transformation)하며, 리듀스(Reduce)는 맵의 결과 데이터를 집계(aggregation)한다.특별히 애드혹 분석을 위해 일괄 처리 방식으로 전체 데이터 셋을 분석할 필요가 있는 문제에 적합하다. [출처: http://www.slideshare.net/kwnam4u/hadoop-38481079] 2. 맵리듀스 아키텍처 1) 시스템 구성- 맵리듀스 시스템은 클라이언트, 잡트래커, 태스크트래커로 구성된다. [출처: http://zetawiki.com/] - 클라이언트 : 클라이언트는 사용자가 실행한 맵리듀스 프로그램과 하둡에서..

가장 흔해빠진 7가지 하둡 및 스파크 프로젝트Andrew C. Oliver | InfoWorld뭔가 색다르고 혁신적인 것을 하는 이에게 필요한 모든 지원과 자금을 제공하면 결국 그 사람은 다른 사람과 똑같은 것을 하게 된다는 격언이 있다. 이 격언은 하둡, 스파크, 스톰에도 적용된다. 모두가 자신은 새로운 빅데이터 기술을 사용해 뭔가 특별한 것을 한다고 생각하지만 사실은 똑같은 패턴의 끊임없는 반복일 수 있다. 구체적인 구현은 다소 다를 수 있지만 다음은 필자의 경험을 바탕으로 간추린 가장 흔한 7가지 프로젝트다. 프로젝트 No. 1: 데이터 통합(Data consolidation) '엔터프라이즈 데이터 허브(enterprise data hub)' 또는 '데이터 레이크(Data lake)'라고 한다. 이..

O2O(온‧오프라인 연계) 숙박 플랫폼 야놀자와 KT가 인공지능(AI)을 활용한 숙박 시설을 만들기 위해 서로 손을 잡았다.이수진 야놀자 대표(왼쪽)와 이필재 KT 마케팅부문 부사장이 업무협약을 마치고 협약서를 들어보이고 있다. 야놀자 제공야놀자는 KT와 AI 숙박운영 플랫폼 구축을 위한 업무협약을 체결했다고 30일 발표했다. 우선 야놀자의 지능형 객실 관리 시스템 ‘스마트프런트’에 KT의 ‘기가지니’ AI 서비스를 연동해 운영 효율성과 편의성을 향상시킬 계획이다. 기가지니를 사물인터넷(IoT)과 연계한 서비스도 공동으로 개발한다. 두 회사는 야놀자의 호텔 브랜드인 헤이와 에이치에비뉴에 기가지니를 활용한 인포테인먼트(정보+엔터테인먼트) 시스템을 적용한다. 객실 내 TV 관리 시스템인 야놀자TV와도 연계해..

주민번호·이름 지운 개인정보, 동의 없이 기업이 쓸 수 있게 허용 文대통령 규제개혁 3탄 "인터넷 강국서 데이터 강국으로"정부가 4차 산업혁명 시대 산업 발전과 새로운 가치 창출의 촉매 역할을 하는 ‘데이터 경제’를 활성화한다. 이를 위해 개인정보 활용을 막는 규제를 대폭 풀기로 했다. 주민등록번호, 이름, 전화번호 등을 삭제해 특정 개인을 알아볼 수 없도록 한 가명정보를 개인 동의 없이도 기업들이 시장조사 등 상업적 활동에 활용할 수 있게 한다. 문재인 대통령은 31일 경기 성남시 판교 스타트업캠퍼스에서 열린 ‘데이터 경제 활성화 규제혁신’ 현장방문에서 이 같은 방안을 보고받았다. 문 대통령은 “데이터는 미래 산업의 원유(原油)”라며 “산업화 시대의 경부고속도로처럼 데이터 경제 시대를 맞아 데이터고속도..

5G를 만나보자"사물인터넷의 중추"라는 별명을 가진 5G 기술은 5세대 이동통신 네트워크로, 현재의 이동통신 인프라를 확장한 것입니다. 현재 3G와 4G 네트워크의 효율성을 향상시켜, 실시간 응답과 초고속 연결을 가능하게 됩니다. 제조업체와 이동통신 사업자는 이미 5G 네트워크를 지원하기 위한 인프라 테스트를 시작했습니다. "어떤 사람들은 5G를 특정 종류의 기술이라고 정의하지만 여러 이동통신 사업자는 5G를 사용자 경험이라고 말합니다. 사람들이 항상 연결되어 있을 수 있도록 성능을 향상시켜야 합니다.” 3M에서 5G 분야를 이끌고 있는 데이비드 워트만(David Wortman)의 설명입니다. 5G는 어떻게 달라질까요?이동통신 네트워크의 진화 과정을 되돌아 보면, 현재의 이동통신 기술이 얼마나 발전했는지..

기사 보기 : https://blog.naver.com/coinca/221276569631

우리은행 오류로 차세대 전산시스템 관심 높아져 기술 발전에 따른 양질의 금융서비스 제공이 목표 도입 시 정교하게 테스트하면서 외부인력 통제해야 [보안뉴스 오다인 기자] 지난달 온라인 커뮤니티 ‘생활코딩’에는 우리은행 고객의 제보가 올라왔다. 다른 사람의 입출금 내역이 보인다는 내용이었는데, 유사한 피해를 겪은 고객들이 잇따라 제보하면서 사건이 크게 알려지게 됐다. 이 과정에서 ‘차세대 전산시스템’과 그 문제에 대한 관심도 덩달아 높아졌다. [이미지=iclickart] 우리은행은 지난 5월 8일 차세대 전산시스템을 도입했다. 오류는 바로 다음날인 9일부터 일주일간 발생했다. 2년의 시간과 3,000억 원의 비용을 들인 방대한 사업이 이처럼 치명적인 오류를 일으킨 데 대해 여러 의견이 제시됐다. ‘예산 절감..

ISP (정보 전략 계획) : 기업이 수립한 장기적인 목표와 방향을 효과적으로 지원하기 위해 전사적 관점에서 정보 시스템이나 정보 관리 등의 전략을 수립하는 활동이다. SP 수립 시 기업 환경과 사업 목표를 도출하기 위해 3C분석, SWOT분석, 5-Force 분석, 7S분석 등의 기법이 활용 ISP(정보 전략 계획) 방법론 : James Martin사의 IEM, 4FRONT 방법론이 우수 - CSF(핵심 성공 요소) : 성공에 불가결한 요인을 찾아내어 경영상 중요한 정보를 결정하는 방법 3C 분석 : 기업이 표적 시장을 선정하기 위해 고객, 경쟁사, 자사를 분석하여 자사의 성공에 필요한 전략을 수립하는 기법 SWOT 분석 : 기업의 내, 외부 환경을 분석하여 강점(s)은 부각, 약점(w)은 보완, 기회..

객체지향 기법 : 현실 세계의 개체를 기계의 부품처럼 하나의 객체로 만들어, 기계적인 부품들을 조립하여 제품을 만들 듯이 소프트웨어를 개발할 때에도 객체들을 조립해서 작성할 수 있도록 하는 기법 객체 (객체 = 데이터 + 함수, 프로그램 = 객체 + 객체) : 데이터와 데이터를 처리하는 함수를 묶어 놓은 하나의 소프트웨어 모듈 데이터 : 객체가 가지고 있는 정보로 속성이나 상태, 분류 등을 나타낸다.메소드(함수) : 객체가 수행하는 기능으로, 객체가 갖는 데이터를 처리하는 알고리즘이다. 클래스 : 공통된 속성과 연산을 갖는 객체의 집합으로 객체의 일반적인 타입이다. 메시지 : 객체들 간에 상호작용을 하는 데 사용되는 수단으로, 객체에게 어떤 행위를 하도록 지시하는 명령 또는 요구사항 객체지향 기법의 기본..

데이터베이스 기타 실무 응용 시스템 카탈로그 (데이터 사전) : DBA의 도구로, 데이터베이스에 저장되어 있는 모든 데이터 개체들에 대한 정의나 명세에 대한 정보가 수록되어 있는 시스템 테이블이다. 시스템 카탈로그에 저장된 내용을 메타데이터라고 한다. 시스템 카탈로그는 사용자와 DBMS의 접근이 가능하다. 인덱스 : 데이터 레코드(튜플)에 빠르게 접근하기 위해 쌍으로 구성되는 데이터 구조이다. 색인이 없으면 특정한 값을 찾기 위해 모든 데이터 페이지를 다 뒤지는 TABLE SCAN이 발생한다. 트랜잭션 - 데이터베이스에서 하나의 논리적 기능을 수행하기 위한 일련의 연산 집합으로서 작업의 단위이다. - DBMS에서 회복 및 병행 수행 시 처리되는 작업의 논리적 단위이다. - 하나의 트랜잭션은 정상적으로 종..