KGITBANK
10,000+ Views

빅데이터 전문가가 되려면

◆빅데이터가 뭐죠?

21세기 기업에게 가장 중요한 자산은 ‘데이터’이며 이를 관리하고 여기서 가치를 이끌어내지 못하면 경쟁에서 살아남을 수 없게 되었습니다.
빅데이터는 ‘빅(Big)+데이터(Data)’의 단순 합성어가 아니라
기존의 기업 환경에서 사용되는 ‘정형화된 데이터’는 물론 미처 활용하지 못하고 있는 ‘반정형화된 데이터’를 모두 포함하는 개념이 빅데이터 입니다.
빅데이터는 단순히 대용량 데이터 그 자체만을 지칭하는 것이 아니라 그 '데이터를 효과적으로 처리하고 분석할 수 있는 기술'에 초점을 둔 용어입니다.
기업의 관점에서는 ‘가치를 생성할 수 있는 데이터’를 빅데이터라고 해석하기도 합니다.
그렇다면 과거에는 이런 빅데이터가 중요치 않았을까요?
물론 예전에도 슈퍼컴퓨터를 이용해 거대한 양의 데이터를 분석할 수 있었습니다.
하지만 이는 비용 대비 효과가 낮았습니다. 수십 수백억원을 들여야만 대용량 데이터를 분석할 수 있었고, 이는 정부 차원에서나 할 수 있는 일이었습니다.
하지만 현재의 '빅데이터 시대'는 저렴한 비용으로 엄청난 데이터를 효과적으로 처리하고 분석할 수 있게 되었습니다.
하둡의 기술이 뜨면서 기업은 과거 대용량 데이터 처리에 들었던 비용과는 비교가 안될 정도의 저렴한 비용으로 복잡한 데이터 안에서 기업에게 필요한 정보만을 추출하고 이를 기존 정보와 통합해 가치창출이 가능하게 되었습니다.
기억하세요! 같은 데이터라해도 기업이 많은 비용을 들여 분석해야 하는 데이터라면 빅데이터가 아닙니다.

◆빅데이터 전문가는 뭘하죠?

기업은 자신들이 보유하고 있는 데이터를 분석해 원하는 결과를 얻어내고 이를 바탕으로 가치창출을 하고싶어합니다.
데이터를 수집 및 정리하고 분석해 보기 편하게 자료를 만드는 빅데이터 전문가.
빅데이터 전문가는 ◎기업의 비즈니스 요구사항을 확인 ◎필요한 데이터를 검색 · 준비하고
◎적절하게 데이터를 분석할 수 있는 모델을 구축 ◎모델링 검증작업을 거쳐 ◎실전에 활용하는 업무를 합니다.
빅데이터 전문가가 되기위해서는 기본적인 데이터 분석에 대한 이해뿐만 아니라 프로그래밍 실력과 서버와 네트워크에 대한 비즈니스 지식이 필요합니다.

◆하둡기술이 어디서 사용되죠?

뉴욕 증권거래소는 하루에만 1TB에 이르는 거래 데이터가 발생합니다.
페이스북엔 *30PB 가 넘는 사진 DB가 쌓여 있습니다.
이들이 대용량 데이터를 처리할 때 공통점이 있는데 바로 ‘하둡(Hadoop)’을 이용해 처리한다는 점입니다. 하둡은 국내외를 막론하고 빅데이터를 다루는 개발자들의 관심을 한몸에 받으며 모든 산업분야에 활용되고 있습니다.
*[1PB(페타바이트)는 1024TB(테라바이트)이고 1TB는 1024GB(기가바이트) 입니다.
참고로 현재까지 바이트단위는 엑사바이트(EB)까지 나와있고 이는 1EB = 1024PB 입니다]

◆하둡이 뭐죠?

하둡은 여러 개의 저렴한 컴퓨터를 마치 하나인 것처럼 묶어 대용량 데이터를 처리하는 기술입니다.
하둡은 수천대의 분산된 x86 장비에 대용량 파일을 저장할 수 있는 기능을 제공하는 분산파일 시스템과, 저장된 파일 데이터를 분산된 서버의 CPU와 메모리 자원을 이용해 쉽고 빠르게 분석할 수 있는 컴퓨팅 플랫폼인 맵리듀스로 구성되어 있습니다.

◆하둡이 왜 뜨고있죠?

어느 기술이더라도 값싸고 사용하기 편해야 소비자들이 사용한다는 점 기억하세요!
지금까지 상당수 기업들이 많은 비용을 지불하고 오라클이나 IBM이 개발한 데이터 분석 솔루션을 구축해 데이터를 분석했습니다.
하지만 비싼 비용을 지불하며 매번 솔루션을 도입하겠다는 기업은 드물었죠,
하지만 하둡은 저렴하면서도 방대한 데이터를 분석할 수 있게 도왔습니다. 또한 자사 데이터 시스템과의 호환 문제도 손쉽게 해결한다는 장점이 있었습니다.
기존 슈퍼컴퓨터를 며칠씩 돌려야 했던 데이터도 하둡을 이용하면 x86 서버로 실시한 분석이 가능해져 하둡은 빅데이터 처리와 분석을 위한 플랫폼 시장에서 사실상 표준으로 자리잡았습니다.
기업은 하둡을 통해 PC를 병렬로 연결해 빅데이터를 분산 처리하는데 이용하기 시작하죠.

◆R프로그래밍은 뭐죠?

하둡을 이용해 대용량 데이터를 분석, 처리를 했다면 이를 활용하는 방법과 다양한 그래프를 활용해 시물레이션 화 시키는게 R프로그래밍입니다.
패키지 개발이 용이하여 통계학자들 사이에서도 가장 많이 사용되고 있는 통계 프로그래밍 입니다.
쉽게 설명드려 모레알에서 원석을 발견하는게 하둡, 원석을 보석으로 가공하는 단계를 R프로그래밍이다 라고 이해하시면 쉬우실것 같습니다.
즉, 가치창출 할 수 있는 데이터를 통계와 분석을 통해 그래프와 시물레이션으로 시각화하는 통계 소프트웨어가 R프로그래밍 입니다.

★빅데이터 전문가가 되려면?

하둡과 R프로그래밍을 아셔야 겠죠?!
R프로그래밍은 하둡을 아셔야 하겠고,
하둡 *클러스터 구축은 리눅스 환경에서 구성이 되기 때문에 리눅스 시스템에 대한 충분한 이해가 필요하며, 클러스터는 네트워크 환경에서 구축되므로
네트워크 기초 과정을 이해하셔야 합니다. 하둡은 프로그래밍 언어인데 이는
JAVA와 JSP 기반입니다. 따라서 프로그래밍 언어로는 JAVA와 JSP를 이해하셔야 하고, 기초자시라면 C언어 문법과 프로그래밍 기초인 알고리즘 지식이 있으셔야 합니다.
* [클러스터란? 여러대의 서버를 하나 서버처럼 구현하는 기술입니다]
정리하자면
[기초자: C언어 -> 알고리즘] JAVA -> JSP[Java Server Page] -> 네트워크기초 ->
리눅스시스템 -> 하둡프로그래밍 -> R프로그래밍 순서도가 됩니다.
빅데이터 전문가가 목표이신 분들은 국내 유일 빅데이터 교과정진행,
단기간 체계적 학습, 국비취업반을 통한 취업연계까지 진행하고 있는
평일/주말반 준비계획에 대해 상담받아보시기 바랍니다.
Comment
Suggested
Recent
Cards you may also be interested in
이번 8월달 추천 보급형 및 게이밍형 데스크탑 견적 [2017.8]
-출처 : http://ccf1007overmen.tistory.com/1350 안녕하세요~ 모든 IT, Technology 및 일상정보를 공유하는 K.Min's 입니다. 오늘 소개해드릴 것은 이번 8월달 추천 데스크탑 견적 4자기에 대한 정보가 되겠습니다. 차례대로 사무용, 보급형, 게이밍, 하이엔드로 총 4가지 제품순으로 소개해드리죠. 일단 첫번째로 사무용 견적입니다. 인텔 펜티엄 G4560과 120GB의 SSD로 구성된 30만원대 견적입니다. 현재 밑에 나온 가격은 다나와 평균가격이며, 최저가로 알아보신다면 28~29만원대에 구매가 가능한 견적이죠. 내장그래픽이 HD 610이라 롤도 그림자만 없으면 중옵사양으로 충분히 플레이가 가능하며, RAM 4GB에 SSD가 120GB 제품으로 되어있어, 부팅속도가 빠르며, 크롬10개를 띄우고, 메모장 및 오피스작업을 하셔도 충분한 용량입니다. 파워서플라이는 싸게 400W 미만 제품으로 사용하고 싶었으나 그래도 브랜드가 있고 안전한 마이크로닉스 400W 제품으로 탑재하게 되었습니다.  메인보드도 또한 HDMI포트가 없고 DVI-I포트와 RGB 포트가 있는 가성비 위주로 짠 견적입니다. 그리고 좀 더 가성비를 높이기 위해 케이스도 대양케이스 RAY로 사용하여, 가격을 많이 낮춘 견적으로 보시면 되겠습니다. 여기서 롤정도는 그림자 없이 풀로 돌리고 싶으시다면 CPU를 G4560 -> G4600으로 RAM을 4GB 제품을 추가로 달아 듀얼RAM으로 8GB 제품으로 달아주시면 되겠습니다. 이렇게 업그레이드 시키면 약 5만원 가량 오르겠네요. 2번째 견적은 보급형 견적 중 가장 좋은 견적으로 보시면 되겠습니다. 라이젠3 1200 CPU와 GTX 1050 2GB으로 구성된 견적이며, 오버워치도 상옵으로 쾌적하게 플레이가 가능한 견적입니다. 이것말고도 베가스프로인 렌더링 작업도 느리기는 하지만 어느정도 가능할 정도이며, 하드가 없지만 SSD가 250GB이라 OS+한글 오피스+롤+오버워치+베가스프로를 깔으셔도 약 180GB 가량 남는 용량이라 그렇게 적은 용량은 아닙니다. 물론 영화를 많이 저장하신다면 하드를 추가하셔야 되지만  그렇지 않은다면 굳이 하드를 추가하실 필요는 없습니다. RAM은 8GB으로 하였으며 게임들도 옵션타협만 본다면 어느정도 다 즐길 수 있는 견적이죠. 전체적으로도 가성비가 좋은 제품들로 구성되어있으며, 최저가격으로 구매하신다면 61만원대로 구매가 가능합니다. 3번째는 이제 게이밍 표준 견적입니다. 여기서부터는 이제 패키지게임들도 풀옵으로 즐기실 수 있는 수준이죠. 물론 쾌적이 아닌 프레임드랍이 일어날 수 있지만 이정도면 충분히 원할하게는 즐길 수 있는 견적입니다. 라이젠5 1500X와 GTX 1060 6GB의 조합으로 여기서부터는 가성비를 조금은 논할 수 있지만 웬만하면 이 이상부터는 가성비를 볼 수가 없죠. 배틀필드1도 풀옵으로 돌릴 수 있는 견적이며, 주로 즐기는 오버워치는 풀옵으로 배틀그라운드도 풀옵이 가능하기는 하지만 쾌적하게 즐기고 싶으시다면 높은 사양으로 즐기시면 되겠습니다. 제가 GTX 1060 6GB보다 약간 높은(5%가량) RX 580 8GB 제품을 사용중인데 니어오토마타나 배틀그라운드를 풀옵으로 충분히 즐기고 있습니다. 게이밍 제품으로 아주 충분하다는 것이죠. SSD 용량은 500GB으로 되어있어 용량부족도 없앴으며, 케이스는 화이트 감성이 담겨져 있는 대양케이스 크루저 제품으로 구성하게 되었습니다. 다만 RAM이 8GB으로 부족하다는 느낌이 들 수 있는데 크롬창 여러개 틀어놓고 베가스 작업을 하면서 게임을 한다면 부족하겠지만 게임만 한다면 전혀 부족함이 없는 용량입니다. 멀티작업부분에서는 살짝 부족한 감이 있지만 이정도면 게임을 즐기시는분들에게 가장 어울리는 견적이라고 말씀드릴 수 있겠습니다. 마지막으로 하이엔드 견적입니다. FHD 해상도를 사용하시는분들에게는 이 견적이 끝판왕이라고 불리며 일반 게이머분들에게 풀옵옵션 마지노선 견적이라고 보시면 되겠습니다. 라이젠5 1600X 와 GTX 1070 8GB으로 구성되어있는 견적으로 오버클럭도 가능한 견적입니다. 메인보드도 전원부가 9페이즈가 지원되는 AB350 칩셋으로 사용이 되었으며, 타워형 공랭사제쿨러가 탑재되어있어 원할하게 오버클럭이 가능합니다. 이 오버클럭을 위해 파워도 또한 600W로 구성되어있구요. 그래픽카드는 GTX 1070 8GB으로 탑재되어있어서 FHD 해상도에서는 모든 게임들을 풀옵으로 쾌적하게 플레이가 가능합니다. 그리고 CPU도 또한 6코어 12쓰레드에다가 클럭도 제법 높은편인 라이젠5 1600X이기 떄문에 방송용 컴퓨터로도 아주 만족스러운 견적이죠. RAM도 또한 16GB이기 떄문에 게이머분들에게 가장 원하는 컴퓨터 견적이죠. SSD는 위의 게이밍 표준 견적인 용량과 똑같은 제품으로 탑재하여 용량이 부족하다는 기분은 없습니다. 저도 500GB 제품을 사용중인데 OS+롤+오버워치+배틀크라운드 등 게임을 5~6가지를 설치해도 부족하다는 느낌은 전혀 없더라구요. 이것으로 오늘은 이번 8월달 추천견적 4가지를 소개해드렸습니다. 사무용부터 시작해서 하이엔드까지 총 4가지 견적 정보를 제공해드렸는데 이 견적에 나오는 게임들은 FHD 해상도를 기준점으로 한 것이며, 베가스프로 렌더링 작업도 제 기준점으로 잡은 것입니다. 보통 일반 게이머분들에게는 3번쨰 견적이 가장 좋으며, 롤이나 오버워치 방송견적으로도 3번째 견적으로 주로 추천해드립니다. 배그나 패키지 게임들 방송용으로 사용하실려면 4번쨰 견적으로 가시는게 가장 좋고, 게임을 약간 라이트하게 즐기시는분들은 2번째 견적으로 가시는 것이 가장 좋습니다, 혹시 견적에 대해서 궁금한점이 있으시다면, 제 블로그 방명록이나 이 글 댓글에다가 남겨주세요! 시간나는대로 제대로! 그리고 제 기준점으로 성심성의것! 답변 해드리겠습니다! 이상 K.Min's 8월달 추천견적이었습니다. -출처 : http://ccf1007overmen.tistory.com/1350
최고의 명예
영국 귀족 자제들이 주로 가는 영국 최고 명문사학 중 하나인 이튼칼리지 출신 중에서 제1차 세계 대전에서는 5,619명이 참전해 1,157명이 전사했고, 제2차 세계 대전에서는 4,690명이 참전해서 748명이 전사했다고 합니다. 영국 엘리자베스 여왕은 1차 세계대전 중 고작 15세의 나이에 차량 정비 장교 보직을 맡았었고, 여왕의 차남 앤드류 왕자는 포클랜드 전쟁에 전투기 조종사로 참전했습니다. 우리도 삼국 시대, 신라의 귀족 자제로 이루어진 화랑은 전쟁터에서 항상 가장 위험한 곳에서 목숨을 걸고 싸워야 했습니다. 김유신의 아들 김원술은 당나라와의 전투에서 패배했을 때 죽음을 각오하고 마지막 전투에 뛰어들려는 것을 부하 장수들이 김원술의 말고삐를 잡고 퇴각하여 살아 돌아올 수 있었습니다. 하지만 아버지 김유신은 병사들의 죽음을 뒤로하고 살아 돌아온 아들을 용서하지 않았다고 합니다. 대한민국에서 존경받는 독립운동가 김구 선생님의 차남 김신 전 공군참모총장을 비롯하여, 손자 김양 전 공군 보훈처장과, 공군 장교로 입관한 증손자 김용만 씨 까지, 김구 선생님의 후손은 3대에 걸쳐서 공군 장교로 임관하면서 나라와 국민을 위해 일했습니다. 이들은 왜 더 어렵고 힘든 일을 택했을까요? 그것은 자신만을 위해 부와 명예를 사용하는 것이 얼마나 무의미한 것인지를 너무도 잘 알았기에 자신의 욕망보다 주어진 명예와 헌신을 더욱 소중하게 여겼기 때문입니다.   어려운 사람들을 위해 끝없이 베풀면서도 만석꾼의 집안을 지켜온 부자들의 귀감이라 불리는 경주 교동 최 부자집. 서울대학교 의과대학의 전신인 경성 의학전문학교를 마치고 일본 나고야대학에서 의학사학위를 받은 엘리트였지만 평생 아프고 힘든 환자들을 위해 살다간 장기려 박사. 독립운동가로 일하고 나라를 위한 사업가로 살다가 당시 407억 원, 지금으로 따지면 6천억 원이 넘는 재산을 사회에 환원한 유일한 회장. 이렇게 자신의 명예를 지킬 줄 아는 위인들의 모습을 통해 이 세상이 바르게 흘러갈 수 있는 것 같습니다.   # 오늘의 명언 명예롭지 못한 성공은 양념하지 않은 요리와 같아서, 배고픔은 면하게 해주지만 맛은 없다. – 조 파테이노 – =Naver "따뜻한 하루"에서 이식해옴.....
박정희
[박정희(오까모또 미노루)] 1917년 경북 선산출생. 1925년 구미보통학교 입학. 1932년 대구사범입학. 이 해에 일본제국의 괴뢰정권 만주국수립. 1935년 5월 만주수학여행. 일본제국 지배 때 만주견문. 같은 해 김호남과 결혼. 1937년 대구사범 졸업 후 문경공립보통학교 교사부임. 같은 해 큰 딸인 박재옥 출생. 1939년 교직을 떠남. 1940년 만주신경군관학교 입학(혈서지원으로 특혜 입학 허용). 1942년 만주군관학교에 일제에 대한 충성을 인정받고 일본육사 3년 편입. 1944년 일본육사 졸업 후 만주군 보병 제8단 배속, 중국항일군토벌종사. 1945년 일제패망, 만군이탈, 북경에서 조선인 광복군에 편승, 이 당시부터 친일행적 은폐. ⊙1947년 소위에서 대위로 승진 사관학교 중대장 근무. ⊙1948년 소령진급.10월 여순반란사건 발발,11월 남로당간부사실이 발각되었으나 수사협조(밀고)로 처형모면하고 석방. ⊙그 후 6.25전쟁 전까지 육군정보국에 근무하면서 보도연맹원 처리안 기획. 이 사실은 미국정보공개에 의한 문서조사에서 드러났다. 월간 ‘말’2001년 5월호에 실린 이도영의 ‘제주도민 예비검속은 이승만 피신을 위한 정지작업’이란 글을 보면 박정희와 김종필은 전쟁 후에 벌어진 민간인 집단학살의 주역으로 그 육군본부정보국 작전 과장이었다. 이 사실은 피살자 유족이기도한 제주도 교사인 이도영의 미국에서 공개된 문서조사를 통해 밝혀졌다. ⊙1950년 박정희 소령지위 회복. 중령진급. 김호남과 이혼하고 육영수와 결혼. ⊙1953년 정전협정 체결 후 준장으로 진급. ⊙1957년 제7사단장. ⊙1958년 소장진급. ⊙1960년 부산군수기지사령관. 2군 부사령관. ⊙1960년 4-19혁명으로 전쟁전후의 민간인학살과 친일파죄과에 대한 조사 성토로 불안을 느낀 박정희 등 친일파의 반혁명 음모가 싹틈. ⊙1961년 군사반란인 5-16 쿠데타를 일으킴. 박정희 가계도 가계(家系) 증조부: 박이찬 조부: 박영규(1840년~ 1914년, 호는 일부당(一斧當)) 조모: 성산 이씨(星山 李氏) 숙부: 박용빈 숙부: 박일빈 부: 박성빈(1871년 ~ 1938년) 모: 백남의(1872년 ~ 1949년) 형: 박동희(1895년 ~ 1967년) 조카: 박재홍, 박재선 형: 박무희(1898년 ~ 1960년) 조카: 박재석(1922년 ~ ), 박재호 누나: 박귀희(1902년 ~ 1974년) 의 아들, 은봉남과 은희만 조카: 은봉남(첫째1918년 ~ 1994년), 은희만(둘째,은지원의 부친)약력:단국대,연세대대학원,한국전력지점장,국무총리비서관,청와대, 보광개발(주)회장,현자영업. 형: 박상희(1906년 ~ 1946년) 조카: 박준홍, 박영옥, 박계옥, 박금자, 박설자 형: 박한생(박한희, 1910년 ~ 1928년)[287] 누나: 박재희(1913년 ~ 1996년) 첫 번째 아내: 김호남(1920년 ~ 1990년, 1950년 11월에 박정희와 이혼) 딸: 박재옥(1937년 ~ ) 본처 몰래, 박정희,이현란과(1948년) 약혼 (이현란과~ 3년간 동거)그후 본처와 이혼. 세 번째 아내: 육영수(1925년 ~ 1974년, 1950년 12월에 박정희와 결혼) 딸: 박근혜(1952년 ~ ) 딸: 박서영(1954년 ~ )근령에서 서영으로 개명. 아들: 박지만(1958년 ~ ) 손자: 박세현(2005년 ~ ) 첫 결혼 후 협의 이혼... 한국전쟁 중 육영수 만나 재혼 박정희는 대구사범 4학년 때인 1935년 여름 부친의 강권으로 억지 결혼을 했습니다. 당시 대구사범 교칙에 재학생은 결혼하지 못하도록 돼 있어 비밀결혼을 한 셈이죠. 상대는 선산군 도개면에 사는 김호남(金浩南, 1920~1990)으로 그보다 세 살 아래였습니다. 두 사람은 부부 사이가 그리 원만하지는 못했던 것으로 전해지고 있습니다. 박정희는 만주군관학교 입학 후 여름방학이 돼 귀국해서도 처자가 있는 고향집 대신에 교사 시절에 머물렀던 문경 하숙집에서 시간을 보내다 돌아가곤 했습니다. 결국 두 사람은 1950년 11월 협의 이혼하였는데, 그 사이에 딸을 하나 두었습니다. 박재옥(朴在玉)이 그 주인공인데, 박재옥의 남편 한병기(韓丙基)씨는 3공 시절 민주공화당 국회의원과 UN대사 등을 지내며 박정희의 총애를 받았습니다. 박정희가 두 번째 부인인 육영수 여사를 만난 것은 한국전쟁 중이었습니다. 1950년 8월 하순 피난지 부산에서 송재천(宋在千) 소위의 소개로 맞선을 보았는데, 4개월 뒤인 그해 12월 대구 계산성당에서 허억 당시 대구시장의 주례로 결혼식을 올렸습니다. 박정희-육영수 두 사람의 결혼식에는 일화가 몇 가지 전해오고 있습니다. 우선 육 여사 부친의 불참으로 박정희의 대구사범 스승이 대신 신부를 인도했습니다. 또 주례가 "신랑 육영수 군과 신부 박정희 양은…"이라며 신랑신부의 이름을 바꿔 불러 식장을 웃음바다로 만들었으며, 또 신부의 예물반지를 갖고 있던 송재천이 이를 잃어버렸다고 해서 김재춘이 급히 나가서 새로 하나 사오기도 했습니다. 박-육 두 사람 사이에서는 근혜, 근영, 지만 등 2녀1남을 두었습니다. 육영수와 결혼하기 전 여대생과 동거 한편 박정희는 육영수와 결혼하기 직전에 한 여대생과 동거를 하고 있었습니다. 원산 루시여고 출신으로 당시 이화여대 1학년이던 이현란(당시 24세)이 그 주인공인데, 이현란은 이국적인 외모에다 키도 크고 성격도 쾌활해 박정희 눈에 든 모양입니다. 이들 두 사람은 1948년부터 1950년 초까지 약 3년가량 사실혼 관계에 있었는데요, 1947년 12월 경리장교였던 박경원(朴璟遠, 작고)의 결혼식에 참석했다가 처음 만났습니다. 당시 박정희는 육군 대위로 조선경비사관학교(육사 전신) 중대장으로 근무하고 있었는데, 이현란과 약혼한 후 곧 이현란을 용산 관사로 데리고 와서 동거를 시작했습니다. 그러다가 박정희가 여순사건에 연루돼 감옥생활을 하면서 두 사람 사이에 금이 갔으며, 이후 이현란이 수차례의 가출과 방황을 해 결국 두 사람은 헤어지게 됐습니다. 박정희와 동거녀 이현란에 대해 그간 알려진 내용은 이 정도가 대부분입니다.