한수원블로그
삶에 활력(力)을 더하는 이야기
모바일메뉴 열기
검색창 닫기

미래를 여는 신기술 : 빅데이터(Big Data)

  • 2015.06.11.
  • 2448
  • 블로그지기
  • 페이스북
  • 트위터
  • 카카오
  • 인쇄

KHNP20150611_01

 

지난 몇 년 전부터 우리는 각종 미디어를 통해서 자주 듣는 단어가 있습니다.

이 단어는 이미 전 세계적으로 다양한 변화를 일으켜왔고 지금도 각종 기관이나 기업에서 실제로 사용되어 기업의 경영방향을 결정하는데 사용되기도 하며, 각종 홍보와 상품의 추천 고객의 성향을 파악하는데도 이용되고 있습니다.

어떤 단어인지 짐작이 되시나요? 여러분이 추측대로 그 단어는 바로 ‘빅데이터(Big Data)’입니다.
대중에게 알려진지 그리 오래되지 않은 빅데이터는 어떻게 세상을 바꿔 놓았을까요?

미래를 여는 신기술 오늘은 빅데이터에 대해 알아봅니다.

 

KHNP20150611_02

 

◆ 빅데이터(Big Data)가 무엇인지 그리고 어떻게 이용될 수 있나요?

세계적인 영화감독 스티븐 스필버그가 감독한 영화 <마이너리티 리포트>는 13년이 지난 오늘날에도 SF 영화하면 떠오르는 대표적인 영화 중에 하나입니다. 영화에서는 미래의 세계를 보여주는데 인상적인 장면들이 여럿 있습니다.

범죄자를 잡기 위한 탐색 로봇, 하늘을 날아다니는 운송수단, 옷가게에서는 사람에 따라 옷을 추천해 줍니다.
무엇보다도 인상적인 것은 시스템으로 구현한 미래의 범죄자를 예언한다는 것입니다.

영화 속의 기술을 따라가기에는 아직은 멀었지만 비슷한 일들을 해내고 있습니다. 바로 빅데이터를 이용해서 말이죠.

빅데이터는 기존 데이터베이스 관리도구로 데이터를 수집, 저장, 관리, 분석할 수 있는 역량을 넘어서는 대량의 정형 또는 비정형 데이터 집합 및 이러한 데이터로부터 가치를 추출하고 결과를 분석하는 기술을 의미합니다.

이같이 빅 데이터는 정치, 사회, 경제, 문화, 과학 기술 등 전 영역에 걸쳐서 사회와 인류에게 가치 있는 정보를 제공할 수 있는 가능성을 제시하며 그 중요성이 부각되었고 여러 곳에서 이미 사용하고 있습니다.

가깝게는 개인 취향에 맞는 영화 추천 어플로 유명한 ‘왓챠(watcha)’에서부터, 미국의 통합형 탈세 및 사시 범죄 방지 시스템, 버락 오바마를 미국의 대통령으로 당선되게 하는데 혁혁한 공을 세운 빅데이터는 다양한 분야에서 이용되고 있습니다.

조금 더 구체적으로 미국 국세청의 사례를 들어보면 다음과 같습니다.

 

글로벌 금융위기로 인해 미국에서는 탈세와 사기 등 금융범죄도 늘어났고 이는 다시 국가 재정에 위기를 불러 왔습니다.
2010년을 기준으로 미국의 탈세금액은 저소득층의 의료보장 총액을 초과했을 정도로 커져버린 상황이었습니다.

미국의 국세청은 이러한 상황을 더 두고 볼 수 없어 2011년 대용량 데이터와 IT기술을 결합해통합형 탈세 및 사기 범죄 방지 시스템’을 구축했습니다.

이상 징후를 사기 방지 솔루션으로 미리 찾아냈는데, 예측 모델링을 통해 납세자의 과거 행동 정보를 분석한 다음 사기 패턴과 유사한 행동을 검출하고 그 뒤 페이스북이나 트위터를 통해 범죄자와 관련된 계좌, 주소, 전화번호, 납세자 간 연관관계 등을 분석해 고의 세금 체납자를 찾아내는 방식이었습니다.

이 과정에서 미 국세청은 오픈소스 기반의 대용량 데이터 처리 소프트웨어를 적용해 저렴한 비용으로 데이터를 분석했고 그 결과 연간 3,450억 달러에 이르는 세금 누락을 막아내는 성과도 있었습니다.

이외에도 구글의 자동번역 시스템, IBM의 슈퍼컴퓨터 ‘왓슨’, 아마존의 도서 추천 시스템도 이러한 빅데이터를 이용한 대표적인 시스템으로 우리의 생활에도 영향을 주고 있습니다.

 

KHNP20150611_03

 

◆ 컴퓨터는 꽤나 오래전부터 존재했는데 ‘빅데이터(Big Data)’ 과거에는 없었나요?

빅데이터가 방대한 분량의 데이터들을 분석하는 것이라면 이전에는 빅데이터라는 용어만 없을 뿐 존재하고 있던 건 아닐까 의문이 들기도 합니다.

하지만 결론부터 이야기하자면 ‘없었다’고 보는 것이 맞을 듯합니다.

데이터의 분석은 이전부터 있어왔지만 이전의 데이터는 데이터의 양으로만 따져보아도 빅데이터라고 부르기도 어색해집니다.

미국의 저장 장치 업체 EMC가 IDC에 의뢰해 발표한 ‘디지털 유니버스 보고서 : 빅데이터, 더욱 길어진 디지털 그림자, 이머징 마켓의 놀라운 성장’이라는 연구 보고서에 따르면 전 세계적으로 2012년 한 해 동안 생성된 데이터의 양은 2.8제타바이트(*ZB)로, 이전까지 생성된 데이터양을 모두 합친 것보다 많다고 합니다.

 

*제타바이트(ZetaByte) : 컴퓨터의 메모리(용량)를 나타내는 단위로 1제타바이트는 1조 1000억 기가바이트 (GB)에 해당됩니다.

 

우리는 그야말로 엄첨난 빅데이터 시대를 살고 있는 것이라고 할 수 있습니다.
따라서 빅데이터는 기존의 인프라와 아키텍처로는 더 이상 처리하고 분석하는 것이 어려운 데이터를 이야기합니다.

물론 예전에도 슈퍼컴퓨팅을 이용해 거대한 양의 데이터를 분석할 수 있었습니다.
하지만 비용 대비 효과가 낮았었고, 수십억원을 들여야만 대용량 데이터를 분석할 수 있었기에 정부 차원에서나 할 수 있는 일이었습니다.

하지만 오늘날의 빅데이터’는 저렴한 비용으로 엄청난 데이터를 효과적으로 처리할 수 있게 되었습니다.

비정형 데이터를 분석할 수 있는 기술과 텍스트 분석, 하둡 등과 같은 오픈소스 기술이 등장하면서 기업은 과거 대용량 데이터 처리에 들었던 비용과는 비교가 안될 정도의 저렴한 비용으로 복잡하고 거대한 데이터 속에서 원하는 정보를 추출하고 이를 기존 정보와 통합해 가치를 전달할 수 있게 되었습니다.

지금도 활발하게 빅데이터는 이용이 되고 있습니다.
비록 지금은 엉성해 보일 수도 있으나 그마저도 시간이 지날수록 더욱 정교해지고 완벽에 가까워지고 있습니다.

앞서 말씀드린 마이너리티 리포트에서처럼 나에게 말을 걸어 친절하게 상품을 추천해주고 내가 필요한 물건, 보고 싶은 영화를 완벽에 가깝게 추천해줄 그날이 멀지 않을 것 같습니다.

 

블로그지기

0

댓글 남기기

블로그지기
블로그지기
한수원의 생생한 소식과 한수원사람들의 이야기를 전합니다
목록