글쓴이: 티모 엘리엇(Timo Elliott)
빅데이터가 무엇인가를 놓고 의견이 분분한 가운데 항간에 떠돌고 있는 몇 가지 용어 정의에 대한 다소 냉소적인 가이드를 제시해 봅니다.
먼저 주지할 점은, 위키백과가 뭐라고 정의하건 간에, 빅데이터가 단순히 더 많은 데이터를 확보하는 데 그쳐서는 안된다는 데 업계 종사자 모두가 보편적으로 동의한다는 사실입니다.
(1) 빅데이터 – 최초의 정의
데이터양(Volume), 증가속도(Velocity), 다양성(Variety) 등 세 가지 V로 빅데이터를 정의합니다. 가장 널리 인정 받는 이 정의는 가트너의 더그레이니(Doug Laney)가 12년 전에 처음 만들었습니다. 그 후 여러 사람이 유효성(Validity), 진실성(Veracity), 가치(Value), 가시성(Visibility) 등 갖가지 V를 추가하면서 빅데이터에 대한 정의를 확대하고자 노력해 왔습니다.
(2) 기술로서의 빅데이터
그렇다면 12년이나 된 용어가 왜 다시 집중조명을 받게 되었을까요? 단순히 10년 전보다 훨씬 많은 데이터양, 증가속도, 다양성에 직면해 있기 때문만은 아닙니다. 그보다는 신기술, 특히 급부상 중인 하둡(Hadoop)과 다양한 NoSQL 방식의 오픈소스 데이터 보관, 조작 기술에 기인합니다.
이처럼 새로운 도구의 사용자는 기존의 기술과는 차별화 할 수 있는 용어가 필요했고 결국 딱 맞지는 않지만 빅데이터라는 용어를 쓰기로 했죠. 빅데이터 컨퍼런스에 가 보면 아무리 많은 V를 내세우더라도 예전 기술인 관계형 데이터베이스가 등장하는 세션은 소수에 불과하다는 사실을 확인할 수 있습니다.
(3) 데이터 분류를 위한 빅데이터
기술 분류를 위한 빅데이터의 맹점은 (가) 모호해서 업계의 모든 벤더가 빅데이터 업체라고 주장할 정도이며, (나) 모두가 논의 대상을 보다 비즈니스적이고 유용한 내용으로 옮겨야 한다는 사실을 알고 있다는 데 있습니다.
과거의 빅데이터에 비해 오늘의 빅데이터가 어떻게 다른지를 이해하고자 하는 기업을 돕기 위해 아래의 두 가지 시도를 제시합니다.
(4) 신호로서의 빅데이터
빅데이터를 신호(signal)로 보는 방식은, SAP의 스티브루카스(Steve Lucas)에 따르면, 데이터 유형(type)보다는 의도(intent)와 타이밍(timing)에 따라 세상을 구분하는 비즈니스적인 접근법입니다. 구세계는 트랜잭션 중심의 시대로서, 트랜잭션 내용을 기록할 때 쯤이면 조치를 취하기에는 이미 늦은 상황에 봉착합니다. 기업이 끊임 없이 백미러를 보고 경영하기 때문입니다. 신세계 기업은 대신 새로운 신호 데이터를 활용해 앞으로 일어날 일을 예측하고 상황 개선을 위해 일이 진행되는 과정에 개입합니다.
대표적인 사례로는 소셜미디어 상의 브랜드 감성 추적(“좋아요”가 급격히 줄어들면 매출도 따라 줄어든다)과 예방정비(복잡한 알고리즘을 적용해 항공기 부품 교체 시기를 결정해 항공기 운항에 차질을 주지 않도록 한다)를 들 수 있습니다.
(5) 기회로서의 빅데이터
451리서치(451 Research)의 맷애슬렛(Matt Aslett)은 “기술의 한계로 과거에 무시했던 데이터를 분석하는 행위”라고 빅데이터를 폭 넓게 정의합니다. 물론 맷애슬렛은 빅데이터 대신 다크데이터(Dark Data)라는 표현을 썼지만 비슷한 의미죠. 제가 제일 좋아하는 정의입니다. 대부분의 빅데이터 관련 기사나 논의에서 주로 이러한 의미로 이 용어를 사용하는 경우가 많기 때문입니다.
(6) 비유로서의 빅데이터
빅데이터의 인간적인 측면(The Human Face of Big Data)이라는 멋진 책을 통해 언론인 릭스몰런(Rck Smolan)은 빅데이터가 “지구가 신경망을 발전시키도록 돕는 과정이며 우리는 일종의 인간 센서 역할을 한다”고 정의합니다. 심오하죠? 이 책에 소개된 몇 가지 이야기를 읽거나 모바일 앱을 통해 접하고 나면 “아, 그렇구나”하고 고개를 끄덕이실 겁니다.
(7) 옛것에 대한 새이름으로서의 빅데이터
가장 게으르고 냉소적인 용어 정의인데요, 옛 기술로 충분히 가능한 프로젝트, 즉 BI나 분석이라고 불러도 충분한 내용을 갑자기 빅데이터로 둔갑시킨 사례입니다.
결론은 간단합니다. 빅데이터에 대한 용어 정의를 놓고 의견이 분분해도, 빅데이터가 매우 중요하며, 다가올 여러 해 동안 막대한 새로운 기회를 낳을 것이라는 사실에는 모두가 동의한다는 사실입니다.