지난해 한 인터뷰에서 빅데이터 기술에서 POC(개념 검증을 위한 시험 프로젝트)는 도움이 되지 못하며, 실행의지와 전략에 따른 실질적인 투자가 더 중요하다고 지적한 적이 있다. 대부분의 POC는 결실을 보지 못할 것이고 단순히 테스트나 스터디 정도로 끝날 것이란 얘기다. 실행 과정에서 빅데이터는 예측하지 못한 수많은 시행착오를 겪게 될 것이어서, 이를 해결하면서 얻게 되는 경험과 통찰이야말로 진정한 빅데이터의 힘이 될 것인데, 한 두 달만에 이루어지는 POC로는 이런 경험과 통찰을 내재화할 수 있는 시간적, 인적 여유를 가질 수 없기 때문이다. 거기에 심지어는 무료에다가 내부인력이 아닌 외주인력만으로 수행되는 POC 프로젝트에서 무엇을 얻을지는 뻔하다.
빅데이터는 과거에 여러가지 이유로 인해 처리하기 어려웠던 속성(흔히 3V라 불리는 Volume 규모, Velocity 속도, Variety 다양성 등)을 가진 데이터에 대해 새로운 기술의 발전이 이를 해결하는 과정에서 나온 개념으로 이해되고 있다. 이러한 기술들의 대표적인 성과는 투자대비효율(ROI), 특정 솔루션의 기능에 종속되지 않는 유연성(Flexibility) 그리고 증가하는 데이터의 규모를 손쉽게 해결할 수 있는 확장성(Scalibility)이다. 과거의 엔터프라이즈 솔루션환경에서는 기대하기 힘들었던 성과들이다. 그도 그럴것이 대부분의 빅데이터 기술은 구글, 야후, 페이스북 등의 서비스업체로부터 실행되고 발전되어 온 기술이기 때문이다. 종종 플랫폼 구축 자체가 목적이 되는 엔터프라이즈 환경과 달리, 서비스 품질을 지속적으로 향상시키기 위해 유기적으로 움직이는 조직 환경에서 발전되어온 것이다. 빅데이터 구축은 완료가 아니라 긴 과정의 시작일 뿐이라는 얘기는 이러한 이유에서다.
빅데이터 기술 중 상당수는 오픈소스를 중심으로 이루어져 있다. 대표적인 것이 하둡과 하둡 에코시스템을 구성하는 기술들이다. 이러한 오픈소스 기술들은 기존의 기술로 해결하기 어려웠던 대용량 데이터 처리 문제를 해결할 수 있었을 뿐 아니라, 비싼 벤더 솔루션에 비해 월등히 뛰어난 ROI를 제공하였다. 그러나 기술은 오픈소스로 무료이지만 TCO(총소유비용) 관점에서 보면 흔히 얘기되는 것처럼 반드시 저렴하지는 않다. 데이터와 기술의 종류도 워낙 다양하고 풀어야 할 숙제도 많기 때문에 과거처럼 솔루션 하나로 해결할 수 있는 것이 거의 없다. 데이터의 생성부터 시작하여 저장, 분석 및 서비스에 이르기까지 데이터 전 과정에 대한 이해와 통제도 새로운 기술을 이용하여 해결해야 한다.처리하고자 하는 데이터의 종류와 속성을 이해하고 문제 해결에 적합한 기술을 찾는 기술적 고민도 함께 해 나가야 한다.
여기에다 확장된 개념의 빅데이터에서는 이 데이터를 다루는 조직과 문화까지를 포함하게 된다. 조직 스스로 기술 내재화 과정을 통해 데이터를 다룰 수 있는 기술 역량을 키워가야 하고, 자유로운 데이터 접근과 분석 활동이 보장되도록 데이터 공유의 문제도 해결해야 할 뿐 아니라 이를 기반으로한 데이터 프로세스를 가져야한다.
초기 빅데이터 도입을 외부전문 조직과 함께 할지, 아니면 독자적으로 할 지에 대한 결정은 스스로 해야할 것이지만 이러한 조직과 문화를 가지지 못한다면 빅데이터는 경쟁력의 원천으로 활용되지 못하고 단순한 솔루션 구축으로 끝나고 말 것이다.내재화를 통해 자체 기술 역량을 확보하지 못할 경우, 오픈소스를 중심으로 구축된 솔루션은 향후 유지보수와 운영의 이슈에 직면하게 되어 더 많은 비용이 발생하거나, 심지어 중단하여 실패하는 프로젝트가 될 수도 있다.
빅데이터 기술은 빠르게 발전하고 있고 대규모 데이터에 대한 저장과 처리를 넘어 실시간 분석과 빠른 처리를 지원하는 등 진정한 데이터플랫폼으로서의 자리를 잡아가고 있다. 최근의 기술들은 기존의 데이터웨어하우스(DW) 영역으로까지 넓혀가고 있는 모양새다. 적용면에서도 빅데이터 기술은 산업의 전반적인 영역으로 확대되고 있다. 이러한 기술에 힘입어 이를 수용하고 활용하는 기업들의 경쟁력은 더욱 높아질 것은 자명하다. 그러나 빅데이터에 대한 투자는 과거처럼 프로젝트에 대한 비용 지불이라는 단순한 관점에서만 보면 성공하기 어렵다. 빅데이터 운영과 활용을 위한 경쟁력있는 조직과 문화를 갖추는 것, 이것이 빅데이터 성공의 관건이다.
권영길 그루터 대표
빅데이터는 과거에 여러가지 이유로 인해 처리하기 어려웠던 속성(흔히 3V라 불리는 Volume 규모, Velocity 속도, Variety 다양성 등)을 가진 데이터에 대해 새로운 기술의 발전이 이를 해결하는 과정에서 나온 개념으로 이해되고 있다. 이러한 기술들의 대표적인 성과는 투자대비효율(ROI), 특정 솔루션의 기능에 종속되지 않는 유연성(Flexibility) 그리고 증가하는 데이터의 규모를 손쉽게 해결할 수 있는 확장성(Scalibility)이다. 과거의 엔터프라이즈 솔루션환경에서는 기대하기 힘들었던 성과들이다. 그도 그럴것이 대부분의 빅데이터 기술은 구글, 야후, 페이스북 등의 서비스업체로부터 실행되고 발전되어 온 기술이기 때문이다. 종종 플랫폼 구축 자체가 목적이 되는 엔터프라이즈 환경과 달리, 서비스 품질을 지속적으로 향상시키기 위해 유기적으로 움직이는 조직 환경에서 발전되어온 것이다. 빅데이터 구축은 완료가 아니라 긴 과정의 시작일 뿐이라는 얘기는 이러한 이유에서다.
빅데이터 기술 중 상당수는 오픈소스를 중심으로 이루어져 있다. 대표적인 것이 하둡과 하둡 에코시스템을 구성하는 기술들이다. 이러한 오픈소스 기술들은 기존의 기술로 해결하기 어려웠던 대용량 데이터 처리 문제를 해결할 수 있었을 뿐 아니라, 비싼 벤더 솔루션에 비해 월등히 뛰어난 ROI를 제공하였다. 그러나 기술은 오픈소스로 무료이지만 TCO(총소유비용) 관점에서 보면 흔히 얘기되는 것처럼 반드시 저렴하지는 않다. 데이터와 기술의 종류도 워낙 다양하고 풀어야 할 숙제도 많기 때문에 과거처럼 솔루션 하나로 해결할 수 있는 것이 거의 없다. 데이터의 생성부터 시작하여 저장, 분석 및 서비스에 이르기까지 데이터 전 과정에 대한 이해와 통제도 새로운 기술을 이용하여 해결해야 한다.처리하고자 하는 데이터의 종류와 속성을 이해하고 문제 해결에 적합한 기술을 찾는 기술적 고민도 함께 해 나가야 한다.
여기에다 확장된 개념의 빅데이터에서는 이 데이터를 다루는 조직과 문화까지를 포함하게 된다. 조직 스스로 기술 내재화 과정을 통해 데이터를 다룰 수 있는 기술 역량을 키워가야 하고, 자유로운 데이터 접근과 분석 활동이 보장되도록 데이터 공유의 문제도 해결해야 할 뿐 아니라 이를 기반으로한 데이터 프로세스를 가져야한다.
초기 빅데이터 도입을 외부전문 조직과 함께 할지, 아니면 독자적으로 할 지에 대한 결정은 스스로 해야할 것이지만 이러한 조직과 문화를 가지지 못한다면 빅데이터는 경쟁력의 원천으로 활용되지 못하고 단순한 솔루션 구축으로 끝나고 말 것이다.내재화를 통해 자체 기술 역량을 확보하지 못할 경우, 오픈소스를 중심으로 구축된 솔루션은 향후 유지보수와 운영의 이슈에 직면하게 되어 더 많은 비용이 발생하거나, 심지어 중단하여 실패하는 프로젝트가 될 수도 있다.
빅데이터 기술은 빠르게 발전하고 있고 대규모 데이터에 대한 저장과 처리를 넘어 실시간 분석과 빠른 처리를 지원하는 등 진정한 데이터플랫폼으로서의 자리를 잡아가고 있다. 최근의 기술들은 기존의 데이터웨어하우스(DW) 영역으로까지 넓혀가고 있는 모양새다. 적용면에서도 빅데이터 기술은 산업의 전반적인 영역으로 확대되고 있다. 이러한 기술에 힘입어 이를 수용하고 활용하는 기업들의 경쟁력은 더욱 높아질 것은 자명하다. 그러나 빅데이터에 대한 투자는 과거처럼 프로젝트에 대한 비용 지불이라는 단순한 관점에서만 보면 성공하기 어렵다. 빅데이터 운영과 활용을 위한 경쟁력있는 조직과 문화를 갖추는 것, 이것이 빅데이터 성공의 관건이다.
권영길 그루터 대표
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
