빅데이터를 가지고 무엇을 하려는지 분석의 목적 분명히 하고 그 결과가 원하는 목적에 부합되었는지 판단하는 일이 가장 중요
올해는 아마도 우리나라에서도 빅데이터 시장이 열리는 원년이 될 것 같다. 그만큼 빅데이터에 대한 출발을 알리는 정부 사업들이 발주되기 시작했고, 소프트웨어ㆍ하드웨어ㆍ서비스 벤더들이 움직이고 있다. 그러나, 빅데이터의 특이한 성격상 빅데이터 프로젝트를 일반적인 IT프로젝트로 생각하고 같은 방식으로 추진하다가는 실패할 가능성이 매우 높다.
빅데이터 프로젝트는 기존 IT프로젝트와는 달리 여러 가지 특이한 요소가 있다. 그러기에 이러한 특이한 점을 잘 이해하고 프로젝트를 진행하는 것이 빅데이터 프로젝트의 성공요소라고 할 수 있다.
첫째로, 철저하게 업무를 담당하는 현업 중심으로 프로젝트를 추진해야 한다. 빅데이터는 IT 프로젝트가 절대로 아니다. IT 부서가 일부 참여는 해야 하나, 발주는 현업이 해야 하며 프로젝트 매니저도 현업이 해야 한다. 현업부서가 요구사항을 만들고 분석 결과를 검토하고 그 결과를 업무에 적용해야 한다. 물론 IT부서가 해야 할 일은 많다. 데이터의 정합성, 데이터의 질(quality), 데이터의 위치, 빅데이터 작업 방식, 빅데이터 소프트웨어/하드웨어의 구매 및 설치, 유지보수 등 상당히 많다. 그럼에도 빅데이터 프로젝트는 현업이 반드시 담당해야 하는 이유는 빅데이터를 가지고 무엇을 하려고 하는지 분석의 목적을 분명히 정하고 그에 따른 분석 결과가 원하는 목적에 부합되었는지도 판단하는 일이 가장 중요하기 때문이다.
둘째로, 빅데이터 프로젝트를 성공시키기 위해서는 3가지 종류의 전문가가 필요하다. 이 3가지의 전문가 반드시 있어야만 프로젝트가 성공할 가능성이 높아진다. 빅데이터 컨설턴트, 분석 전문가, 빅데이터 아키텍트 등 세 가지 전문가가 꼭 필요하다.
빅데이터 컨설턴트는 업을 이해하고 현업의 요구를 이해하고 만들어가는 사람이다. 기업 내에 다양한 일을 하는 현업이 빅데이터의 성격을 이해하고 직접 빅데이터 요건을 만들기는 어렵다. 또한 빅데이터로 할 수 있는 것과 빅데이터로 할 수 없는 것을 구분하는 것도 쉽지 않다. 따라서, 이러한 분야를 잘 이해하는 컨설턴트의 도움을 받는 것이 프로젝트 성공을 위해서 꼭 필요하다. 현업과 빅데이터 컨설턴트는 빅데이터 프로젝트의 목표와 요구사항을 정리한 후에는 그것을 가지고 데이터 분석을 위한 모델링 요구사항을 만들어야 한다. 어떤 데이터를 어떻게 분석해서 어떠한 결과를 원하는지 결정하는 것이다. 또한 그 결과에 따라서 어떠한 비즈니스적인 액션을 취해야 하는지를 결정하는 것이 컨설턴트가 해야 할 일이다. 데이터 분석전문가는 이러한 모델링 요구사항으로부터, 분석모델을 만들고, 데이터의 요건을 정의하고 그 정의된 데이터와 다양한 방식으로 재구성된 파생변수 등을 주어진 형식에 맞도록 IT 부서에게 만들어 달라고 요구해야 한다. 그리고, IT 부서가 만든 데이터로 분석모델을 돌린다. 만일 비정형 데이터나 텍스트 데이터, SNS 데이터를 분석하기 위해서 또 다른 분석 전문가가 필요하다.빅데이터 아키텍트(architect)는 기존 시스템에서 분석전문가들이 요구하는 데이터를 가장 신속하며 정확하게 만들어 주며, 데이터에 대한 정합성, 데이터의 질을 확보할 수 있도록 아키텍처를 구성하는 일을 담당하게 된다. 그리고, 프로젝트의 결과가 제대로 나오기 시작하면, 데이터를 추출하고, 파생변수들을 만들고 최종 데이터 모델을 돌려서 결과가 나오기까지 전 과정을 자동화시킬 수 있는 방안을 찾아 주는 역할을 한다. 이러한 세 종류의 전문가는 굳이 서로 다른 사람일 필요는 없다. 한 사람이 두 가지에 모두 전문가적인 능력을 갖고 있는 것이 더욱 좋다. 세 분야 모두 많은 경험을 갖고 있다면 두말할 것이 가장 좋은 것이며, 이를 두고 데이터 사이언티스트(data scientist)라고 할 수 있다.
셋째로 중요한 것은 빅데이터 프로젝트는 일회성이어서는 안 된다는 것이다. 한번 분석 모델을 만들고 그것이 효과가 있는지 없는지 검증하기 어렵다. 대부분의 빅데이터 프로젝트는 끊임없이 결과치를 더욱 좋게 만들 수 있는 방안을 모색해야 하고, 다른 분야에 확장시킬 수 있는지를 검토해야 한다. 한 마디로 빅데이터 프로젝트는 계속적인 업그레이드를 해야 한다. 한번의 프로젝트로 끝나서는 안 된다.
장동인 미래읽기컨설팅 대표 빅데이터 전문가 협의회 의장
빅데이터 프로젝트는 기존 IT프로젝트와는 달리 여러 가지 특이한 요소가 있다. 그러기에 이러한 특이한 점을 잘 이해하고 프로젝트를 진행하는 것이 빅데이터 프로젝트의 성공요소라고 할 수 있다.
첫째로, 철저하게 업무를 담당하는 현업 중심으로 프로젝트를 추진해야 한다. 빅데이터는 IT 프로젝트가 절대로 아니다. IT 부서가 일부 참여는 해야 하나, 발주는 현업이 해야 하며 프로젝트 매니저도 현업이 해야 한다. 현업부서가 요구사항을 만들고 분석 결과를 검토하고 그 결과를 업무에 적용해야 한다. 물론 IT부서가 해야 할 일은 많다. 데이터의 정합성, 데이터의 질(quality), 데이터의 위치, 빅데이터 작업 방식, 빅데이터 소프트웨어/하드웨어의 구매 및 설치, 유지보수 등 상당히 많다. 그럼에도 빅데이터 프로젝트는 현업이 반드시 담당해야 하는 이유는 빅데이터를 가지고 무엇을 하려고 하는지 분석의 목적을 분명히 정하고 그에 따른 분석 결과가 원하는 목적에 부합되었는지도 판단하는 일이 가장 중요하기 때문이다.
둘째로, 빅데이터 프로젝트를 성공시키기 위해서는 3가지 종류의 전문가가 필요하다. 이 3가지의 전문가 반드시 있어야만 프로젝트가 성공할 가능성이 높아진다. 빅데이터 컨설턴트, 분석 전문가, 빅데이터 아키텍트 등 세 가지 전문가가 꼭 필요하다.
빅데이터 컨설턴트는 업을 이해하고 현업의 요구를 이해하고 만들어가는 사람이다. 기업 내에 다양한 일을 하는 현업이 빅데이터의 성격을 이해하고 직접 빅데이터 요건을 만들기는 어렵다. 또한 빅데이터로 할 수 있는 것과 빅데이터로 할 수 없는 것을 구분하는 것도 쉽지 않다. 따라서, 이러한 분야를 잘 이해하는 컨설턴트의 도움을 받는 것이 프로젝트 성공을 위해서 꼭 필요하다. 현업과 빅데이터 컨설턴트는 빅데이터 프로젝트의 목표와 요구사항을 정리한 후에는 그것을 가지고 데이터 분석을 위한 모델링 요구사항을 만들어야 한다. 어떤 데이터를 어떻게 분석해서 어떠한 결과를 원하는지 결정하는 것이다. 또한 그 결과에 따라서 어떠한 비즈니스적인 액션을 취해야 하는지를 결정하는 것이 컨설턴트가 해야 할 일이다. 데이터 분석전문가는 이러한 모델링 요구사항으로부터, 분석모델을 만들고, 데이터의 요건을 정의하고 그 정의된 데이터와 다양한 방식으로 재구성된 파생변수 등을 주어진 형식에 맞도록 IT 부서에게 만들어 달라고 요구해야 한다. 그리고, IT 부서가 만든 데이터로 분석모델을 돌린다. 만일 비정형 데이터나 텍스트 데이터, SNS 데이터를 분석하기 위해서 또 다른 분석 전문가가 필요하다.빅데이터 아키텍트(architect)는 기존 시스템에서 분석전문가들이 요구하는 데이터를 가장 신속하며 정확하게 만들어 주며, 데이터에 대한 정합성, 데이터의 질을 확보할 수 있도록 아키텍처를 구성하는 일을 담당하게 된다. 그리고, 프로젝트의 결과가 제대로 나오기 시작하면, 데이터를 추출하고, 파생변수들을 만들고 최종 데이터 모델을 돌려서 결과가 나오기까지 전 과정을 자동화시킬 수 있는 방안을 찾아 주는 역할을 한다. 이러한 세 종류의 전문가는 굳이 서로 다른 사람일 필요는 없다. 한 사람이 두 가지에 모두 전문가적인 능력을 갖고 있는 것이 더욱 좋다. 세 분야 모두 많은 경험을 갖고 있다면 두말할 것이 가장 좋은 것이며, 이를 두고 데이터 사이언티스트(data scientist)라고 할 수 있다.
셋째로 중요한 것은 빅데이터 프로젝트는 일회성이어서는 안 된다는 것이다. 한번 분석 모델을 만들고 그것이 효과가 있는지 없는지 검증하기 어렵다. 대부분의 빅데이터 프로젝트는 끊임없이 결과치를 더욱 좋게 만들 수 있는 방안을 모색해야 하고, 다른 분야에 확장시킬 수 있는지를 검토해야 한다. 한 마디로 빅데이터 프로젝트는 계속적인 업그레이드를 해야 한다. 한번의 프로젝트로 끝나서는 안 된다.
장동인 미래읽기컨설팅 대표 빅데이터 전문가 협의회 의장
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
