필요한 정보만 쏙쏙… 빅데이터 시대 각광
데이터 일원화 관리 시스템
고속검색 가능 등 기술진화
서비스업종 중심 구축 활발
A사는 지난 수십년간 축적해 온 대량의 데이터로 조직 의사결정에 필요한 중요 정보를 산출하기 위해 다양한 방법들을 시도했습니다. 보유하고 있는 데이터는 많았지만 의미 있는 정보를 공유, 분석 및 변환하기에는 부서별, 시스템별로 데이터가 분산돼 적시에 찾아내기가 어려웠습니다. 즉 부서별로 수집되는 데이터는 서로 다른 애플리케이션 플랫폼으로 저장돼 부서별 공유가 어려웠고, 이로 인한 데이터의 중복 수집은 자원을 낭비하게 만들었습니다. 데이터가 폭증하면서 이같은 문제점이 더욱 부각되는데요. A사와 같은 고민을 해소하기 위해 주목받고 있는 게 `데이터 웨어하우스(Data warehouse, DW)'입니다.
DW란 1980년대 중반 IBM이 `인포메이션 웨어하우스(Information Warehouse)'라는 개념으로 처음 소개하기 시작했습니다. 이는 사용자의 의사 결정에 도움을 주기 위해 기간 시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해 관리하는 데이터베이스를 뜻했습니다. 이후 이 개념은 많은 하드웨어, 소프트웨어 및 툴 공급 업체들에 의해 이론적, 현실적으로 성장했으며, 1980년대 후반 컴퓨터 공학자 빌 인몬 (Bill Inmon)이 데이터 접근 전략으로 데이터 웨어하우스 개념을 사용함으로써 많은 관심과 집중을 받게 됐습니다.
DW는 데이터의 수용이나 분석 방법까지 포함해 조직 내 의사 결정을 지원하는 정보 관리 시스템으로 이용됩니다. 목적별 데이터를 비롯해 기업 활동 전반에 필요한 정보를 전사 규모의 데이터베이스로 일원화해 관리하게 되는 것입니다. 이는 원시 데이터 계층, 데이터 웨어하우스 계층, 클라이언트 계층으로 구성되며 데이터의 추출, 저장, 조회 등 활동을 담당하게 됩니다. 사용목적은 고객의 구매 동향, 신제품에 대한 반응도, 제품별 수익률 등 세밀한 마케팅 정보를 얻는 것을 목표로 합니다.
1980년대 최초 소개된 개념이지만 최근에야 주목받게 된 것은 데이터양의 폭증과 함께 이를 수용할 수 있는 기술의 발달을 꼽을 수 있습니다. DW는 목적별 데이터뿐만 아니라 기업 활동에 관한 모든 정보를 전 회사 규모의 데이터베이스로 일원화해 관리하므로 그 용량이 작게는 수백기가바이트(GB)에서 수테라바이트(TB)에 이릅니다. 따라서 대형 메인프레임 등 기존 플랫폼으로는 시간과 비용의 제약으로 구축이 곤란했지만, 병렬 서버기기의 등장과 자기 디스크 장치의 대용량화ㆍ저가격화로 구축이 더욱 용이해졌습니다. 병렬 서버를 사용하면 하나의 검색 처리 요구를 분할해 복수 프로세스로 병렬 처리함으로써 고속으로 검색할 수 있기 때문입니다.
최근 국내에도 금융, 유통, 통신 등 서비스 업종을 중심으로 여러 기업들이 DW 및 정보계 시스템을 재구축했거나, 이를 계획하고 있는 것으로 알려져 있습니다. 이처럼 기업들이 DW 구축에 관심을 보이면서 관련 솔루션 출시 역시 활발히 출시되고 있습니다. 솔루션 개발 업체는 크게 세 가지 관점을 중점으로 고려해 개발하고 있습니다. 우선 빅 데이터 분석을 통한 지식 창출을 목표하는데요. 빅 데이터 통합 및 실시간 데이터 분석 기능을 통해 소셜 네트워크 정보나 모바일 기기 문자 메시지 등 구조화돼 있지 않은 정보에서 더욱 빠른 시간 안에 심층적인 지식 창출을 중점으로 두고 있습니다. 이어 `비즈니스는 더욱 빠르게, 데이터 관리 비용은 더 낮게'를 모토로 적응형 압축(Adaptive Compressive) 및 사용빈도에 따른 스토리지 차등 관리(Multi-temperature Data Management)를 통해 데이터를 손쉽고 즉각적으로 비즈니스 애플리케이션에 투입할 수 있으며, 가장 효과적인 장소에 저장할 수 있는 솔루션을 출시하고 있습니다. 이밖에 과거와 미래를 분석해 더욱 정확한 의사 결정을 가능케 하기 위한 손쉬운 접근 프로세스도 제공하고 있습니다. 가령 온라인 여행사에서 시스템을 사용할 경우, 로마의 호텔 예약은 8일간인데 반해 자동차 렌트는 뉴욕에서 3일간 예약되는 것과 같이 여행 일정상의 오류를 자동으로 감지해 낼 수 있는 것입니다.
앞으로 DW에 대한 논의는 구축에 대한 필요성 논의보다는 DW에 무엇을 넣을 것인지에 대한 논의가 활발해질 것으로 전문가들은 예상하고 있습니다. 기업의 정보가치에서 부가가치를 창출하기 위해서는 새로운 데이터뿐만 아니라 외부 데이터 확보도 중요하기 때문입니다. 아무리 시스템이 잘 구축돼 있더라도 자신이 원하는 정보가 없다면 아무 소용이 없게 됩니다. 이것이 바로 시장이 요구하는 `기업의 메타데이터 저장소'의 모습일 것입니다.
정용철기자 jungyc@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
고속검색 가능 등 기술진화
서비스업종 중심 구축 활발
A사는 지난 수십년간 축적해 온 대량의 데이터로 조직 의사결정에 필요한 중요 정보를 산출하기 위해 다양한 방법들을 시도했습니다. 보유하고 있는 데이터는 많았지만 의미 있는 정보를 공유, 분석 및 변환하기에는 부서별, 시스템별로 데이터가 분산돼 적시에 찾아내기가 어려웠습니다. 즉 부서별로 수집되는 데이터는 서로 다른 애플리케이션 플랫폼으로 저장돼 부서별 공유가 어려웠고, 이로 인한 데이터의 중복 수집은 자원을 낭비하게 만들었습니다. 데이터가 폭증하면서 이같은 문제점이 더욱 부각되는데요. A사와 같은 고민을 해소하기 위해 주목받고 있는 게 `데이터 웨어하우스(Data warehouse, DW)'입니다.
DW란 1980년대 중반 IBM이 `인포메이션 웨어하우스(Information Warehouse)'라는 개념으로 처음 소개하기 시작했습니다. 이는 사용자의 의사 결정에 도움을 주기 위해 기간 시스템의 데이터베이스에 축적된 데이터를 공통의 형식으로 변환해 관리하는 데이터베이스를 뜻했습니다. 이후 이 개념은 많은 하드웨어, 소프트웨어 및 툴 공급 업체들에 의해 이론적, 현실적으로 성장했으며, 1980년대 후반 컴퓨터 공학자 빌 인몬 (Bill Inmon)이 데이터 접근 전략으로 데이터 웨어하우스 개념을 사용함으로써 많은 관심과 집중을 받게 됐습니다.
DW는 데이터의 수용이나 분석 방법까지 포함해 조직 내 의사 결정을 지원하는 정보 관리 시스템으로 이용됩니다. 목적별 데이터를 비롯해 기업 활동 전반에 필요한 정보를 전사 규모의 데이터베이스로 일원화해 관리하게 되는 것입니다. 이는 원시 데이터 계층, 데이터 웨어하우스 계층, 클라이언트 계층으로 구성되며 데이터의 추출, 저장, 조회 등 활동을 담당하게 됩니다. 사용목적은 고객의 구매 동향, 신제품에 대한 반응도, 제품별 수익률 등 세밀한 마케팅 정보를 얻는 것을 목표로 합니다.
1980년대 최초 소개된 개념이지만 최근에야 주목받게 된 것은 데이터양의 폭증과 함께 이를 수용할 수 있는 기술의 발달을 꼽을 수 있습니다. DW는 목적별 데이터뿐만 아니라 기업 활동에 관한 모든 정보를 전 회사 규모의 데이터베이스로 일원화해 관리하므로 그 용량이 작게는 수백기가바이트(GB)에서 수테라바이트(TB)에 이릅니다. 따라서 대형 메인프레임 등 기존 플랫폼으로는 시간과 비용의 제약으로 구축이 곤란했지만, 병렬 서버기기의 등장과 자기 디스크 장치의 대용량화ㆍ저가격화로 구축이 더욱 용이해졌습니다. 병렬 서버를 사용하면 하나의 검색 처리 요구를 분할해 복수 프로세스로 병렬 처리함으로써 고속으로 검색할 수 있기 때문입니다.
최근 국내에도 금융, 유통, 통신 등 서비스 업종을 중심으로 여러 기업들이 DW 및 정보계 시스템을 재구축했거나, 이를 계획하고 있는 것으로 알려져 있습니다. 이처럼 기업들이 DW 구축에 관심을 보이면서 관련 솔루션 출시 역시 활발히 출시되고 있습니다. 솔루션 개발 업체는 크게 세 가지 관점을 중점으로 고려해 개발하고 있습니다. 우선 빅 데이터 분석을 통한 지식 창출을 목표하는데요. 빅 데이터 통합 및 실시간 데이터 분석 기능을 통해 소셜 네트워크 정보나 모바일 기기 문자 메시지 등 구조화돼 있지 않은 정보에서 더욱 빠른 시간 안에 심층적인 지식 창출을 중점으로 두고 있습니다. 이어 `비즈니스는 더욱 빠르게, 데이터 관리 비용은 더 낮게'를 모토로 적응형 압축(Adaptive Compressive) 및 사용빈도에 따른 스토리지 차등 관리(Multi-temperature Data Management)를 통해 데이터를 손쉽고 즉각적으로 비즈니스 애플리케이션에 투입할 수 있으며, 가장 효과적인 장소에 저장할 수 있는 솔루션을 출시하고 있습니다. 이밖에 과거와 미래를 분석해 더욱 정확한 의사 결정을 가능케 하기 위한 손쉬운 접근 프로세스도 제공하고 있습니다. 가령 온라인 여행사에서 시스템을 사용할 경우, 로마의 호텔 예약은 8일간인데 반해 자동차 렌트는 뉴욕에서 3일간 예약되는 것과 같이 여행 일정상의 오류를 자동으로 감지해 낼 수 있는 것입니다.
앞으로 DW에 대한 논의는 구축에 대한 필요성 논의보다는 DW에 무엇을 넣을 것인지에 대한 논의가 활발해질 것으로 전문가들은 예상하고 있습니다. 기업의 정보가치에서 부가가치를 창출하기 위해서는 새로운 데이터뿐만 아니라 외부 데이터 확보도 중요하기 때문입니다. 아무리 시스템이 잘 구축돼 있더라도 자신이 원하는 정보가 없다면 아무 소용이 없게 됩니다. 이것이 바로 시장이 요구하는 `기업의 메타데이터 저장소'의 모습일 것입니다.
정용철기자 jungyc@
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
