'선 분석 후 저장' 액티브한 프로세싱
u시티 버스운행 실시간 확인
금융 탈ㆍ위법 의심거래 추출
데이터 폭증 한계 극복 대안
초당 수백만건에 달하는 금융거래, 수억건에 달하는 통신 데이터 등 우리 주변에서 일상적으로 발생하는 데이터량은 상상을 초월할만큼 늘어나고 있습니다. 문제는 기존의 데이터베이스로는 이와 같은 데이터를 처리하는데 점점 한계에 다다르고 있다는 것입니다. 저장해야 할 실시간 데이터가 방대해지는 반면 실시간 고급분석에 대한 수요는 오히려 늘어나고 있기 때문입니다. `스트리밍(Streaming) 데이터 처리'는 이와 같은 새로운 데이터베이스 환경을 겨냥해 새롭게 주목받고 있습니다.
스트리밍 데이터 처리의 개념은 매우 간단합니다. 초당 수백만건 이상씩 발생하는 데이터를 일종의 `정보의 흐름(stream)'으로 보고 미리 정의된 규칙에 맞는 데이터만 걸려내는 것입니다. 기존의 데이터베이스가 대부분 디스크에 저장한 후 분석하는 방식이었고 메인메모리 DBMS의 경우 이 디스크를 메모리로 대체해 처리속도를 높이는 시도였다면 스트리밍 데이터 처리는 `저장'이라는 프로세스 앞단계에서 데이터를 고민하는 전혀 새로운 접근 방식인 셈입니다.
스트리밍 데이터 처리 개념이 등장한 1차적인 이유는 데이터량 자체가 폭발적으로 증가하고 있기 때문입니다. 시장조사업체에 따르면 2011년 기준 국내에서 생성, 복제되는 데이터량은 2만7237PB에 달할 것으로 전망됩니다. 2007년과 비교하면 6배 가량 늘어난 수치로 데이터 증가 속도는 점점 더 빨라지고 있습니다.
데이터 폭증의 주범은 IT 시스템의 범용화와 유비쿼터스 컴퓨팅 환경의 확산이 꼽힙니다. USN(Ubiquitous Sensor Network) 환경에서 수많은 센서들이 쏟아내는 데이터, 반도체ㆍ자동차 등 제조 공정의 생산 설비에서 발생하는 데이터, 증권 거래 시스템의 시세ㆍ주문 데이터 등 초당 최대 수백만건에 달하는 상상할 수 없이 거대한 정보시스템들이 속속 등장하고 있습니다.
더욱 중요한 것은 이러한 데이터들이 `연속성'이라는 속성을 갖고 있다는 점입니다. 고정된 형태가 아니라 변화하는 실시간으로 변화하는 살아 있는 데이터로 마치 하나의 생명체처럼 호흡하는 데이터라는 뜻에서 액티브 데이터(Active Data)라고 표현되기도 합니다.
문제는 기존의 방식으로 연속성을 갖고 있는 대규모 데이터를 처리하는 것이 점점 한계에 봉착하고 있다는 점입니다. 완전한 테이블 형태가 아닌 스트림 형태이기 때문에 DBMS처럼 입력 스트림 전체를 저장했다가 한꺼번에 처리하는 것은 공간이나 시간적인 면에서 효율적이지 못합니다. 애플리케이션 혹은 사용자의 요청이 있을 때마다 주기적으로 쿼리를 수행하는 구조 역시 데이터 스트림 처리에 있어 시스템 부하와 응답속도 측면에서 한계가 있을 수 있다는 지적이 나옵니다.
따라서 각 데이터 스스로 자신이 수행해야 할 쿼리를 판단해 처리할 수 있는 액티브한 프로세싱, 일정 기간 동안 지속적으로 사용될 수 있는 연속 질의(Continuous Query), 물리적인 장비나 공간의 제약을 받지 않고 원하는 시간에 원하는 곳으로 전송하는 기능 등을 지원하는 스트리밍 데이터 처리 개념이 등장한 것입니다.
스트리밍 데이터 처리가 먼저 적용될 수 있는 부문은 데이터량이 폭발적으로 증가하는 영역이 될 전망됩니다.
u시티 등 다수의 센서가 도시 곳곳에 설치돼 막대한 데이터를 실시간으로 발생시키는 분야가 대표적으로 u시티에 스트리밍 데이터 처리 기술을 적용하면 각 센서가 보내오는 막대한 데이터를 분석해 미아를 찾거나 버스운행 상태를 실시간으로 확인하고 장애 여부도 바로 확인할 수 있습니다. 현재 RFID와 USN을 이용해 좁은 지역 내에서 수십명 규모의 미아를 찾는 서비스는 이미 상용화돼 있지만 스트리밍 데이터 처리 기술을 이용하면 수만명을 대상으로한 실시간 동시 서비스도 가능하다고 전문가들은 설명합니다.
금융권 역시 조기 적용이 가능한 분야로 꼽힙니다. 초당 수백만건에 달하는 금융 거래 데이터들 가운데 탈법, 위법이 의심되는 거래 만을 추출한다거나 증권 거래시 특정 종목의 주가가 거래량 등이 일정 수준에 도달하면 자동으로 개입하는 등 다양한 활용 가능성이 검토되고 있습니다. 특히 증권업계의 경우 이미 기존 시스템 트레이딩을 제한적으로 사용해 왔지만 스트리밍 데이터 처리 기술을 이용하면 고도로 복잡한 조건의 알고리듬 트레이딩 등 고급 투자기법을 시스템화 하는 것이 가능할 것으로 기대됩니다.
이밖에도 교통관제, 국방 모니터링, 전력 감시 등 공공분야를 비롯해 막대한 콜 데이터가 쌓이는 통신업계, 자동화된 생산 시스템이 구축된 제조업계 등도 스트리밍 데이터 처리 기술이 적용될 수 있는 분야로 꼽히고 있습니다.
이미 업계에서는 스트리밍 데이터 처리를 지원하는 제품을 잇달아 출시하고 있습니다. 메인메모리 DBMS 분야의 강자인 알티베이스는 지난해 10월 `알티베이스 데이터 스트림(Altibase Data Stream)'이라는 제품을 내놓고 이미 공공부문에서 첫 레퍼런스를 확보한데 이어 유명 데이터웨어하우스(DW) 업체인 사이베이스도 스트리밍 데이터 처리 기능을 지원하는 `RAP(Real-Time Analytics Platform)' 제품을 통해 금융시장을 공략하고 있습니다.
DBMS 기술의 역사는 어느덧 30년을 넘어서고 있습니다. 그동안 성능과 안정성 측면에서 기술적 진화를 거듭해 왔고 특히 메인메모리 DBMS의 등장은 성능 측면에서 획기적인 진전이었다는 평가를 받고 있습니다. 전문가들은 스트리밍 데이터 처리가 아직 시장에서 미칠 효과에 대해 아직은 매우 조심스러운 입장입니다. 그러나 디스크 혹은 메모리에 저장한 후 분석을 진행해야 했던 기존 DBMS 기술의 패러다임을 넘어서 선 분석 후 저장이라는 새로운 컨셉을 제품에 적용한 것은 개념적으로 주목할 필요가 있다는데 대부분 동의하고 있습니다.
데이터 폭증 시대에 스트리밍 데이터 처리 기술이 어떤 반향을 불러일으킬지 향후 DBMS 부문의 흥미로운 관전 포인트가 될 전망입니다.
박상훈기자 nanugi@
금융 탈ㆍ위법 의심거래 추출
데이터 폭증 한계 극복 대안
초당 수백만건에 달하는 금융거래, 수억건에 달하는 통신 데이터 등 우리 주변에서 일상적으로 발생하는 데이터량은 상상을 초월할만큼 늘어나고 있습니다. 문제는 기존의 데이터베이스로는 이와 같은 데이터를 처리하는데 점점 한계에 다다르고 있다는 것입니다. 저장해야 할 실시간 데이터가 방대해지는 반면 실시간 고급분석에 대한 수요는 오히려 늘어나고 있기 때문입니다. `스트리밍(Streaming) 데이터 처리'는 이와 같은 새로운 데이터베이스 환경을 겨냥해 새롭게 주목받고 있습니다.
스트리밍 데이터 처리의 개념은 매우 간단합니다. 초당 수백만건 이상씩 발생하는 데이터를 일종의 `정보의 흐름(stream)'으로 보고 미리 정의된 규칙에 맞는 데이터만 걸려내는 것입니다. 기존의 데이터베이스가 대부분 디스크에 저장한 후 분석하는 방식이었고 메인메모리 DBMS의 경우 이 디스크를 메모리로 대체해 처리속도를 높이는 시도였다면 스트리밍 데이터 처리는 `저장'이라는 프로세스 앞단계에서 데이터를 고민하는 전혀 새로운 접근 방식인 셈입니다.
스트리밍 데이터 처리 개념이 등장한 1차적인 이유는 데이터량 자체가 폭발적으로 증가하고 있기 때문입니다. 시장조사업체에 따르면 2011년 기준 국내에서 생성, 복제되는 데이터량은 2만7237PB에 달할 것으로 전망됩니다. 2007년과 비교하면 6배 가량 늘어난 수치로 데이터 증가 속도는 점점 더 빨라지고 있습니다.
데이터 폭증의 주범은 IT 시스템의 범용화와 유비쿼터스 컴퓨팅 환경의 확산이 꼽힙니다. USN(Ubiquitous Sensor Network) 환경에서 수많은 센서들이 쏟아내는 데이터, 반도체ㆍ자동차 등 제조 공정의 생산 설비에서 발생하는 데이터, 증권 거래 시스템의 시세ㆍ주문 데이터 등 초당 최대 수백만건에 달하는 상상할 수 없이 거대한 정보시스템들이 속속 등장하고 있습니다.
더욱 중요한 것은 이러한 데이터들이 `연속성'이라는 속성을 갖고 있다는 점입니다. 고정된 형태가 아니라 변화하는 실시간으로 변화하는 살아 있는 데이터로 마치 하나의 생명체처럼 호흡하는 데이터라는 뜻에서 액티브 데이터(Active Data)라고 표현되기도 합니다.
문제는 기존의 방식으로 연속성을 갖고 있는 대규모 데이터를 처리하는 것이 점점 한계에 봉착하고 있다는 점입니다. 완전한 테이블 형태가 아닌 스트림 형태이기 때문에 DBMS처럼 입력 스트림 전체를 저장했다가 한꺼번에 처리하는 것은 공간이나 시간적인 면에서 효율적이지 못합니다. 애플리케이션 혹은 사용자의 요청이 있을 때마다 주기적으로 쿼리를 수행하는 구조 역시 데이터 스트림 처리에 있어 시스템 부하와 응답속도 측면에서 한계가 있을 수 있다는 지적이 나옵니다.
따라서 각 데이터 스스로 자신이 수행해야 할 쿼리를 판단해 처리할 수 있는 액티브한 프로세싱, 일정 기간 동안 지속적으로 사용될 수 있는 연속 질의(Continuous Query), 물리적인 장비나 공간의 제약을 받지 않고 원하는 시간에 원하는 곳으로 전송하는 기능 등을 지원하는 스트리밍 데이터 처리 개념이 등장한 것입니다.
스트리밍 데이터 처리가 먼저 적용될 수 있는 부문은 데이터량이 폭발적으로 증가하는 영역이 될 전망됩니다.
u시티 등 다수의 센서가 도시 곳곳에 설치돼 막대한 데이터를 실시간으로 발생시키는 분야가 대표적으로 u시티에 스트리밍 데이터 처리 기술을 적용하면 각 센서가 보내오는 막대한 데이터를 분석해 미아를 찾거나 버스운행 상태를 실시간으로 확인하고 장애 여부도 바로 확인할 수 있습니다. 현재 RFID와 USN을 이용해 좁은 지역 내에서 수십명 규모의 미아를 찾는 서비스는 이미 상용화돼 있지만 스트리밍 데이터 처리 기술을 이용하면 수만명을 대상으로한 실시간 동시 서비스도 가능하다고 전문가들은 설명합니다.
금융권 역시 조기 적용이 가능한 분야로 꼽힙니다. 초당 수백만건에 달하는 금융 거래 데이터들 가운데 탈법, 위법이 의심되는 거래 만을 추출한다거나 증권 거래시 특정 종목의 주가가 거래량 등이 일정 수준에 도달하면 자동으로 개입하는 등 다양한 활용 가능성이 검토되고 있습니다. 특히 증권업계의 경우 이미 기존 시스템 트레이딩을 제한적으로 사용해 왔지만 스트리밍 데이터 처리 기술을 이용하면 고도로 복잡한 조건의 알고리듬 트레이딩 등 고급 투자기법을 시스템화 하는 것이 가능할 것으로 기대됩니다.
이밖에도 교통관제, 국방 모니터링, 전력 감시 등 공공분야를 비롯해 막대한 콜 데이터가 쌓이는 통신업계, 자동화된 생산 시스템이 구축된 제조업계 등도 스트리밍 데이터 처리 기술이 적용될 수 있는 분야로 꼽히고 있습니다.
이미 업계에서는 스트리밍 데이터 처리를 지원하는 제품을 잇달아 출시하고 있습니다. 메인메모리 DBMS 분야의 강자인 알티베이스는 지난해 10월 `알티베이스 데이터 스트림(Altibase Data Stream)'이라는 제품을 내놓고 이미 공공부문에서 첫 레퍼런스를 확보한데 이어 유명 데이터웨어하우스(DW) 업체인 사이베이스도 스트리밍 데이터 처리 기능을 지원하는 `RAP(Real-Time Analytics Platform)' 제품을 통해 금융시장을 공략하고 있습니다.
DBMS 기술의 역사는 어느덧 30년을 넘어서고 있습니다. 그동안 성능과 안정성 측면에서 기술적 진화를 거듭해 왔고 특히 메인메모리 DBMS의 등장은 성능 측면에서 획기적인 진전이었다는 평가를 받고 있습니다. 전문가들은 스트리밍 데이터 처리가 아직 시장에서 미칠 효과에 대해 아직은 매우 조심스러운 입장입니다. 그러나 디스크 혹은 메모리에 저장한 후 분석을 진행해야 했던 기존 DBMS 기술의 패러다임을 넘어서 선 분석 후 저장이라는 새로운 컨셉을 제품에 적용한 것은 개념적으로 주목할 필요가 있다는데 대부분 동의하고 있습니다.
데이터 폭증 시대에 스트리밍 데이터 처리 기술이 어떤 반향을 불러일으킬지 향후 DBMS 부문의 흥미로운 관전 포인트가 될 전망입니다.
박상훈기자 nanugi@
