'로그프레소3.0' 수집·분석·시각화 전과정 통합
필드 인덱싱 적용 검색성능 기존의 10배 이상
외산 앞서…은행 '이상 거래' 0.1초 만에 탐지
필드 인덱싱 적용 검색성능 기존의 10배 이상
외산 앞서…은행 '이상 거래' 0.1초 만에 탐지
가입자 스마트폰이 악성 앱에 감염될 경우 경고해주는 서비스가 지난해 한 통신사의 히트상품이 된 적 있다. 천만명 이상 전체 사용자의 15일간 데이터를 전수 검사해 15분 내에 악성 앱 감염 여부를 판단하는 성능은 웬만한 분석 능력으로는 불가능하다. 데이터 기반 인프라 솔루션 전문기업 이디엄(http://logpresso.com 대표 양봉열)은 이 같은 통신 빅데이터 분석 실력을 앞세워 올해 통신 분야뿐 아니라 금융, 유통, 공공 분야로 빅데이터 솔루션 적용을 공격적으로 늘릴 예정이다.
이디엄이 지난 연말 선보인 빅데이터 분석 솔루션 '로그프레소 3.0'은 기존 풀텍스트 대비 10배 이상의 검색 속도를 제공하는 필드 인덱스 기능을 도입하고 고급 분석을 위한 다양한 분석 기능과 데이터 제한 없는 중첩 조인 지원 기능도 탑재했다. 데이터 수집, 저장, 분석 및 관리에서 획기적으로 편의성을 높인 UX도 주목된다.
사실 2014년 4월 선보인 '로그프레소 2.0'은 뛰어난 성능에도 불구하고 UI와 UX에서 외산 솔루션에 비해 높은 평가를 받지 못했다. 이번에 이 점을 철저히 불식시키려 했다. 적극적인 마케팅도 계획하고 있다. 인지도에서도 외산에 밀리지 않겠다는 각오다.
구동언 이사는 "실시간 처리능력과 분석력에서 외산에 비해 오히려 더 빠른데, 그동안 국산이라서 디스카운트된 면이 있었다"며 "파트너사도 10여개로 늘리고 고객 지원도 강화할 계획"이라고 말했다.
'로그프레소 3.0'은 우선 빅데이터 분석의 본류인 수집, 분석, 시각화에 충실했다. IT인프라에서 발생하는 다양한 데이터에 대해 수집부터 저장, 분석, 시각화에 이르는 전체 과정을 통합했다. 컴플라이언스 준수에서부터 서비스품질 데이터 실시간 분석, 개인정보 유출 탐지, 하루 20TB에 이르는 통신로그 분석까지 다양한 목적으로 활용되도록 했다.
로그프레소 3.0은 △수천만건의 이벤트 실시간 분석 △실시간 빅데이터 조인 분석 및 패턴매칭 △초고속 검색 성능을 제공하는 필드인덱싱 △고급 분석을 위한 다양한 분석 기능 제공 등이 장점이다. 이전에는 불가능했던 대규모 빅데이터 실시간 분석을 가능하게 해준다. 이를 통해 급변하는 비즈니스 환경에서 데이터 기반의 인사이트를 보다 빠르게 얻고 보다 신속하게 의사결정을 내릴 수 있게 했다.
◇ 필드 인덱싱으로 검색 성능 10배 이상 개선
로그프레소 3.0은 새로 도입된 필드 인덱싱을 기반으로 기존 풀텍스트 인덱싱 대비 10배 이상 향상된 검색 성능을 제공한다. 필드 인덱스는 I/O 감소, 타입 인코딩을 이용한 범위 검색 지원 등 다양한 기능을 통해 뛰어난 검색 성능을 제공한다.
통신사의 경우, 천만명 이상의 사용자로부터 매일 10TB 이상의 데이터가 생성되고 있다. 필드 인덱스를 도입해 15일치 데이터 분석을 분단위로 수행할 수 있게 됐다. 사용자 단말의 악성 앱 감염 여부를 보다 빠르게 진단할 수 있게 되어 악성 앱에 의한 피해를 최소화 할 수 있게 되었다.
양봉열 이디엄 대표는 "IoT 확산 등으로 IT 인프라에서 발생하는 데이터의 종류와 양은 이전과는 비교할 수 없을 정도로 급증하고 있다"며 "로그프레소는 데이터 수집에서 저장, 분석, 시각화까지 이르는 데이터 분석 전체 과정을 유연하게 통합하고, 차별화된 실시간 빅데이터 분석 기술과 혁신적으로 개선된 데이터 성능을 제공함으로써 각종 실시간 빅데이터 분석 요구를 만족시켜 줄 것"이라고 밝혔다.
◇ 스트림 조인, 멀티패턴매칭, CEP 엔진 도입
로그프레소 3.0은 데이터에 실시간으로 조인 분석할 수 있는 스트림조인 기능과 수천 가지의 패턴을 고속으로 매칭할 수 있는 멀티패턴매칭 기능, CEP(복합이벤트프로세싱) 엔진을 이용한 이벤트 분석 기능을 제공한다. 이를 이용해 실시간 빅데이터에 대한 조인 분석, 패턴 매칭 및 이벤트 분석을 할 수 있다.
은행의 경우, 이체 거래를 50종 이상의 패턴과 2년간의 행위이력과 대조해 0.1초 안에 이상 거래 여부를 탐지한다. 이를 통해 각종 금융사기로부터 발생하는 다양한 이상거래를 차단할 수 있다. 로그프레소 3.0은 또한 고급분석을 위한 다양한 함수를 제공해 빅데이터를 기반으로 다양한 예측 분석과 클러스터링 등을 수행할 수 있다. 데이터량에 제한 없는 조인 및 중첩 조인을 지원해 이기종 데이터를 기반으로 복잡한 시나리오 분석을 할 수 있다. 이를 통해 DLP 유출탐지, DRM 암호화 해제, 프린트 로그, 인사정보 등 각종 항목을 조합해 내부통제 이상탐지 룰을 작성하고 시나리오로 만들어 다양한 이상행위를 신속하게 탐지한다.
◇ 개선된 다양한 관리 기능
이디엄은 로그프레소를 활용하는 고객의 다양한 요구사항을 적극적으로 반영해 △에이전트 원격 업그레이드 △분산환경에 대한 권한 관리 △보안그룹 관리 등 데이터 수집부터 저장, 분석, 시각화, 관리까지 전체 과정을 개선했다. 개선된 환경을 이용해 고객은 데이터 분석 과정 전체에 대한 관리 비용을 줄임과 더불어 중요한 데이터를 더욱 더 안전하게 관리할 수 있다.
이규화 선임기자 david@dt.co.kr
[ 저작권자 ⓒ디지털타임스, 무단 전재 및 재배포 금지 ]
