올해 ICT 분야에서 주요 키워드는 단연 빅 데이터(Big Data)이다. 시장조사업체 가트너는 2011년 이머징 기술 전망에서 `Big Data and Extreme Information'을 기술 발생 단계로 분류하여 점차 성장할 것이라고 분석했고, IDC가 최근 발간한 `전세계 빅 데이터 기술 및 서비스 전망 보고서'에서는 세계 빅 데이터 시장이 2010년 32억 달러에서 오는 2015년에는 169억 달러 규모에 달할 것으로 예상하고 있는데, 이는 연평균 40%의 성장률에 해당되는 것이다.
그러나 이러한 밝은 전망과 달리 우려의 목소리도 만만치 않다. 우선 빅 데이터를 축적하고 활용할 수 있는 기업이 얼마나 있는지 의구심이 들며, 또한 기존에 축적해 놓은 정형 데이터에 대한 활용은 제대로 하고 있는가를 지적하는 목소리가 그것이다.
빅 데이터라는 개념이 하드웨어업체, 데이터웨어하우징 업체, 데이터마이닝 업체들의 마케팅 수단일 뿐이며, 기업 담당자들을 현혹하고 있다는 혹평도 있고, 가트너 역시 `2012 기업 IT 전망'에서 포춘 500대 기업의 85% 이상이 효과적인 빅 데이터 활용을 통한 경쟁력 강화에 실패할 것으로 예상하고 있다. 물론 새로운 기술이 등장한 뒤 이것이 정착되기 까지는 많은 논란과 검증, 시행착오 등을 거치는 것이 당연하며, 신중한 접근이 필요한 시기임은 분명해 보인다.
이렇듯 아직 빅 데이터에 대한 논란이 있기는 하지만, 여기서 한가지 우리가 눈여겨 봐야 할 중요한 사항이 있다. 즉, 기존의 정형 데이터들도 3V로 요약되는 빅 데이터의 일반적인 특성인 규모(Volume)ㆍ다양성(Variety)ㆍ속도(Velocity)를 점차 요구하고 있다는 것이며, 가장 대표적인 것이 로그 데이터 분야이다.
예를 들어 요즈음 일반화되고 있는 10G(기가)급 방화벽의 경우 초당 2만여 건의 로그 데이터를 발생시키며, 이는 일일 수백 기가바이트에 이르는 방대한 양이 된다.
이러한로그 데이터를 수집하고 분석하는 방법으로는 크게 로그관리시스템을 이용하는 방식과 SIEM(Security Information & Event Management) 또는 ESM(Enterprise Security Management)을 이용하는 방식으로 이루어져 왔다. 그러나 나날이 빅 데이터화되어 가고 있는 로그 데이터를 처리하기에는 위 두 가지 방식이 한계를 드러내고 있는 상황이다.
SIEM(또는 ESM)은 보안 장비 로그 데이터를 위주로 침입 여부를 탐지하고 대응할 수 있도록 하는 보안 관제의 인프라 역할을 하고 있지만, 원본 로그를 저장할 정도의 성능을 제공하지 못하고 있다. 하지만 빅 데이터에 눈 높이가 맞추어져 있는 보안 담당자들은 로그 데이터에 대해서도 단순 수집ㆍ저장이나 원본 로그의 수집ㆍ저장이 없는 일부 보안 장비로그에 대한 분석만이 아닌 대용량 로그에 대한 실시간 수집ㆍ저장ㆍ검색ㆍ분석ㆍ관리를 요구하고 있다.
이러한 변화와 요구에 의해 등장한 제품이 바로 통합 로그 분석 제품들이며, 독자적인 로그 저장 및 분석 기술을 기반으로 대용량 로그에 대한 실시간 처리를 지원하면서, 기존의 로그관리시스템과 SIEM을 빠르게 대체해 나가고 있다.
그렇다면 통합 로그 관리 시스템을 도입하려는 단계에서 고려해야 할 사항은 무엇일까?
첫째, 하나의 로그서버가 하나 이상의 방화벽 로그는 감당할 수 있을 정도의 성능을 지원해야 한다. 즉, 10G 방화벽 하나가 발생하는 2만EPS 이상의 성능을 제공하는 제품이어야 한다. 둘째, 서버를 추가함으로써 로그 데이터의 수집 및 분석 성능이 비례적으로 증가하는가에 대한 검토가 필요하다. 셋째, 분석 정책을 추가하더라도 성능에는 영향을 최소화할 수 있어야 한다. 일부 제품의 경우 수집 서버와 분석 서버가 별도 존재하며, 수집 성능은 뛰어나지만 분석과 병행할 경우 성능이 현저히 낮아지는 경우가 있으며, 정책을 추가하면 역시 성능에 영향을 주는 제품이 있다.
마지막으로 새로운 로그 데이터 형식에 대해 쉽게 확장할 수 있어야 한다. 즉, 동적으로 필드를 추출하고, 추출된 필드에 분석 정책을 적용할 수 있어야 한다는 것이다. 이러한 요구사항을 만족할 수 있는 제품이어야 빅데이터화 되고 있는 로그 데이터의 3V 특성을 효과적으로 관리할 수 있으며, 투자 대비 효과를 얻을 수 있을 것이다.
빅데이터 이슈에 따른 관련 솔루션 도입을 고민하기 보다는, 먼저 로그 데이터와 같이 저장만 되고 있거나, 쉽게 수집 가능한 데이터를 효율적으로 분석하여 의미있는 정보로 만드는 것이 빅데이터의 첫 걸음이 아닐까.
이상준 유넷시스템 연구소장
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
그러나 이러한 밝은 전망과 달리 우려의 목소리도 만만치 않다. 우선 빅 데이터를 축적하고 활용할 수 있는 기업이 얼마나 있는지 의구심이 들며, 또한 기존에 축적해 놓은 정형 데이터에 대한 활용은 제대로 하고 있는가를 지적하는 목소리가 그것이다.
빅 데이터라는 개념이 하드웨어업체, 데이터웨어하우징 업체, 데이터마이닝 업체들의 마케팅 수단일 뿐이며, 기업 담당자들을 현혹하고 있다는 혹평도 있고, 가트너 역시 `2012 기업 IT 전망'에서 포춘 500대 기업의 85% 이상이 효과적인 빅 데이터 활용을 통한 경쟁력 강화에 실패할 것으로 예상하고 있다. 물론 새로운 기술이 등장한 뒤 이것이 정착되기 까지는 많은 논란과 검증, 시행착오 등을 거치는 것이 당연하며, 신중한 접근이 필요한 시기임은 분명해 보인다.
이렇듯 아직 빅 데이터에 대한 논란이 있기는 하지만, 여기서 한가지 우리가 눈여겨 봐야 할 중요한 사항이 있다. 즉, 기존의 정형 데이터들도 3V로 요약되는 빅 데이터의 일반적인 특성인 규모(Volume)ㆍ다양성(Variety)ㆍ속도(Velocity)를 점차 요구하고 있다는 것이며, 가장 대표적인 것이 로그 데이터 분야이다.
예를 들어 요즈음 일반화되고 있는 10G(기가)급 방화벽의 경우 초당 2만여 건의 로그 데이터를 발생시키며, 이는 일일 수백 기가바이트에 이르는 방대한 양이 된다.
이러한로그 데이터를 수집하고 분석하는 방법으로는 크게 로그관리시스템을 이용하는 방식과 SIEM(Security Information & Event Management) 또는 ESM(Enterprise Security Management)을 이용하는 방식으로 이루어져 왔다. 그러나 나날이 빅 데이터화되어 가고 있는 로그 데이터를 처리하기에는 위 두 가지 방식이 한계를 드러내고 있는 상황이다.
SIEM(또는 ESM)은 보안 장비 로그 데이터를 위주로 침입 여부를 탐지하고 대응할 수 있도록 하는 보안 관제의 인프라 역할을 하고 있지만, 원본 로그를 저장할 정도의 성능을 제공하지 못하고 있다. 하지만 빅 데이터에 눈 높이가 맞추어져 있는 보안 담당자들은 로그 데이터에 대해서도 단순 수집ㆍ저장이나 원본 로그의 수집ㆍ저장이 없는 일부 보안 장비로그에 대한 분석만이 아닌 대용량 로그에 대한 실시간 수집ㆍ저장ㆍ검색ㆍ분석ㆍ관리를 요구하고 있다.
이러한 변화와 요구에 의해 등장한 제품이 바로 통합 로그 분석 제품들이며, 독자적인 로그 저장 및 분석 기술을 기반으로 대용량 로그에 대한 실시간 처리를 지원하면서, 기존의 로그관리시스템과 SIEM을 빠르게 대체해 나가고 있다.
그렇다면 통합 로그 관리 시스템을 도입하려는 단계에서 고려해야 할 사항은 무엇일까?
첫째, 하나의 로그서버가 하나 이상의 방화벽 로그는 감당할 수 있을 정도의 성능을 지원해야 한다. 즉, 10G 방화벽 하나가 발생하는 2만EPS 이상의 성능을 제공하는 제품이어야 한다. 둘째, 서버를 추가함으로써 로그 데이터의 수집 및 분석 성능이 비례적으로 증가하는가에 대한 검토가 필요하다. 셋째, 분석 정책을 추가하더라도 성능에는 영향을 최소화할 수 있어야 한다. 일부 제품의 경우 수집 서버와 분석 서버가 별도 존재하며, 수집 성능은 뛰어나지만 분석과 병행할 경우 성능이 현저히 낮아지는 경우가 있으며, 정책을 추가하면 역시 성능에 영향을 주는 제품이 있다.
마지막으로 새로운 로그 데이터 형식에 대해 쉽게 확장할 수 있어야 한다. 즉, 동적으로 필드를 추출하고, 추출된 필드에 분석 정책을 적용할 수 있어야 한다는 것이다. 이러한 요구사항을 만족할 수 있는 제품이어야 빅데이터화 되고 있는 로그 데이터의 3V 특성을 효과적으로 관리할 수 있으며, 투자 대비 효과를 얻을 수 있을 것이다.
빅데이터 이슈에 따른 관련 솔루션 도입을 고민하기 보다는, 먼저 로그 데이터와 같이 저장만 되고 있거나, 쉽게 수집 가능한 데이터를 효율적으로 분석하여 의미있는 정보로 만드는 것이 빅데이터의 첫 걸음이 아닐까.
이상준 유넷시스템 연구소장
[저작권자 ⓒ디지털타임스 무단 전재-재배포 금지]
