[​Special Report] 리얼타임 빅데이터 프레임워크

기존 데이터와 새로운 타입의 기술을 파악하고 이해할 수 있는지가 중요해졌다. 예를 들면 아이 장난감을 사러 자주 방문하던 쇼핑몰 웹사이트에서 내 취향을 읽고 추천 장난감을 보여주거나 모바일 플랫폼을 통해 사용자가 처한 상황에 맞는 알림 메시지를 보내는 식이다. 인터넷을 통해 정보를 수집하고 분석할 수 있게 된 덕에 가능해진 서비스 형태다.

인터넷에 연결된 기기가 기하급수적으로 늘어나면서 1분 동안 생성되는 이미지, 동영상, 텍스트 등도 급증하고 있다. 빅데이터는 이처럼 다양한 데이터를 수집해서 지속적으로 발견하고 분석을 하는 것이라고 정의할 수 있다. 데이터 분석은 언제하는지, 데이터 가치를 도출하는 시간은 어떻게 하는지, 크로스 셀링과 업셀링은 어떻게 하는지 파악하는 게 중요해졌다. 도안구 기자 eyeball@imaso.co.kr

“배치 방식의 빅데이터는 다양한 소스로부터 데이터를 수집하고 난 다음에 데이터를 분석하고 실행합니다. 즉, 쌓인 데이터를 통해서만 전략적 의사결정을 할 수 있습니다. 이에 비해 실시간성 빅데이터는 데이터를 수집하는 동시에 분석합니다. 그 결과 실시간성 빅데이터는 짧은 시간 내에 분석이 이뤄질 수 있습니다. 그러나 가장 중요한 건 빅데이터를 통해 궁극적으로 비즈니스 통찰력을 얻거나 높여야 하는 데 있습니다.”

조르쥬 제이보스 월드와이드 애플리케이션 플랫폼 엔지니어링 이사는 배치와 실시간성을 잘 결합해 데이터를 분석하는 게 좋다고 얘기한다. 최근의 기술적인 변화를 살펴봐도 이를 향해 가고 있다면서 말이다. 그는 실제로 이런 변화를 직접 경험해보기도 했다.

“저는 출장이 무척 잦은 업무를 맡고 있습니다. 그러다보니 카드로 지불이나 결제 서비스를 하고 있는데 전화가 와서 그 나라에 있는지 확인하는 경우가 많습니다. 해당 금융기관은 사용 패턴이나 구매형태, 위치를 파악해서 사기성이 의심되면 일단 확인할 수 있도록 관련 인프라와 프로세스를 만들어 놓고 대응하고 있는 걸 느낄 수 있었습니다.”

철도에서도 사고 방지 목적으로 데이터 분석을 활용할 수 있다. 철도 차량이 운행중인 선로에 문제가 있다면 빨리 해당 정보를 받아야 한다. 추선 차량의 속도와 위치를 파악해야 한다. 그 다음 데이터센터 게이트웨이 디바이스 간에 통신을 통해 정확히 분석하고, 행동을 취해야 한다. 선로에 문제가 있을 때만 데이터 분석이 필요한 건 아니다. 철도 차량이 교차로에 들어가고 있을 때도 이와 관련된 정보를 받을 수 있어야 한다. 이를 위해서 데이터는 비즈니스 프로세스 자동화를 통해 분석 규칙에 따라 반드시 전달돼야 할 메시지가 전달되도록 해야 하고 기관사의 반응이 없을 경우에 대비한 제어 문제까지도 대응해야 한다.

레드햇은 자사의 오픈소스 기반의 미들웨어 솔루션인 제이보스(JBoss)의 플랫폼과 포트폴리오를 확대하며 리얼타임 빅데이터 시장에도 대응하고 있다. 제품들은 ▲차세대 클라우드모바일비즈니스 프로세스 개발과 통합을 위한 ‘제이보스 퓨즈 서비스 웍스6(JBoss Fuse Service Works 6)’ ▲빅데이터를 실행 가능한 정보로 변환시켜주는 ‘레드햇 제이보스 데이터 가상화6(Red Hat JBoss Data Virtualization 6)’ ▲빅데이터 애플리케이션의 성능 가속화를 위한 ‘레드햇 제이보스 데이터 그리드 6.2(Red Hat JBoss Data Grid 6.2)’ 등이 있다.

레드햇의 ‘제이보스 퓨즈 서비스 웍스 6’를 통해 기업은 서로 다른 애플리케이션에 분산되어 있는 정보를 수집하고 비즈니스 프로세스를 통합해 오픈 하이브리드 클라우드 아키텍처로 전환할 수 있다. ‘제이보스 데이터 가상화 6’를 통해 서로 다른 데이터 저장소 있는 데이터를 통합하고 빅데이터를 가치 있는 데이터로 변환할 수 있다. 또한 NoSQL인 ‘레드햇 제이보스 데이터 그리드 6.2’를 활용하면 새로운 데이터 인프라에 투자하지 않고도 기존 관계형 데이터베이스의 성능을 가속화할 수 있다.

브로노 조르쥬 이사는 “실제 환경에 구현하기에 앞서 레드햇은 관련 프로그램을 가동하고 있다”라며 “하루나 이틀 정도 업무를 파악하고 프레임워크로 어떻게 구현해낼 수 있을지 2~3일 더 깊숙이 고민을 공유한다”라고 말했다. 그의 설명에 따르면, 레드햇은 데이터 수집과 데이터 분석과 통합, 데이터 프리젠터이션, 데이터 퍼시스턴스, 관리와 개발까지 이 미들웨어 개별 콤포넌트가 긴밀히 연결되어 고객의 문제를 해결한다. 레드햇은 디스커버, 디자인, 디플로이 단계를 마련해 고객들과 만나는 식이다. 그리고 나서 타깃 솔루션을 디자인한다. 설계는 1주에서 2주 정도하고 잘 활용할 수 있도록 교육도 3개월에서 길게는 6개월 정도 가동한다. 이렇게 해야 진짜로 제대로 빅데이터를 통해서 비즈니스 가치를 발굴해 낼 수 있는 토대가 마련할 수 있기 때문이다.

Interview
브루노 조르쥬(Bruno Georges) 제이보스 월드와이드 애플리케이션 플랫폼 엔지니어링 이사는 ‘리얼타임 빅데이터 프레임워크’에 대한 발표에 앞서 기자와 만났다. 이 자리에서는 오픈소스 소프트웨어의 가치에 대해 주로 이야기를 나눴다. 그는 20년 이상의 IT 경력이 있는 베테랑으로, 주로 금융, 무역, 보험, 통신 부문의 전자상거래 솔루션 및 관리 소프트웨어 개발 업무를 담당했었다. 기술을 도입하는 입장에서 오픈소스의 가치에 대해서 많은 말을 나눴다.

Q. 오픈소스 소프트웨어를 도입하는 기업이 늘고 있다. 가치가 증명되었기에 그렇다고 보는가
통신사와 금융 분야 등 다양한 분야에서 일하면서 대규모 개발팀을 맡아 비즈니스 가치를 만들어 냈다. 모 회사에 일할 때 비즈니스 플랜을 주면서 6주 안에 해내야 한다고 했다. 저작권과 소프트웨어 소스를 공개하지 않은 기업들 제품으로는 불가능한 일이었다. 그 분야는 전문가 찾기도 쉽지 않았다. 오픈소스 쪽은 다뤄본 이를 찾기도 수월했다. 성능을 개선하고 코어 기술을 사용하면서 사용하기도 편리하게 무리 없이 6주 동안 이 일을 해냈다.

2000년 초 닷컴 버블이 꺼지면서 비용 절감을 통한 운영비 절약이 이슈였다. 오픈소스는 멋진 해법이었고 우리는 이를 통해서 비용 효율적인 대응책을 마련했다. 우리는 살아남았고 파산한 회사를 오히려 인수했다. 우리가 오픈소스로 가길 잘했다고 생각했다.

Q. 그 생각은 지금도 변함이 없나. 물론 레드햇에서 근무하니 그렇겠지만.
물론 똑같이 오픈소스를 선택할 것이다. 오히려 더 광범위하게 사용했을 거다. 요즘은 제품들이 더 많이 좋아지고 개선되었다. 6주가 아니라 2주 안에도 가능하지 않을까? (웃음) 오픈소스를 쓴다는 건 표준을 쓰는 거고 협업과 협력도 더 원활해졌다. 빅데이터 분야만 해도 오픈소스의 혜택으로 인해서 즉각적인 성과들을 확인하고 가치를 만들어 낼 수 있게 됐다. 로그 수집과 분석에 얼마나 많은 시간이 들었었는지 다 알지 않나? 비용 문제도 마찬가지였고. 지금은 실시간으로 방대한 데이터들을 수집하고 처리하고 분석해서 가치를 도출해 낼 수 있다.

Q. 비용 절감 이슈의 장점만 있나
글로벌 기업들은 인수합병도 많이 한다. 사업부를 판매하기도 하고. 대규모 통합 이슈가 발생했을 때 이점이 많다. 통합은 단순히 물리적인 통합만을 의미하지 않는다. 소프트웨어와 사람들의 통합도 있다. 서로 다른 회사의 제품들을 사용한 회사의 인프라를 통합할 때 오픈소스는 멋진 해결책이다. 이기종 시스템의 복잡도도 줄일 수 있다. 이미 오픈소스가 혁신의 원천이 되고 있다는 건 증명이 되었다. 업계에서 혁신을 이야기할 때 오픈소스를 빼놓지 않고 있다.

Q. 그래도 도입에 어려움이 많다. 인력 문제가 가장 크기 때문이다.
비용 절감과 타임 투 마켓의 장점도 있지만 새로운 방법론을 도입해 볼 수 있는 점도 있다. 물론 커뮤니티 버전을 가지고 직접 내부 인력이 소화해 낼 수 있는 곳들은 더 많은 이점을 얻을 수 있다. 그렇지 않은 곳들이 레드햇 같은 전문 업체와 함께 한다. 제품이 만들어져서 고객의 데이터센터까지 가는 그 전체 과정이 다 공개되어 있다. 간소화되고 투명화된다. 우리 내부에서도 기존 버전을 업그레이드해서 사용한다. 고객들도 그런 걸 많이 묻는다.

Q. SOA와 마이크로서비스에 대해서 고객들이 제대로 이해하고 있는가. 두 개가 어떻게 다른지 좀 간단하게 설명해달라.
가볍게 보면 아키텍처에 대한 스타일 이야기다. 오픈 프로토콜, 오픈 스탠다드, 오픈소스 베이스, SOA는 서비스 전달, 구현 유지보수에 집중돼 있다. 마이크로서비스에 비해서 더 복잡하다. 마이크로서비스는 벤더나 특정 제품에 종속 되지 않는다. 단위 별로 잘게 쪼개서 재활용성을 더욱 높였다. 핵심 기술들을 더욱 경량화되었다. 이건 서로 다른 팀들이 협력할 수 있고, 또 조직 자체의 변화도 이끌어낸다. 회사가 변화에 대해서 빠른 속도로 적응하는데 도와준다 넷플릭스와 레드햇도 긴밀히 협력한다. 서비스를 위한 아키텍처 부분에 대해서 많은 이야기를 나누고 지원한다.

답글 남기기