네이버클라우드 Data Stream, 서버 관리 없이 실시간으로 데이터 처리하기

“ 본 포스팅은 네이버클라우드에서 소정의 수수료를 제공받아 작성된 글입니다. “

모바일환경, SNS의 발전으로 계속해서 생성되는 데이터를 처리하기 위해
최근 기업에서는 실시간 데이터 처리의 중요성이 커지고 있다.
특히, 어느 서비스에나 필수적으로 요구되는 로그수집, 이벤트 처리, 사용자 행동 분석 등은 실시간 스트리밍 데이터 처리가 필요하며, 네이버 클라우드는 "Data Stream" 서비스를 통해 부담 없이 빠르고 유연한 스트리밍 환경을 제공하고 있다.

 

1️⃣ Data Streaming 기술의 등장

 

기존 데이터는 배치처리 방식으로 처리되었다.

 

📌 배치 처리(Batch Processing) 

*batch : 일괄

- DB에 데이터를 쌓아두고 주기적으로 한 번에 처리/분석하는 방식

 

빅데이터 시대에 접어들면서 데이터 양이 방대해지고, IoT, AI 등 실시간으로 데이터를 주고받아야 하는 방식이 중요해지면서

기존의 배치 처리 방식으로는 데이터를 처리할 수 없게 되고, Data Streaming 기술이 등장했다. 

 

📌 데이터 스트리밍(Data Streaming)

*stream : 개울, 흐름

- 데이터를 실시간으로 처리하는 방식

 

데이터 스트리밍은 실시간으로 들어오는 데이터를 바로 처리하는 방식으로, 사용자의 행동을 분석하거나, 센서 데이터를 통해 교통 흐름을 최적화하거나, 금융거래 이상을 즉시 차단하는 등의 활용을 가능케 했다.

 

1990년대 후반

데이터 스트리밍 서비스는 금융권, 통신사 일부에서 사용되기 시작했다. 하지만 실시간 이벤트 처리 시스템 수준에 불과했다.

 

2000년대 중반

인터넷 서비스가 폭발적으로 증가하고, 로그 데이터가 대량으로 쌓이면서 글로벌 기업들이 사용자 행동 데이터를 수집하기 시작했다.

 

2011년

LinkedIn 내부 프로젝트로 시작된 Apache Kafka가 개발되면서 실시간 데이터 파이프라인 개념이 확립되고, streaming(흐른다)라는 개념이 정착되기 시작했다.

오픈소스화 되면서 기업들이 본격적으로 도입하며 대중화가 시작되었고, 현재는 거의 모든 서비스가 스트리밍 기반 기능을 포함하고 있으며, 사용자들은 실시간 UX를 기본으로 받아들이고 있다.

 

2️⃣ Apache Kafka

 

Apache Kafka는 대용량 데이터를 실시간으로 수집, 전달, 처리할 수 있는 분산 스트리밍 플랫폼으로, 오픈소스화되었다. 네이버 클라우드의 Data Stream도 Apache Kafka 기반 플랫폼이다. 

 

핵심 아키텍처에 대해서 간단히 알아보자.

AI 생성 이미지

 

기본적인 아키텍처는 데이터를 생성하는 Producer, 저장하고 관리하는 Kafka Topic, 데이터를 소비하는 Consumer로 구성된다.

📌 Producer

- 데이터를 Kafka로 보내는 주체로, 앱, 서버, 로그 시스템 등이 이에 해당한다

📌 Kafka

- Producer가 넣어준 데이터를 Broker에 저장하고, Topic 단위로 구분하여 관리한다

📌 Consumer

- Topic에 저장된 데이터를 가져가서 알림, 분석, 추천 등에 활용한다

 

3️⃣ 네이버클라우드의 Data Stream이란?

 

Data Stream은 네이버 클라우드가 제공하는 완전관리형 서버리스 데이터 스트리밍 서비스이다. 

 

⭐ 완전관리형 서버리스

서버리스 환경에서 제공하여, 별도의 인프라 관리, 서버 패치, 클러스터 운영 등 복잡한 유지보수 작업 없이 데이터 스트리밍 환경을 구축할 수 있다.

 

Apache 기반 서비스로, 핵심 기능과 높은 호환성을 제공하여 기존 Kafka 환경을 사용하는 사용자는 편리하게 전환하거나 연동할 수 있고, 혹은 직접 Kafka 클러스터를 구축하지 않아도 되는 특징을 가지고 있다.

4️⃣ Data Stream 주요 기능 및 장점

네이버클라우드의 Data Stream은 유연한 실시간 스트리밍 환경을 위해 다양한 기능을 제공한다.

Data Stream ⓒ 네이버클라우드

📌 빠르고 편한 토픽 관리

- 콘솔에서 토픽을 손쉽게 생성, 관리할 수 있고, 필요에 따라 파티션 수와 메시지 보관 기관을 설정할 수 있다

Data Stream ⓒ 네이버클라우드

📌 시각화된 성능, 운영지표 제공

- 전체 토픽과 컨슈머 그룹의 실시간 처리 상태를 한눈에 확인할 수 있는 대시보드를 제공하여, 운영 상황을 빠르게 파악할 수 있다

Data Stream ⓒ 네이버클라우드

📌 외부 애플리케이션 연동

- Object Storage 연동 커넥터를 지원하여, 스트리밍 데이터를 저장하거나 다른 시스템과 쉽게 연결할 수 있다

Data Stream ⓒ 네이버클라우드

📌 합리적인 비용 구조

- 사용한 만큼 과금되는 비용 구조와, 토픽별 설정을 통해 불필요한 저장 비용을 절감하여 비용 운영 효율성을 높일 수 있다

- 아래 ncloud 요금계산 기능을 활용하여 비용을 예측해 볼 수 있다 

NAVER CLOUD PLATFORM

 

5️⃣ 마치며

네이버클라우드의 Data Stream 서비스는 서버관리, 확장성 고려, 모니터링 이슈 등의 기술적 부담을 덜어주는 서버리스 시스템이다. 서버 관리 및 확장 등에서 부담을 느꼈던 기업이라면 실시간 데이터 스트리밍을 더욱 빠르고 유연하게 구현할 수 있는 Data Stream 도입으로 운영 효율성을 높일 수 있을 것으로 기대된다.