이번 컨퍼런스에서 진행된 세션에 대해 소개하도록 하겠습니다.
이번 컨퍼런스에서는 엘라스틱을 사용중인 다양한 기업들의 활용사례를 발표하는 세션이 다수 있었습니다.
그 중! 눈길을 끌었던 세션 입니다!!!
OTTO Motors는
산업용 자율주행 이동수단을 생산, 판매, 관리하는 회사인데요,
자율주행 이동장치에서 발생하는 IoT 데이터를 처리하는데
Elastic Stack을 활용한 사례를 발표했습니다.
다른 기술 스택 중 Elastic을 선택하여 프로젝트를 진행했다고 합니다.
발표 자료에 보시면 Hadoop, Spark, Splunk 등 익숙한 단어들도 보입니다.
OTTO Motors에서 Elastic Stack을 선택한 가장 큰 이유는 무엇보다도 데이터 분석, 시각화 시스템을 간편하게 구축할 수 있다는 점이였습니다.
아키텍쳐와 데이터 흐름을 간략하게 설명드리자면,
1. 로봇에서 나온 데이터들은 실시간으로
Fleet Manager라는 사용자 VM으로 전송.
(Fleet Manager는 로봇에서 수집되는 데이터를 모니터링, 백업 등을 담당하는 중압 집중형 로봇 관리 시스템입니다.)
2. Fleet Manager는 수집된 데이터를 방화벽 뒷편의
HAProxy로 보내 각 데이터 저장 서버들로 전송.
3. 데이터 서버에 수집된 데이터는 Beats, Logstash를
통해 HAProxy를 거쳐 Elasticsearch로 전송.
4. 키바나로 데이터 분석
특이했던 점은 Elasticsearch 앞에 HAProxy를 두어
Elasticsearch로 요청되는 _BULK API를
Insert, Update 요청만 가능하도록 제한하고 있었습니다.
데이터 삭제를 방지하기 위해 앞 단에서부터 꼼꼼히 체크하는
모습을 보면서 데이터를 수집하는 것도 중요하지만
가지고 있는 데이터를 유실하지 않고 온전히 보관하는 것도
중요하다는 걸 다시 한번 느낄 수 있었습니다.
실시간으로 생산되는 대량의 IoT 데이터를 기업들에서는
어떻게 처리하는지에 대해 알아볼 수 있는 세션이였습니다.
다음 포스팅은 #APM with the Elastic Stack 세션 입니다!