한국을 떠나던 날 유독 미세먼지가 심했는데, 비행기도 예정된 시간보다 1시간 정도 늦게 출발했고
꼬박 12시간이 걸려 도착한 샌프란시스코의 하늘은 너무나 맑아서 공항에서부터 감동으로 시작했던 이번 여행은
비록 업무를 보러 온 출장이었음에도 불구하고 출장기간 내내 지루할 틈 없이 계속 즐거웠던 시간들이었던 것 같습니다.

새롭게 추가된다고 소개됐던 기능들 중에는 개인적으로 예전부터 하루빨리 출시가 되었으면 하고 기다리고 있던 기능이 많아 하루에도 몇 번씩 공식 홈페이지와 페이스북 사용자 그룹을 방문하고 있습니다.

또한 여러 업체들에서 Elastic 제품군을 활용하고 있는 사례를 발표하는 것을 보면서 평소에 생각했었던 방법 이외에도 다양한 방법으로 사용할 수 있다는 것을 다시 한 번 깨닫게 되었습니다.

그리고 여러 세션을 통해 공개된 로드맵을 통해서 앞으로 Elastic 제품군이 어떻게 변화해 나아갈 것인지도 대략적으로 예상해 볼 수 있는 기회가 되어 좋았습니다.

더불어 급변하는 시장의 흐름에 뒤쳐지지 않기 위해서는 더욱 열심히 공부해야만 할 것 같다는 위기의식도 함께 느꼈던 미국 출장길이었습니다.

# Elasticsearch SQL

지난 Elastic{On} 2017에서 소개됐었던 Elasticsearch SQL의 최신 소식도 들을 수 있었습니다.
X-Pack 6.3 버전에서 공개할 예정이라고 하니 조만간 그 실체를 직접 확인할 수 있겠네요.

기본적인 표현식은 ANSI SQL과 거의 비슷해 보입니다.
SELECT FROM, WHERE, GROUP BY, ORDER BY 등 ANSI SQL에서 사용하는 구문들이 거의 그대로 사용됩니다.

Elasticsearch SQL의 아키텍처도 소개되었습니다.

REST, CLI, JDBC, ODBC 등 다양한 Client 접근방법을 제공한다고 합니다.

앞에서 언급한 것 외에도 다양한 기능이 제공될 것 같습니다.

다음 포스팅은 마지막 방문기 입니다.

# Stretching the Cloud: Flexibility in Cloud Deployments

Elastic Cloud Enterprise(이하 ECE)에 추가될 기능을 미리 살펴볼 수 있는 세션도 있었습니다.
ECE가 공식 출시된 지도 어느덧 10개월 여의 시간이 흘렀습니다.

그 동안 Elastic.co의 클라우드 팀에서는 ECE에 새로운 기능들을 추가하기 위해 열심히 준비해 왔고,
이제 그 기능들을 공개할 수 있는 수준까지 완성도를 끌어올린 것 같습니다.
세션에서 공개된 내용을 토대로 CE에 새로 추가될 기능들을 간추려 보았습니다.

1. 동일한 클러스터에서 다양한 Node Type을 사용할 수 있습니다.
-> 그 동안 ECE에서 생성하는 클러스터에는 별도로 구성하는 Master 노드와 Kibana 노드를 제외하고는
모두 동일한 하드웨어 Spec.의 노드가 구성되었는데요.
앞으로는 Master, Kibana, Hot data, Worm data, Machine Learning(이하ML) 등 노드의 용도에 따라 각각 다양한 하드웨어 성능을 선택할 수 있게 된다고 합니다.

2. 노드 타입별로 서로 다른 호스트 위에서 구성될 수 있습니다.
-> 노드 타입에 따라 요구되는 최적의 하드웨어 Spec.이 다를 수 있는데,
ECE를 구성하는 Allocator 호스트가 여러 종류의 장비(다양한 하드웨어 Spec.을 갖는)로 구성되어 있는 경우 노드 타입별로 다른 호스트에서 구성될 수 있습니다.
그리고 노드 타입별로 호스트를 선택할 때 하드웨어 Spec.을 참조할 수 있도록 호스트에 Tag와 Metadata 항목이 추가된다고 합니다.

3. Deployment template 기능이 추가됩니다.
-> 기존에는 ECE에서 클러스터 생성시 사용자가 노드의 개수와 memory 크기 정도만 선택하면 HA를 고려하지 않은 간단한 구조의 클러스터 생성이 가능했었습니다.
하지만, 추가되는 기능들로 인해 앞으로는 클러스터 생성시에 사용자가 선택해야 하는 항목이 많아지고 클러스터의 구성 또한 매우 복잡해질 수도 있게 되었습니다.
사용자의 이러한 고민을 약간이나마 덜어주기 위해 Deployment template 이라는 기능이 새로 추가되는 것 같습니다.

앞으로는 Elastic Cloud에서 ML, APM 그리고 Logstash를 사용할 수 있다고 합니다.

다음 포스팅 세션은 Elasticsearch SQL 입니다!

# Kubernetes, Docker, and Containers at Elastic: Monitoring, Logging, and More

Beats의 Metadata Processors를 사용하여 Docker와 Kubernetes를 모니터링 하는 방법을 소개하는 세션도 있었습니다.
먼저 Beats의 Metadata Processors를 사용하여 Docker를 모니터링 하는 방법에 대해 소개하였습니다.

다음으로 Beats의 kubernetes metadata를 사용해서 Kubernetes를 모니터링 하는 방법에 대해 소개하였습니다.

실제로 Beats의 kubernetes metadata를 사용해서 Google Kubernetes Engine에서 컨테이너의 로그와 지표 및 호스트의 지표까지 수집하는 데모를 시연하였습니다.

다음 포스팅 세션은 Stretching the Cloud: Flexibility in Cloud Deployments 입니다!

# Creating Canvas for Real-Time Infographics in Kibana

발표자료 첫 장부터 비주얼미를 뽐내던 Canvas 세션입니다. Canvas 세션은 글보다 사진으로 전해드릴게 더 많은 세션이였던 것 같습니다.

파이프라인 코드 형태로도 시각화 도구를 사용할 수 있고
asset을 이용하면 원하는 이미지를 차트에 표현할 수도 있습니다.

파이프라인과 function기반으로
차트를 그릴 수 있는 기술적 요소도 꽤나 흥미로웠지만
그 보다더 더 매력적으로 다가왔던 부분은 아름다운 UI였습니다.
Kibana에서 기본적으로 제공되는 차트 UI도 꽤나 매력적이지만
Canvas는 그것을 훌쩍 뛰어넘는 아름다운 비주얼을 뽐냈습니다.

아래 주소로 들어가시면 보다 많은 정보를 볼 수 있습니다.

* Canvas Technical Preview : http://canvas.elastic.co/

다음 포스팅 세션은
Kubernetes, Docker, and Containers at Elastic: Monitoring, Logging, and More 입니다.

# APM with the Elastic Stack

서비스를 개발하는 것도 중요하지만
프로그램이 제대로 성능을 내고 있는지,
특정 구간에서 병목이 발생하는 것은 아닌지
모니터링하고 최적화하는 과정도 중요한데요.
APM은 이번 컨퍼런스에서 개인적으로도 관심이 가던 주제였습니다.

APM은 크게 APM Agent, APM 서버와
Kibana APM UI로 구성되는데,
서비스에 삽입된 APM Agent에서 APM 서버로 데이터를 전송하면
APM 서버에서 취합된 데이터를 Elasticsearch로 수집하여
Kibana APM UI에서 확인하는 흐름으로 작동합니다.

APM Agent는 각 언어에 맞춰 라이브러리 형태로 제공되는데,
현재는 Node.js, Python, Ruby, Frontend Javascript만 지원하고 Java는 아직 정식 버전이 아니라 프로덕트 환경에서의 사용은 권장하지 않습니다.
현재 열심히 개발 중이라고 하니 Java 에이전트도 곧 정식 버전으로 만나볼 수 있지 않을까 생각합니다.

서비스별로 분리된 MSA 환경이라 하더라도 서버 구간별 분석이 가능합니다.

APM 서버도 OS 별로 제공하고 있고 간단한 명령어 만으로도 설치가 가능합니다.

Elastic Stack을 이용하여 APM 시스템을 간단하게 구축하는 법을 알아볼 수 있는 세션이였습니다.

* APM Docs 발표자료 : https://www.elastic.co/guide/en/kibana/6.2/xpack-apm.html
* APM Server 다운로드 : https://www.elastic.co/downloads/apm

APM 시스템을 고민 중이시라면 위 공식 사이트에 가셔서 Quick Start 해보시길 바랍니다.

다음 포스팅은 Creating Canvas for Real-Time Infographics in Kibana 세션 편 입니다!

이번 컨퍼런스에서 진행된 세션에 대해 소개하도록 하겠습니다.

이번 컨퍼런스에서는 엘라스틱을 사용중인 다양한 기업들의 활용사례를 발표하는 세션이 다수 있었습니다.
그 중! 눈길을 끌었던 세션 입니다!!!

OTTO Motors는
산업용 자율주행 이동수단을 생산, 판매, 관리하는 회사인데요,
자율주행 이동장치에서 발생하는 IoT 데이터를 처리하는데
Elastic Stack을 활용한 사례를 발표했습니다.
다른 기술 스택 중 Elastic을 선택하여 프로젝트를 진행했다고 합니다.

발표 자료에 보시면 Hadoop, Spark, Splunk 등 익숙한 단어들도 보입니다.

OTTO Motors에서 Elastic Stack을 선택한 가장 큰 이유는 무엇보다도 데이터 분석, 시각화 시스템을 간편하게 구축할 수 있다는 점이였습니다.

아키텍쳐와 데이터 흐름을 간략하게 설명드리자면,

1. 로봇에서 나온 데이터들은 실시간으로
Fleet Manager라는 사용자 VM으로 전송.
(Fleet Manager는 로봇에서 수집되는 데이터를 모니터링, 백업 등을 담당하는 중압 집중형 로봇 관리 시스템입니다.)

2. Fleet Manager는 수집된 데이터를 방화벽 뒷편의
HAProxy로 보내 각 데이터 저장 서버들로 전송.

3. 데이터 서버에 수집된 데이터는 Beats, Logstash를
통해 HAProxy를 거쳐 Elasticsearch로 전송.

4. 키바나로 데이터 분석
특이했던 점은 Elasticsearch 앞에 HAProxy를 두어
Elasticsearch로 요청되는 _BULK API를
Insert, Update 요청만 가능하도록 제한하고 있었습니다.
데이터 삭제를 방지하기 위해 앞 단에서부터 꼼꼼히 체크하는
모습을 보면서 데이터를 수집하는 것도 중요하지만
가지고 있는 데이터를 유실하지 않고 온전히 보관하는 것도
중요하다는 걸 다시 한번 느낄 수 있었습니다.

실시간으로 생산되는 대량의 IoT 데이터를 기업들에서는
어떻게 처리하는지에 대해 알아볼 수 있는 세션이였습니다.

다음 포스팅은 #APM with the Elastic Stack 세션 입니다!

등록을 마치고 행사장 이곳 저곳을 둘러본 후
Keynote가 진행되는 The Masonic Auditorium으로 이동했습니다.
The Masonic Auditorium은 매리어트 호텔에서
버스로 약 20분 정도 떨어진 거리에 있는 대강당으로
각종 공연과 강연 등이 열리는 곳입니다.

입구에서 부터 많은 사람들로 붐비고 있었습니다!

로비에 들어서자마자 다양한 음료와 먹을거리가 가득했습니다.
실컷 먹고 온거 같아요!

키노트가 진행된 홀 모습입니다.
사진에 다 담기지 않아 아쉽지만!
양옆으로 많은 분들이 꽉꽉 자리를 채우고 있어서
1층에 앉을만한 자리가 없었습니다.

2층으로 이동하여 무대가 잘 보이는 자리를 맡았습니다.

드디어 Elastic 파운더 샤이의 모습이 보입니다.
이날도 샤이는 반팔티에 청바지 차림의 수수한 모습이였습니다.

이번 키노트에 등장했던 주제로는,

– Canvas
– Kubernetes & Docker Logging
– Elastic Site Search
– Opening up X-Pack
– Elastic cloud
-APM

키노트 슬라이드 : https://www.elastic.co/kr/elasticon/conf/2018/sf

파티에서 음악이 빠질 수 있을까요!
파티장에서 사람들이 어깨춤을 추게했던 장본인입니다.
속도감 있는 비트의 음악이 주를 이루었는데
일정 중에 긴장감을 잠시 내려놓고 가볍게 즐기기에 좋았습니다.

다음 이야기는 Sessions 편 입니다!

안녕하세요. 메가존 입니다.
2월에 있었던 Elastic Day 교육행사 이후로 공식적인 채널로는
근 한달만에 인사를 드리는 것 같네요.
얼마전에 있었던 ‘Elastic{ON} 2018 San Francisco’에
저희 메가존이 참가하게 되어 컨퍼런스에서 보고 듣고 느꼈던 것들을
한발 빠르고 생생하게 여러분들께 전해드리려고 합니다.

컨퍼런스가 열렸던 San Francisco Marriott Marquis 호텔입니다.
호텔에 묵어보진 않아서 룸 내부 시설은 잘 모르겠으나
컨퍼런스를 열기에 꽤 괜찮았던 장소였던 것 같습니다.

세션장으로 사용했던 컨퍼런스룸들 간의 동선, 무대, 음향 시설 등
컨퍼런스 내용과는 별개로 행사
준비적인 측면에서 장소 선정 및 무대 준비에 후한 점수를 주고 싶습니다!!

무엇보다 저희가 묵었던 호텔에서 도보 10분 정도 거리에 위치해 있어
바쁜 일정 간에도 무리 없이 컨퍼런스 일정을 소화할 수 있었습니다.

원형 조형물로 꾸며진 컨퍼런스 등록 장소입니다.
Elastic은 기술의 진보 못지 않게
비주얼적인 진보도 발 맞춰 진행되고 있는 것 같습니다.
컨퍼런스에 사용된 각종 타이포와 비주얼 적인 요소들에
벌써부터 기분이 업되었습니다.

등록 절차는 매우 간단했습니다.
사진에 보이는 관계자분 옆에 있는 기기에서 본인의 이름 확인 후,
현장에서 바로 네임카드를 인쇄해주는 방식이였는데
제 이름이 찍힌 따끈한 네임카드가 손에 잡히니
현장감이 더 느껴지고 좋았습니다.

등록을 완료하고 티셔츠 교환권과 tileMate Key Finder를
경품으로 받았습니다.

엘라스틱에 기여한 오픈소스 커미터들의 이름들도 보였습니다.

많은 파트너 부스들도 입점해 있었습니다.
알리바바와 Confluent도 보이네요.
Confluent는 여러분들 잘 아시는
Apache Kafka를 서비스하는 회사입니다.
저 부스에서 Kafka 서적을 받아왔습니다.

식사때 제공 되었던 음식과 과일 인데요~
이번 컨퍼런스에서는 베지테리안을 위한 식사 코너가
따로 준비가 되어 있어서 세심한 배려가 돋보였습니다.

다음 이야기는 Keynote 입니다.

블로그 내용