한국을 떠나던 날 유독 미세먼지가 심했는데, 비행기도 예정된 시간보다 1시간 정도 늦게 출발했고
꼬박 12시간이 걸려 도착한 샌프란시스코의 하늘은 너무나 맑아서 공항에서부터 감동으로 시작했던 이번 여행은
비록 업무를 보러 온 출장이었음에도 불구하고 출장기간 내내 지루할 틈 없이 계속 즐거웠던 시간들이었던 것 같습니다.

새롭게 추가된다고 소개됐던 기능들 중에는 개인적으로 예전부터 하루빨리 출시가 되었으면 하고 기다리고 있던 기능이 많아 하루에도 몇 번씩 공식 홈페이지와 페이스북 사용자 그룹을 방문하고 있습니다.

또한 여러 업체들에서 Elastic 제품군을 활용하고 있는 사례를 발표하는 것을 보면서 평소에 생각했었던 방법 이외에도 다양한 방법으로 사용할 수 있다는 것을 다시 한 번 깨닫게 되었습니다.

그리고 여러 세션을 통해 공개된 로드맵을 통해서 앞으로 Elastic 제품군이 어떻게 변화해 나아갈 것인지도 대략적으로 예상해 볼 수 있는 기회가 되어 좋았습니다.

더불어 급변하는 시장의 흐름에 뒤쳐지지 않기 위해서는 더욱 열심히 공부해야만 할 것 같다는 위기의식도 함께 느꼈던 미국 출장길이었습니다.

# Elasticsearch SQL

지난 Elastic{On} 2017에서 소개됐었던 Elasticsearch SQL의 최신 소식도 들을 수 있었습니다.
X-Pack 6.3 버전에서 공개할 예정이라고 하니 조만간 그 실체를 직접 확인할 수 있겠네요.

기본적인 표현식은 ANSI SQL과 거의 비슷해 보입니다.
SELECT FROM, WHERE, GROUP BY, ORDER BY 등 ANSI SQL에서 사용하는 구문들이 거의 그대로 사용됩니다.

Elasticsearch SQL의 아키텍처도 소개되었습니다.

REST, CLI, JDBC, ODBC 등 다양한 Client 접근방법을 제공한다고 합니다.

앞에서 언급한 것 외에도 다양한 기능이 제공될 것 같습니다.

다음 포스팅은 마지막 방문기 입니다.

# Stretching the Cloud: Flexibility in Cloud Deployments

Elastic Cloud Enterprise(이하 ECE)에 추가될 기능을 미리 살펴볼 수 있는 세션도 있었습니다.
ECE가 공식 출시된 지도 어느덧 10개월 여의 시간이 흘렀습니다.

그 동안 Elastic.co의 클라우드 팀에서는 ECE에 새로운 기능들을 추가하기 위해 열심히 준비해 왔고,
이제 그 기능들을 공개할 수 있는 수준까지 완성도를 끌어올린 것 같습니다.
세션에서 공개된 내용을 토대로 CE에 새로 추가될 기능들을 간추려 보았습니다.

1. 동일한 클러스터에서 다양한 Node Type을 사용할 수 있습니다.
-> 그 동안 ECE에서 생성하는 클러스터에는 별도로 구성하는 Master 노드와 Kibana 노드를 제외하고는
모두 동일한 하드웨어 Spec.의 노드가 구성되었는데요.
앞으로는 Master, Kibana, Hot data, Worm data, Machine Learning(이하ML) 등 노드의 용도에 따라 각각 다양한 하드웨어 성능을 선택할 수 있게 된다고 합니다.

2. 노드 타입별로 서로 다른 호스트 위에서 구성될 수 있습니다.
-> 노드 타입에 따라 요구되는 최적의 하드웨어 Spec.이 다를 수 있는데,
ECE를 구성하는 Allocator 호스트가 여러 종류의 장비(다양한 하드웨어 Spec.을 갖는)로 구성되어 있는 경우 노드 타입별로 다른 호스트에서 구성될 수 있습니다.
그리고 노드 타입별로 호스트를 선택할 때 하드웨어 Spec.을 참조할 수 있도록 호스트에 Tag와 Metadata 항목이 추가된다고 합니다.

3. Deployment template 기능이 추가됩니다.
-> 기존에는 ECE에서 클러스터 생성시 사용자가 노드의 개수와 memory 크기 정도만 선택하면 HA를 고려하지 않은 간단한 구조의 클러스터 생성이 가능했었습니다.
하지만, 추가되는 기능들로 인해 앞으로는 클러스터 생성시에 사용자가 선택해야 하는 항목이 많아지고 클러스터의 구성 또한 매우 복잡해질 수도 있게 되었습니다.
사용자의 이러한 고민을 약간이나마 덜어주기 위해 Deployment template 이라는 기능이 새로 추가되는 것 같습니다.

앞으로는 Elastic Cloud에서 ML, APM 그리고 Logstash를 사용할 수 있다고 합니다.

다음 포스팅 세션은 Elasticsearch SQL 입니다!

# Kubernetes, Docker, and Containers at Elastic: Monitoring, Logging, and More

Beats의 Metadata Processors를 사용하여 Docker와 Kubernetes를 모니터링 하는 방법을 소개하는 세션도 있었습니다.
먼저 Beats의 Metadata Processors를 사용하여 Docker를 모니터링 하는 방법에 대해 소개하였습니다.

다음으로 Beats의 kubernetes metadata를 사용해서 Kubernetes를 모니터링 하는 방법에 대해 소개하였습니다.

실제로 Beats의 kubernetes metadata를 사용해서 Google Kubernetes Engine에서 컨테이너의 로그와 지표 및 호스트의 지표까지 수집하는 데모를 시연하였습니다.

다음 포스팅 세션은 Stretching the Cloud: Flexibility in Cloud Deployments 입니다!

# Creating Canvas for Real-Time Infographics in Kibana

발표자료 첫 장부터 비주얼미를 뽐내던 Canvas 세션입니다. Canvas 세션은 글보다 사진으로 전해드릴게 더 많은 세션이였던 것 같습니다.

파이프라인 코드 형태로도 시각화 도구를 사용할 수 있고
asset을 이용하면 원하는 이미지를 차트에 표현할 수도 있습니다.

파이프라인과 function기반으로
차트를 그릴 수 있는 기술적 요소도 꽤나 흥미로웠지만
그 보다더 더 매력적으로 다가왔던 부분은 아름다운 UI였습니다.
Kibana에서 기본적으로 제공되는 차트 UI도 꽤나 매력적이지만
Canvas는 그것을 훌쩍 뛰어넘는 아름다운 비주얼을 뽐냈습니다.

아래 주소로 들어가시면 보다 많은 정보를 볼 수 있습니다.

* Canvas Technical Preview : http://canvas.elastic.co/

다음 포스팅 세션은
Kubernetes, Docker, and Containers at Elastic: Monitoring, Logging, and More 입니다.

# APM with the Elastic Stack

서비스를 개발하는 것도 중요하지만
프로그램이 제대로 성능을 내고 있는지,
특정 구간에서 병목이 발생하는 것은 아닌지
모니터링하고 최적화하는 과정도 중요한데요.
APM은 이번 컨퍼런스에서 개인적으로도 관심이 가던 주제였습니다.

APM은 크게 APM Agent, APM 서버와
Kibana APM UI로 구성되는데,
서비스에 삽입된 APM Agent에서 APM 서버로 데이터를 전송하면
APM 서버에서 취합된 데이터를 Elasticsearch로 수집하여
Kibana APM UI에서 확인하는 흐름으로 작동합니다.

APM Agent는 각 언어에 맞춰 라이브러리 형태로 제공되는데,
현재는 Node.js, Python, Ruby, Frontend Javascript만 지원하고 Java는 아직 정식 버전이 아니라 프로덕트 환경에서의 사용은 권장하지 않습니다.
현재 열심히 개발 중이라고 하니 Java 에이전트도 곧 정식 버전으로 만나볼 수 있지 않을까 생각합니다.

서비스별로 분리된 MSA 환경이라 하더라도 서버 구간별 분석이 가능합니다.

APM 서버도 OS 별로 제공하고 있고 간단한 명령어 만으로도 설치가 가능합니다.

Elastic Stack을 이용하여 APM 시스템을 간단하게 구축하는 법을 알아볼 수 있는 세션이였습니다.

* APM Docs 발표자료 : https://www.elastic.co/guide/en/kibana/6.2/xpack-apm.html
* APM Server 다운로드 : https://www.elastic.co/downloads/apm

APM 시스템을 고민 중이시라면 위 공식 사이트에 가셔서 Quick Start 해보시길 바랍니다.

다음 포스팅은 Creating Canvas for Real-Time Infographics in Kibana 세션 편 입니다!