Lucene에서 시작하여 Elastic Stack으로 성장한 Elasticsearch에 대해 전체적으로 살펴봅니다.
그 다음, 데이터 분석하기까지 필요한 데이터 파이프라인 구축에 대해 알아봅니다.
그리고 Docker기반의 로컬 실습환경을 구축하여 실제로 Elastic Stack으로 데이터 분석을 해봅니다.

이론
– Elastic stack과 Data pipeline의 개념
– 데이터의 종류와 형태 / Document 데이터 모델링 (mapping, data type)
– 분산 데이터 저장소 관점에서의 Elasticsearch (index, shard & replica, segment)

실습
– 로컬 Docker 실습 환경 구축
– Elastic stack을 사용한 데이터 분석 환경 구축 (Docker, docker-compose, Elasticsearch, Kibana)
– Kibana를 사용한 데이터 탐색 (Discovery, Dashboard, Visualization)

Elastic Stack에서 핵심적인 역할을 하는 Elasticsearch를 집중적으로 학습합니다.
특히 Elasticsearh에서 일어나는 데이터 색인(Indexing) · 역색인(Inverted Index)과 검색(Searching)의 원리를 이해하고,
실습을 통해서 직접 데이터를 저장 및 검색해 볼 수 있습니다. 또한 데이터 분석을 위해 선행되야하는 Elasticsearch 데이터 모델링을 해봅니다.

이론
– 검색엔진과 Elasticsearch (indexing, Inverted Index, searching 개념 파악)
– Elasticsearch의 데이터 저장 및 색인(indexing)
– Elasticsearch의 데이터 검색(searching)

실습
– Elasticsearch 데이터 저장 실습 (MappingAPI, DocumentAPI, Analyzer)
– Elasticsearch 데이터 검색 실습 (SearchAPI, QueryDSL)

Elasticsearch가 검색엔진의 한계를 극복하고, 다양한 용도로 사용할 수 있게 된 핵심 기술인 Aggregation에 대해 학습합니다.
Metirc, Bucket Aggregation을 이해하고, Pipeline Aggregation을 사용하여 데이터분석 실무에 적용해봅니다.
Kibana로 데이터 분석하기 위해 필수인 Dashboard 시각화에 Aggregation을 적용해 볼 수 있습니다.

이론
– Elasticsearch의 데이터 집계 기능 소개 및 원리 이해
– Metirc, Bucket Aggregation의 이해와 데이터 분석에 사용
– Pipeline Aggregation을 사용하여 데이터 분석 실무에 적용하기

실습
– Elasticsearch Aggregation기능 실습
– Metric, Bucket, Pipeline Aggregation 실습 및 Kibana로 Aggregation사용하기

데이터 수집 · 전송 · 저장 · 시각화 단계에 해당하는 Component를 학습합니다.
Elasticsearch를 중심으로 데이터를 Beats로 수집하고 Logstash로 전송해보면서 Data pipeline의 단계를 파악합니다.

이론
– Elastic Stack으로 Data Pipeline 개념 이해하기 (수집, 처리, 저장, 시각화)
– 다양한 형태의 데이터 수집과 Beats (MetricBeats, FileBeats, LibBeats 등)
– 데이터 전송 레이어와 Logstash (input, filter, output, Persistence Quene)
– 데이터 시각화와 Kibana

실습
– Docker환경에서 Elastic Stack Data Pipeline구축 실습(1)
project01 : REST API로 데이터 전송시, Logstash의 HTTP input plugin과 JSON 데이터를 Elasticsearch에서 저장하기
project02 : 로그파일을 Logstash사용해서 전송 & Apache 로그포멧 Grok패턴으로 파싱
project03 : MetricBeat를 사용해 시스템 메트릭을 저장 & 메트릭 시각화
project04 : FileBeat & Logstash를 사용한 로그파일 전송 & 데이터 시각화

Elastic Stack의 각 Component로 Data pipeline을 구축해 봅니다.
실제로 서버에서 발생하는 데이터를 가지고 미니 프로젝트를 수행하면서, 실무에서는 어떻게 구축해야 하는지 알아봅니다.

이론
– Data Pipeline 구축을 위한 미니 프로젝트와 Elastic Stack

실습
– Docker환경에서 Elastic Stack Data Pipeline구축 미니 프로젝트 실습(1)
project05 : Elasticsearch 멀티노드 클러스터 구축 및 운영툴
project06 : Elastic Stack + Kafka를 사용하여 전체 Data Pipeline 구축해보기