데이터 분석하기까지 필요한 데이터 파이프라인 구축에 대해 알아봅니다.
Lucene에서 시작하여 Elastic Stack으로 성장한 Elasticsearch에 대해 전체적으로 살펴봅니다.
그리고 Docker기반의 로컬 실습환경을 구축하여 실제로 Elastic Stack으로 데이터 분석을 해봅니다.
이론
– Data Infrastructure Overview & Elastic Stack의 발전
– Data Pipeline과 Elastic Stack의 역할
– Data Analysis와 Elastic Stack의 역할
실습
– 로컬 Docker 실습 환경 구축
– Elastic stack을 사용한 데이터 분석 환경 구축 (Docker, docker-compose, Elasticsearch, Kibana)
– Kibana를 사용한 데이터 탐색 (Discovery, Dashboard, Visualization)
데이터 파이프라인중 대용량 분산 저장소에 대한 내용을 다룹니다.
기존의 분산저장소인 HDFS같은 것들과 비교해서 Elasticsearch의 특징과 사용법을 학습해봅니다.
특히 Elasticsearch에서 일어나는 데이터 색인(Indexing) · 역색인(Inverted Index)과 Shard & Replica의 원리를 이해하고,
실습을 통해서 직접 데이터를 저장 및 검색해 볼 수 있습니다.
또한 이커머스 데이터, 웹 로그 데이터 등 다양한 상황의 Elasticsearch 데이터 모델링을 하고 저장해 봅니다.
이론
– 데이터 모델링과 스키마 : JSON Document Data Modeling (Field 데이터타입, Mapping, Template)
– 대용량 저장소와 Elasticsearch 데이터 저장
– Elasticsearch Cluster Architecture : Cluster / Node / Shard / Replica / Segment / Index
실습
– Elasticsearch & Kibana Docker-compose 구축 실습
– Elasticsearch 데이터 저장 실습 (Mapping API, Document API, Index API)
샘플로 분석할 데이터를 생성해 보고, 검색을 진행합니다.
분산 검색엔진으로 사용되는 Elasticsearch의 원리를 이해하고, 이커머스 데이터를 가지고 다양한 검색을 진행해봅니다.
이론
– 샘플 이커머스 데이터 생성, 저장, 검색
– Elasticsearch의 분산 데이터 검색 원리 이해 : Indexing, Inverted Index, Analyzer
실습
– Elasticsearch 데이터 검색 실습 (SearchAPI, QueryDSL)
– Analyzer API
대용량 분산 처리엔진들(MapReduce, Spark, Flink)과 Elasticsearch를 비교해보고,
Elasticsearch가 검색엔진의 한계를 극복하고, 다양한 용도로 사용할 수 있게 된 핵심 기술인 Aggregation에 대해 학습합니다.
Metirc, Bucket Aggregation을 이해하고, Pipeline Aggregation을 사용하여 데이터분석 실무에 적용해봅니다.
Kibana로 데이터 분석하기 위해 필수인 Dashboard 시각화에 Aggregation을 적용해 볼 수 있습니다.
이론
– 대용량 분산 처리와 Elasticsearch의 데이터 집계 기능 소개 및 원리 이해
– Metirc, Bucket Aggregation의 이해와 데이터 분석에 사용
– Pipeline Aggregation을 사용하여 데이터 분석 실무에 적용하기
실습
– Metric, Bucket, Pipeline Aggregation 실습
– Kibana Dashboard & Aggregation으로 KPI 분석 대시보드 생성
Elastic Stack의 각 Component로 Data pipeline을 구축해 봅니다.
데이터를 가지고 미니 프로젝트를 수행하면서, 실무에서는 어떻게 구축해야 하는지 알아봅니다.
데이터 수집 · 전송 · 저장 · 시각화 단계에 해당하는 Component를 학습합니다.
Elasticsearch를 중심으로 데이터를 Beats로 수집하고 Logstash로 전송해보면서 Data pipeline의 단계를 파악합니다.
추가적으로 Kafka와 같은 Component등과 어떻게 함께 사용하는지 알아봅니다.
이론
– 데이터 파이프라인과 Elastic Stack (수집, 처리, 저장, 시각화)
– 다양한 형태의 데이터 수집과 Beats (MetricBeats, FileBeats, LibBeats 등)
– 데이터 전송 레이어와 Logstash (input, filter, output, Persistence Quene)
– X-Pack (계정과 권한, RBAC)
실습
– project : Logstash & apache log 파싱
– project : MetricBeat와 시스템 메트릭수집 분석하기
– project : FileBeat와 Logstash(Grok Plugin)로 로그파일수집 분석하기
– project : Elastic Stack과 Kafka를 사용해 실시간 데이터 파이프라인 구축
