Elastic Stack으로 시작하는
데이터 엔지니어링 및 분석

데이터 수집부터 시각화, 데이터 파이프라인 구축을 위한 데이터 엔지니어링 입문

강의 난이도

 3.5/5

데이터 엔지니어링 현업에서 활발히 사용되는 Elastic Stack,
5주면 데이터 분석을 위한 파이프라인 구축이 가능합니다!

데이터 엔지니어링 All-in-One! Elastic Stack은 모든 유형의 정형/비정형 데이터를 가져와 검색, 분석, 시각화까지 도와주는 End-to-End 플랫폼이며, 이는 현업 데이터 엔지니어가 실무에서 가장 활발히 사용하고 있습니다.

– Elastic Stack의 전 component 핵심 개념 학습
– 대용량의 데이터 분석을 위한 파이프라인 구축,
– Log 기반의 모니터링 시스템 구현 프로젝트까지

주니어 데이터 엔지니어라면, 많은 기업의 에반젤리스트가 찾는 Elastic Stack을 잘 다룰 줄 아셔야 합니다.
현업 시니어 데이터 엔지니어 강사님에게 듣는 5번의 강의로
데이터 처리 능력과 Elastic Stack 활용 능력 모두 가져가세요!

일정

20.09.20 ~ 20.10.25 | 총 5회

매주 일요일 10:00 ~ 13:00, 총 15시간

* 10월 04일 추석연휴 휴강

정원 및 준비물

총 15명

노트북(Windows 또는 MacOS)

* MacOS 노트북 추천
* Windows 10 Home 불가

장소

러닝스푼즈 강의장

강남대로 94길 15, S2빌딩 4층

강남역 11번 출구 3분 거리 (지도 확인)

Elastic Stack(ELK Stack)이 뭔가요?

아래 4가지 핵심 제품을 통틀어 Elastic Stack, 혹은 ELK Stack이라고 합니다.

저장 및 검색을 위한 ES 핵심
Elasticsearch

데이터 가공 특화
Logstash

다양한 시각화
Kibana

데이터 수집을 위한 플랫폼
Beats

데이터 수집부터 분석, 시각화까지 한 번에 가능한 Elastic Stack!

데이터 관련 업무에 파워풀한 퍼포먼스를 보여주는 All-in-One 플랫폼입니다.

대용량의 정형/비정형 데이터를
효율적으로 다루고 싶어하는
데이터 엔지니어는 물론

Ecommerce 결제 데이터

Flight 위치 데이터

웹 서버 log 데이터

깔끔한 대시보드 제작을 원하는
데이터 분석가도 찾습니다.

그리고 유명 기업들의 기술영업팀에서도
이미 Elastic Stack을 받아들이고 있습니다.

데이터 엔지니어링을 위해서라면,
여러분도 배우셔야 합니다.

| 강의특징

많은 기업은 이미 Elastic Stack을 활발히 사용합니다.

혹시 여러분이 다니는 기업에서는 엑셀로 데이터를 다루진 않나요? 혹은 데이터가 여기저기 흩어져있지는 않나요? 데이터 분석가든, 데이터 엔지니어든 ‘데이터를 관리하는 것’은 정말 중요합니다. 작은 스타트업부터 유명한 대기업까지, ‘데이터를 보유한 기업’이라면 데이터를 잘 관리하기 위해 대부분 Elastic Stack을 적극적으로 활용하고 있습니다. 본 강의는 Elastic Stack이 어떻게 활용되는지, 왜 많은 기업이 열광하는지를 핵심 개념 설명과 함께 알아봅니다.

Elastic Stack의 심장, 'Elasticsearch'에 집중해봅니다.

Elastic Stack에 있어 모든 프레임워크가 자주 사용되지만, 그 중에서도 가장 활발히 사용되는 핵심 프레임워크는 Elasticsearch입니다. Elasticsearch는 JSON 기반의 전문(Full Text) 검색 엔진으로, 분산 데이터 저장 및 탐색이 가능합니다. 그 기초가 되는 역색인(Inverted Index)의 구조를 이해하고 분산 데이터 처리에 대한 원리를 집중적으로 배우게 됩니다. 이외에도 분석 및 시각화에 필요한 Elastic Stack의 다른 프레임워크 ‘Logstash, Kibana, Beats’도 함께 배울 수 있습니다.

현업 실무자가 주로 사용하는 노하우를 전수합니다.

데이터 분석이나 데이터 엔지니어링에 관심이 있어 학습을 시작하시더라도, 현업에서 직접 사용되는 스킬이나 노하우를 얻기는 힘듧니다. 본 강의는 Elastic Stack의 기초 개념 및 데이터 파이프라인 구축의 핵심을 파악할 뿐만 아니라, 이미 개념을 이해하시는 분들이라도 현업 데이터 엔지니어가 실무에서 직접 사용하고 있는 데이터 파이프라인 구축 노하우와 도메인 지식을 배웁니다.

데이터 엔지니어링 및 분석의 진짜 실무에는
Elasticsearch를 주로 사용합니다.

본 강의는 현업 적용도가 낮은 기존 강의들과 달리
Elasticsearch를 집중 학습함으로써
불필요한 학습을 줄여 현업 적용도를 높였습니다.

또한 3단계로 이루어진 단계별 학습으로
타사 강의들과는 다른 독보적인 강의를 진행합니다.

* 본 과정 참여 시 64bit의 개인 노트북을 지참해주셔야 합니다. (MacOS 혹은 Windows 10 Enterprise 이상 권장)

* 원활한 과정 진행을 위해 개강 2-3일 전 보내드리는 개강안내문을 통해 아래 프로그램에 대한 설치 방법을 안내드리오니, 사전 설치를 요청드립니다.

Docker Desktop (필수)

git (권장)

Slack (선택)

| 수강효과

누구나 쉽게 적응 가능한 Elastic Stack 환경

Docker를 활용한 개별적인 실습 환경 구축으로 어떠한 환경에서도 Elastic Stack을 활용할 수 있게 됩니다. 강사님께서 세팅해주신 Docker 컨테이너로 환경 설정을 진행하기 때문에 번거로운 초기 환경 설정도 필요 없습니다. 데이터 엔지니어링을 처음 접하는 입문자부터 Elastic Stack에 관심있는 현업 데이터 엔지니어까지 누구나! 강의를 통해 제공받은 Elastic Stack 환경을 나만의 Docker 컨테이너에 저장해두세요. Windows, MacOS 등 어떤 OS 환경에서든 쉽게 적응하게 됩니다.

데이터 엔지니어링 및 데이터 분석 커리어 습득

그저 실전에서 활용되는 Elasticsearch와 Kibana을 집중적으로 배워 데이터 엔지니어링 스킬을 얻을 수 있습니다. 또한 Logstash와 Beat도 함께 배우기 때문에 데이터 분석 커리어도 함께 얻으실 수 있습니다. 데이터 수집에 특화된 Beats, 분산 데이터 저장 및 처리를 위한 Elasticsearch, 스트림 데이터 가공/출력을 위한 Logstash로 데이터를 분석하고, Kibana로 시각화된 결과물을 제출함으로써 데이터 엔지니어링과 데이터 분석 커리어를 동시에 얻어가세요.

강사와의 커뮤니케이션으로 엔지니어링 생태계 파악

Elastic Stack의 기초부터 내가 원하는 데이터 분석을 위해 필요한 NoSQL document 설계, 각종 데이터 샘플 실습, 실전 프로젝트까지의 전 과정을 현업 실무자와 함께 진행합니다. Q&A를 통해 강의 중 이해가 어려운 내용을 쉽게 이해하실 수 있습니다. 또한 강사님이 자주 사용하는 분석 파이프라인, ETL 업무 노하우 등 실무자가 직접 겪은 데이터 엔지니어의 현주소를 자유롭게 이야기하며 데이터 엔지니어링의 전반적인 생태계를 파악하실 수 있습니다.

| 수강대상

본 강의는 Elastic Stack(Elasticsearch, Logstash, Kibana, Beats)을 사용하여
실무에서 활용되는 데이터 분석 파이프라인을 구축하고 싶은 분을 주 대상으로 합니다.

* NoSQL, RDB, Hadoop에 대한 개념을 이해하시는 분은 본 과정을 더 쉽게 이해하실 수 있습니다.

DATA SCIENCE NEW EVENT!

결석 없이 모든 회차를 출석하신 분들에게
파이썬 기초를 다질 수 있는 온라인 강의를
무료로 제공해드립니다.

수강생 분들의 성장을 위한 의지와 열정에
러닝스푼즈가 최선을 다해 도와드리겠습니다.

많은 기업이 극찬하는 Elastic Stack,
데이터 파이프라인 구축과 데이터 엔지니어링을 위한 독보적인 강의!
내가 배울 수 있는지 모르겠다면? 일단 강사님과의 1:1 상담부터 받아보세요.

| 수강후기

| 커리큘럼

1주차. Elastic Stack과 데이터 분석

Lucene에서 시작하여 Elastic Stack으로 성장한 Elasticsearch에 대해 전체적으로 살펴봅니다.
그 다음, 데이터 분석하기까지 필요한 데이터 파이프라인 구축에 대해 알아봅니다.
그리고 Docker기반의 로컬 실습환경을 구축하여 실제로 Elastic Stack으로 데이터 분석을 해봅니다.

이론
– Elastic stack과 Data pipeline의 개념
– 데이터의 종류와 형태 / Document 데이터 모델링 (mapping, data type)
– 분산 데이터 저장소 관점에서의 Elasticsearch (index, shard & replica, segment)

실습
– 로컬 Docker 실습 환경 구축
– Elastic stack을 사용한 데이터 분석 환경 구축 (Docker, docker-compose, Elasticsearch, Kibana)
– Kibana를 사용한 데이터 탐색 (Discovery, Dashboard, Visualization)

2주차. 검색엔진 Elasticsearch(1) : 데이터 저장과 검색

Elastic Stack에서 핵심적인 역할을 하는 Elasticsearch를 집중적으로 학습합니다.
특히 Elasticsearh에서 일어나는 데이터 색인(Indexing) · 역색인(Inverted Index)과 검색(Searching)의 원리를 이해하고,
실습을 통해서 직접 데이터를 저장 및 검색해 볼 수 있습니다. 또한 데이터 분석을 위해 선행되야하는 Elasticsearch 데이터 모델링을 해봅니다.

이론
– 검색엔진과 Elasticsearch (indexing, Inverted Index, searching 개념 파악)
– Elasticsearch의 데이터 저장 및 색인(indexing)
– Elasticsearch의 데이터 검색(searching)

실습
– Elasticsearch 데이터 저장 실습 (MappingAPI, DocumentAPI, Analyzer)
– Elasticsearch 데이터 검색 실습 (SearchAPI, QueryDSL)

3주차. 검색엔진 Elasticsearch(2) : 데이터 집계 (Aggregation)

Elasticsearch가 검색엔진의 한계를 극복하고, 다양한 용도로 사용할 수 있게 된 핵심 기술인 Aggregation에 대해 학습합니다.
Metirc, Bucket Aggregation을 이해하고, Pipeline Aggregation을 사용하여 데이터분석 실무에 적용해봅니다.
Kibana로 데이터 분석하기 위해 필수인 Dashboard 시각화에 Aggregation을 적용해 볼 수 있습니다.

이론
– Elasticsearch의 데이터 집계 기능 소개 및 원리 이해
– Metirc, Bucket Aggregation의 이해와 데이터 분석에 사용
– Pipeline Aggregation을 사용하여 데이터 분석 실무에 적용하기

실습
– Elasticsearch Aggregation기능 실습
– Metric, Bucket, Pipeline Aggregation 실습 및 Kibana로 Aggregation사용하기

4주차. Logstash / Beats / Kibana

데이터 수집 · 전송 · 저장 · 시각화 단계에 해당하는 Component를 학습합니다.
Elasticsearch를 중심으로 데이터를 Beats로 수집하고 Logstash로 전송해보면서 Data pipeline의 단계를 파악합니다.

이론
– Elastic Stack으로 Data Pipeline 개념 이해하기 (수집, 처리, 저장, 시각화)
– 다양한 형태의 데이터 수집과 Beats (MetricBeats, FileBeats, LibBeats 등)
– 데이터 전송 레이어와 Logstash (input, filter, output, Persistence Quene)
– 데이터 시각화와 Kibana

실습
– Docker환경에서 Elastic Stack Data Pipeline구축 실습(1)
project01 : REST API로 데이터 전송시, Logstash의 HTTP input plugin과 JSON 데이터를 Elasticsearch에서 저장하기
project02 : 로그파일을 Logstash사용해서 전송 & Apache 로그포멧 Grok패턴으로 파싱
project03 : MetricBeat를 사용해 시스템 메트릭을 저장 & 메트릭 시각화
project04 : FileBeat & Logstash를 사용한 로그파일 전송 & 데이터 시각화

5주차. Elastic Stack과 Data pipeline 구축 Project

Elastic Stack의 각 Component로 Data pipeline을 구축해 봅니다.
실제로 서버에서 발생하는 데이터를 가지고 미니 프로젝트를 수행하면서, 실무에서는 어떻게 구축해야 하는지 알아봅니다.

이론
– Data Pipeline 구축을 위한 미니 프로젝트와 Elastic Stack

실습
– Docker환경에서 Elastic Stack Data Pipeline구축 미니 프로젝트 실습(1)
project05 : Elasticsearch 멀티노드 클러스터 구축 및 운영툴
project06 : Elastic Stack + Kafka를 사용하여 전체 Data Pipeline 구축해보기

| 강사소개 및 인터뷰

Torres

(현) Kakao 데이터 엔지니어
(전) 제플린(Zeppelin) DevOps 엔지니어
(전) SK 플래닛, System Software Development

– LinkedIn (https://www.linkedin.com/in/torreswoo/)

(프로젝트)
– AB Test Platform 구축 (https://www.youtube.com/watch?v=YWfFv9ZYSAk)
– Machine Learning Platform 구축 (Feature Store, ML Model Serving)
– Elastic Stack을 활용한 Data Pipeline 구축
– Kubernetes 기반 DevOps (Istio, Prometheus & Grafana 모니터링, ELK 로깅)

1. 자기소개 부탁드립니다.

안녕하세요. 저는 데이터를 서비스에 사용하기 위해 필요한 ‘데이터 수집 · 전송 · 저장 · 분석 등 전체과정을 개발 구축’하는 데이터 엔지니어입니다. 현재는 카카오에서 데이터를 조금 더 유용하게 활용할 수 있도록 AB Test Platform과 Machine Learning Platform을 개발하고 있습니다. 비즈니스 의사결정에 도움을 주고, 데이터에 쉽게 접근하게 하며, 다양한 뷰로 제공해 주는 업무를 주로 합니다. 데이터를 분석하고 잘 활용하기 위해서는 이러한 데이터 엔지니어의 역할이 중요하다고 생각합니다. 데이터가 점점 더 중요해 질수록 Elastic Stack도 실무에서 많이 사용되고 있는데요. 이 강의를 통해 Elastic Stack이 어떻게 현업에서 사용되고 있는지 알 수 있게 도와드리겠습니다.

2. 강의에서는 주로 어떤 내용을 다룰 예정이시고, 어떤 형태로 진행되나요?

Elastic Stack은 실무에서 데이터 파이프라인을 구축할 때 필수적으로 사용하는 기술입니다. 그동안 데이터 관련 시스템을 구축하면서 유용하게 사용한 Elastic Stack 관련 경험을 강의에서 공유하고자 합니다. Elastic에서 제공하는 다양한 샘플 데이터를 이용하여 데이터 분석 실습을 진행합니다. 이커머스데이터를 차트 및 테이블 형태로 시각화한 Dashboard를 구축합니다. 위치 기반 데이터(Latitude, Longitude)를 이용하여 지역별로 값을 집계해서 시각화합니다. 또한 강의 마지막엔 Elastic Stack을 사용하여 직접 데이터 파이프라인을 구축해보는 프로젝트를 진행해 볼 것입니다. Docker 기반 실습환경을 구축해서 간편하게 Elastic Component들을 설치해 볼 수 있습니다. Elasticsearch의 원리를 이해하고 다양한 쿼리와 파워풀한 Aggregation기능을 실습합니다. Kibana를 사용하여 이러한 Elasticsearch 기능을 더 쉽고 간편하게 사용할 수 있게 될 것입니다.

3. 본 강의에서 배운 내용을 수강생 분들이 어떻게 활용할 수 있을까요?

보통 회사마다 Elasticsearch는 설치가 이미 되어있는 경우가 많습니다. 그런 경우, 내가 원하는 데이터가 이미 적재되어 있는지 탐색할 수 있고, Kibana와 Elasticsearh 쿼리를 이용해서 비즈니스 의사 결정에 필요한 데이터를 확인해 볼 수 있습니다. Elasticsearch가 아직 구축되어 있지 않은 경우라면, 직접 구축해서 필요한 데이터를 쌓을 수 있을 것입니다.

4. 주로 어떤 분야에 있는 분들이 수강 대상에 적합할까요?

Elastic Stack을 사용하여 데이터파이프라인을 구축하고 싶은 개발자분들이 수강하면 실무에 적용할때 도움이 될 것입니다. 또한 데이터 수집부터 분석까지 전체 과정을 한번 겪어 보고 싶은 분 역시 많은 도움이 될 것입니다. Kibana를 사용하여 데이터를 탐색하고 차트와 그래프로 데이터를 시각화하고자 할 때도 활용할 수 있습니다.

5. 다른 강의와 어떤 차별 점이 있나요?

1. 단순히 Elasticsearch를 설치하고 쿼리를 익히는 것 아니라, 실무에서 사용하는 다양한 형태를 익힐 수 있습니다. 검색엔진으로서의 Elasticsearch에서 나아가, 분산 데이터 저장소 및 처리 엔진으로 사용함으로써 데이터 분석에 활용되는 방법을 익힐 수 있습니다.
2. 로컬에서 데이터 파이프라인 구축하기에 쉬지 않지만, Docker기반으로 실습을 진행하여 수강생이 직접 서버를 실행하고, 샘플 데이터를 수집 및 저장하여 구축하는 경험을 할 수 있습니다.

6. 마지막으로 수강생들에게 하고 싶으신 말

이 강의를 통해 전체적인 데이터 파이프라인을 이해하고 실제로 파이프라인을 Elastic Stack을 사용하여 구축해 볼 수 있습니다. 현업 외에서는 경험해 보기 어려운 업무를 직접해봄으로써 이해도를 높이고, 전문성을 갖추는 데에 도움이 되었으면 좋겠습니다.

수강료 ~~80만 원~~ → 60만 원

수강신청은 결제 순으로 선착순 마감될 수 있습니다.
개강 후 환불은 학원법 시행령 <제18조 제3항> 수강료 반환기준에 의거합니다.
# 환불 세부규정 확인하기 (클릭)

20만 원 할인, 놓치지 마세요!

Elastic Stack으로 시작하는 데이터 엔지니어링 및 분석