elasticsearch, elasticstack, 빅데이터, 대용량, 데이터 분석, 강의
  • 데이터사이언스
  • 중급, 고급

Elastic Stack을 활용한 데이터 처리 및 분석

(6기 모집 마감)독보적인, 실용적인 5주 완성형 Elastic Stack 강의! 빅데이터 처리 분석에 한층 더 다가가세요.

6기
강의 일정
21.11.20 ~ 21.12.18 (총 5회) 매주 토요일 10:00 ~ 13:00 (총 15시간)

Elastic Stack을 활용한
데이터 파이프라인 구축 실전

현 카카오 데이터 엔지니어에게 직접 배워보세요!


강의소개

검색, 분석, 시각화까지.
End-to-End 플랫폼 Elastic Stack의 모든것.

엘라스틱 강의

01. Elasticsearch를 중점으로 Elastic Stack의 전 Component의 핵심 개념을 제대로 배워보고 싶다.

Elastic Stack에 있어 모든 프레임워크(Kibana, Logstash, Beats)가 자주 사용되지만, 그 중에서도 가장 활발히 사용되는 핵심 프레임워크는 Elasticsearch입니다. Elasticsearch는 JSON 기반의 전문(Full Text) 검색 엔진으로, 분산 데이터 저장 및 탐색이 가능합니다. 그 기초가 되는 역색인(Inverted Index)의 구조를 이해하고 분산 데이터 처리에 대한 원리를 집중적으로 배우게 됩니다.

02. Elastic Stack을 실무에 활용하는 방법을 알고 싶다.

혹시 여러분이 다니는 기업에서는 엑셀로 데이터를 다루진 않나요? 혹은 데이터가 여기저기 흩어져있지는 않나요? 데이터 분석가든, 데이터 엔지니어든 ‘데이터를 관리하는 것’은 정말 중요합니다. 작은 스타트업부터 유명한 대기업까지, 데이터를 잘 관리하기 위해 대부분 Elastic Stack을 적극적으로 활용하고 있습니다. 본 강의는 Elastic Stack이 어떻게 활용되는지, 왜 많은 기업이 열광하는지를 핵심 개념 설명과 함께 알아봅니다.

03. 대용량 데이터 처리 및 분석을 위한 파이프라인 구축 프로젝트를 진행하고 싶다.

기존 강의들은 많은 모객을 위해 데이터 분석 강의에만 집중했으며, 데이터 파이프라인에 대한 설명을 완벽하게 배우실 곳이 없었습니다. 본 Elastic Stack 강의는 데이터 파이프라인 설계 기초부터 강사님의 실무 노하우까지 꾹꾹 눌러담아 강의해드립니다. 특히, Kafka와 Spark 등 빅데이터와 데이터 엔지니어링에 필요한 언어나 프레임워크도 알려주시기 때문에 해당 직무를 희망하는 분들께 충분히 유익하실 수 있습니다.


본 강의에서
무엇을 얻어갈 수 있나요?

현 카카오 데이터 엔지니어에게 배우는 스킬

  • 파이프라인 구축

    Docker 환경

    Docker 기반 환경에서 실습을 병행하며 Elastic Stack과 Kafka를 활용한 실시간 데이터 파이프라인 구축 방법을 알려드립니다.

    엘라스틱 강의
  • 분산 데이터 처리

    Aggregation의 이해

    대용량 분산 처리 엔진과 Elastic Search를 비교해본 뒤, 핵심 기술인 Aggregation을 이해하고 실무에 적용할 수 있습니다.

    엘라스틱 강의
  • 모니터링 시스템

    다양한 프로젝트

    Elastic Stack의 전 Component 핵심 개념부터, 파이프라인 구축, Log 기반의 모니터링 시스템 구현까지 모두 다룹니다.

    엘라스틱 강의

5주 뒤, ELK 데이터 엔지니어링을
현업에 바로 적용할 수 있습니다.


본 강의가 특별한 이유는
무엇인가요?

1

누구나 쉽게 적응 가능한
Elastic Stack 환경

Docker를 활용한 개별적인 실습 환경 구축으로 어떠한 환경에서도 Elastic Stack을 활용할 수 있게 됩니다.
강사님께서 세팅해주신 Docker 컨테이너로 환경 설정을 진행하기 때문에 번거로운 초기 환경 설정도 필요 없습니다.
데이터 엔지니어링을 처음 접하는 입문자부터 Elastic Stack에 관심있는 현업 데이터 엔지니어까지 누구나!
강의를 통해 제공받은 Elastic Stack 환경을 나만의 Docker 컨테이너에 저장해두세요.
Windows, MacOS 등 어떤 OS 환경에서든 쉽게 적응합니다.

2

데이터 엔지니어링 및
분석 커리어 습득

실전에서 활용되는 Elasticsearch와 Kibana을 집중적으로 배워 데이터 엔지니어링 스킬을 완벽히 얻을 수 있고, Logstash와 Beat를 함께 하여 데이터 분석 프로세스를 배우실 수 있습니다.
데이터 수집에 특화된 Beats, 분산 데이터 저장 및 처리를 위한 Elasticsearch, 스트림 데이터 가공/출력을 위한 Logstash로 데이터를 분석하고, Kibana로 시각화된 결과물을 포트폴리오로 활용함으로써 데이터 엔지니어링과 데이터 분석 커리어를 동시에 얻어가세요.

3

강사와의 소통을 통한
엔지니어링 생태계 파악

Elastic Stack의 기초부터 내가 원하는 데이터 분석을 위해 필요한 NoSQL document 설계, 각종 데이터 샘플 실습, 실전 프로젝트까지의 전 과정을 현업 실무자와 함께 진행합니다.
Q&A를 통해 강의 중 이해가 어려운 내용을 쉽게 이해하실 수 있습니다.
또한 강사님이 자주 사용하는 분석 파이프라인, ETL 업무 노하우 등 실무자가 직접 겪은 데이터 엔지니어의 현주소를 자유롭게 이야기하며 데이터 엔지니어링의 전반적인 생태계를 파악하실 수 있습니다.

FAQ

강의에 대해
궁금한 점이 있으신가요?

1. 오프라인으로만 진행하나요?

네, 해당 과정은 원활한 오프라인으로만 진행됩니다. 과정 진행 시간 동안 담당 매니저가 디스코드 커뮤니티를 운영할 예정이며, 강사님과도 디스코드 커뮤니티을 통해 언제든 소통하실 수 있습니다.

2. 수강 시, 준비 사항은 어떤 것이 있을까요?

실습을 위해 개인 PC가 꼭 필요합니다. OS는 Windows OS, Mac OS 모두 가능합니다.

3. 어떤 환경에서 실습이 이루어지나요?

본 강의는 Elastic Stack(Elasticsearch, Logstash, Kibana, Beats)을 사용하여 실무에서 활용되는 데이터 분석 파이프라인을 구축하고 싶은 분을 주 대상으로 합니다.
* 본 과정은 데이터 분석을 처음 배우시는 분들께는 권장드리지 않습니다.
* NoSQL, RDB, Hadoop에 대한 개념을 이해하시는 분은 본 과정을 더 쉽게 이해하실 수 있습니다.

수강 대상

이런 분들은 꼭 들으셔야 해요!


Elastic Stack에 관심있으며 입문을 희망하시는 분


데이터 파이프라인 구축 노하우를 얻고 싶은
주니어 데이터 엔지니어


Elasticsearch에 집중한
데이터 처리 및 분석 학습이 필요하신 분

강사소개

우리 강사님을 소개할게요!

엘라스틱 강의

Torres Woo

이력사항
  • (현) Kakao 데이터 엔지니어
  • (전) 제플린(Zeppelin) DevOps 엔지니어
  • (전) SK 플래닛, System Software Development
  • (Linkedin) https://www.linkedin.com/in/torreswoo/
프로젝트
  • AB Test Platform 구축
    (https://www.youtube.com/watch?v=YWfFv9ZYSAk)
  • Machine Learning Platform 구축 (Feature Store, ML Model Serving)
  • Elastic Stack을 활용한 Data Pipeline 구축
  • Kubernetes 기반 DevOps (Istio, Prometheus & Grafana 모니터링, ELK 로깅)

1. 간단하게 자기소개 부탁드립니다.

안녕하세요. 저는 데이터를 서비스에 사용하기 위해 필요한 ‘데이터 수집 · 전송 · 저장 · 분석 등 전체과정을 개발 구축’하는 데이터 엔지니어입니다.현재는 카카오에서 데이터를 조금 더 유용하게 활용할 수 있도록 AB Test Platform과 Machine Learning Platform을 개발하고 있습니다. 비즈니스 의사결정에 도움을 주고, 데이터에 쉽게 접근하게 하며, 다양한 뷰로 제공해 주는 업무를 주로 합니다. 데이터를 분석하고 잘 활용하기 위해서는 이러한 데이터 엔지니어의 역할이 중요하다고 생각합니다. 데이터가 점점 더 중요해 질수록 Elastic Stack도 실무에서 많이 사용되고 있는데요. 이 강의를 통해 Elastic Stack이 어떻게 현업에서 사용되고 있는지 알 수 있게 도와드리겠습니다.

2. 강의에서는 주로 어떤 내용을 다룰 예정이시고, 어떤 형태로 진행되나요?

Elastic Stack은 실무에서 데이터 파이프라인을 구축할 때 필수적으로 사용하는 기술입니다. 그동안 데이터 관련 시스템을 구축하면서 유용하게 사용한 Elastic Stack 관련 경험을 강의에서 공유하고자 합니다. Elastic에서 제공하는 다양한 샘플 데이터를 이용하여 데이터 분석 실습을 진행합니다. 이커머스 데이터를 차트 및 테이블 형태로 시각화한 Dashboard를 구축합니다. 위치 기반 데이터(Latitude, Longitude)를 이용하여 지역별로 값을 집계해서 시각화합니다. 또한 강의 마지막엔 Elastic Stack을 사용하여 직접 데이터 파이프라인을 구축해보는 프로젝트를 진행해 볼 것입니다. Docker 기반 실습환경을 구축해서 간편하게 Elastic Component들을 설치해 볼 수 있습니다. Elasticsearch의 원리를 이해하고 다양한 쿼리와 파워풀한 Aggregation기능을 실습합니다. Kibana를 사용하여 이러한 Elasticsearch 기능을 더 쉽고 간편하게 사용할 수 있게 될 것입니다.

3. 본 강의에서 배운 내용을 수강생 분들이 어떻게 활용할 수 있을까요?

보통 회사마다 Elasticsearch는 설치가 이미 되어있는 경우가 많습니다. 그런 경우, 내가 원하는 데이터가 이미 적재되어 있는지 탐색할 수 있고, Kibana와 Elasticsearh 쿼리를 이용해서 비즈니스 의사 결정에 필요한 데이터를 확인해 볼 수 있습니다. Elasticsearch가 아직 구축되어 있지 않은 경우라면, 직접 구축해서 필요한 데이터를 쌓을 수 있을 것입니다.

4. 주로 어떤 분야에 있는 분들이 수강 대상에 적합할까요?

Elastic Stack을 사용하여 데이터파이프라인을 구축하고 싶은 개발자분들이 수강하면 실무에 적용할때 도움이 될 것입니다. 또한 데이터 수집부터 분석까지 전체 과정을 한번 겪어 보고 싶은 분 역시 많은 도움이 될 것입니다. Kibana를 사용하여 데이터를 탐색하고 차트와 그래프로 데이터를 시각화하고자 할 때도 활용할 수 있습니다.

5. 다른 강의와 어떤 차별 점이 있나요?

1) 단순히 Elasticsearch를 설치하고 쿼리를 익히는 것 아니라, 실무에서 사용하는 다양한 형태를 익힐 수 있습니다. 검색엔진으로서의 Elasticsearch에서 나아가, 분산 데이터 저장소 및 처리 엔진으로 사용함으로써 데이터 분석에 활용되는 방법을 익힐 수 있습니다.
2) 로컬에서 데이터 파이프라인 구축하기에 쉽지는 않습니다. 그래서 Docker 기반으로 실습을 진행하여 수강생이 직접 서버를 실행하고, 샘플 데이터를 수집 및 저장하여 구축하는 경험을 할 수 있습니다.

6. 마지막으로 수강생들에게 하고 싶으신 말이 있나요?

이 강의를 통해 전체적인 데이터 파이프라인을 이해하고 실제로 파이프라인을 Elastic Stack을 사용하여 구축해 볼 수 있습니다. 현업 외에서는 경험해 보기 어려운 업무를 직접해봄으로써 이해도를 높이고, 전문성을 갖추는 데에 도움이 되었으면 좋겠습니다.

커리큘럼 (5)

  • 1회차. 데이터 파이프라인과 Elastic Stack

    강의목표

    • 데이터 분석하기까지 필요한 데이터 파이프라인 구축에 대해 알아봅니다.
    • Lucene에서 시작하여 Elastic Stack으로 성장한 Elasticsearch에 대해 전체적으로 살펴봅니다.
    • 그리고 Docker기반의 로컬 실습환경을 구축하여 실제로 Elastic Stack으로 데이터 분석을 해봅니다.

    이론

    • Data Infrastructure Overview & Elastic Stack의 발전
    • Data Pipeline과 Elastic Stack의 역할
    • Data Analysis와 Elastic Stack의 역할

    실습

    • 로컬 Docker 실습 환경 구축
    • Elastic stack을 사용한 데이터 분석 환경 구축 (Docker, docker-compose, Elasticsearch, Kibana)
    • Kibana를 사용한 데이터 탐색 (Discovery, Dashboard, Visualization)
  • 2회차. 분산 데이터 저장소와 Elasticsearch

    강의목표

    • 데이터 파이프라인중 대용량 분산 저장소에 대한 내용을 다룹니다.
    • 기존의 분산저장소인 HDFS같은 것들과 비교해서 Elasticsearch의 특징과 사용법을 학습해봅니다.
    • 특히 Elasticsearch에서 일어나는 데이터 색인(Indexing) · 역색인(Inverted Index)과 Shard & Replica의 원리를 이해하고, 실습을 통해서 직접 데이터를 저장 및 검색해 볼 수 있습니다.
    • 또한 이커머스 데이터, 웹 로그 데이터 등 다양한 상황의 Elasticsearch 데이터 모델링을 하고 저장해 봅니다.

    이론

    • 데이터 모델링과 스키마 : JSON Document Data Modeling (Field 데이터타입, Mapping, Template)
    • 대용량 저장소와 Elasticsearch 데이터 저장
    • Elasticsearch Cluster Architecture : Cluster / Node / Shard / Replica / Segment / Index

    실습

    • Elasticsearch & Kibana Docker-compose 구축 실습
    • Elasticsearch 데이터 저장 실습 (Mapping API, Document API, Index API)
  • 3회차. 데이터 검색과 Elasticsearch

    강의목표

    • 샘플로 분석할 데이터를 생성해 보고, 검색을 진행합니다.
    • 분산 검색엔진으로 사용되는 Elasticsearch의 원리를 이해하고, 이커머스 데이터를 가지고 다양한 검색을 진행해봅니다.

    이론

    • 샘플 이커머스 데이터 생성, 저장, 검색
    • Elasticsearch의 분산 데이터 검색 원리 이해 : Indexing, Inverted Index, Analyzer

    실습

    • Elasticsearch 데이터 검색 실습 (SearchAPI, QueryDSL)
    • Analyzer API
  • 4회차. 분산 데이터 처리와 Elasticsearch

    강의목표

    • 대용량 분산 처리엔진들(MapReduce, Spark, Flink)과 Elasticsearch를 비교해보고, Elasticsearch가 검색엔진의 한계를 극복하고, 다양한 용도로 사용할 수 있게 된 핵심 기술인 Aggregation에 대해 학습합니다.
    • Metirc, Bucket Aggregation을 이해하고, Pipeline Aggregation을 사용하여 데이터분석 실무에 적용해봅니다.
    • Kibana로 데이터 분석하기 위해 필수인 Dashboard 시각화에 Aggregation을 적용해 볼 수 있습니다.

    이론

    • 대용량 분산 처리와 Elasticsearch의 데이터 집계 기능 소개 및 원리 이해
    • Metirc, Bucket Aggregation의 이해와 데이터 분석에 사용
    • Pipeline Aggregation을 사용하여 데이터 분석 실무에 적용하기

    실습

    • Metric, Bucket, Pipeline Aggregation 실습
    • Kibana Dashboard & Aggregation으로 KPI 분석 대시보드 생성
  • 5회차. 데이터 파이프라인 구축과 Elastic Stack

    강의목표

    • Elastic Stack의 각 Component로 Data pipeline을 구축해 봅니다.
    • 데이터를 가지고 미니 프로젝트를 수행하면서, 실무에서는 어떻게 구축해야 하는지 알아봅니다.
    • 데이터 수집 · 전송 · 저장 · 시각화 단계에 해당하는 Component를 학습합니다.
    • Elasticsearch를 중심으로 데이터를 Beats로 수집하고 Logstash로 전송해보면서 Data pipeline의 단계를 파악합니다.
    • 추가적으로 Kafka와 같은 Component등과 어떻게 함께 사용하는지 알아봅니다.

    이론

    • 데이터 파이프라인과 Elastic Stack (수집, 처리, 저장, 시각화)
    • 다양한 형태의 데이터 수집과 Beats (MetricBeats, FileBeats, LibBeats 등)
    • 데이터 전송 레이어와 Logstash (input, filter, output, Persistence Quene)
    • X-Pack (계정과 권한, RBAC)

    실습

    • project : Logstash & apache log 파싱
    • project : MetricBeat와 시스템 메트릭수집 분석하기
    • project : FileBeat와 Logstash(Grok Plugin)로 로그파일수집 분석하기
    • project : Elastic Stack과 Kafka를 사용해 실시간 데이터 파이프라인 구축

커리어 성장으로 가는 길, 러닝스푼즈와 함께 하세요!

지금 보고 계시는 강의의 관련 태그로 다른 강의도 찾아보세요.

오프라인

Elastic Stack을 활용한 데이터 처리 및 분석

강의찾기