course thumbnail
  • 데이터사이언스
  • 초급, 중급

Apache Kafka : 스트림 프로세싱과 데이터 파이프라인 구축

[오프라인 유일 카프카 강의] 데브원영 직강! 아파치 카프카를 활발히 사용하고 있는 현업 데이터 엔지니어의 노하우를 담은 Kafka의 모든 것!

1기
22.02.06 ~ 22.02.20 (총 3회) 매주 일요일 14:00 ~ 18:00 (총 12시간)

Apache Kafka 3주만에 해부하기

「아파치 카프카 애플리케이션 프로그래밍 with 자바」 저자 & 유튜버
데브원영 DVWY와 함께합니다!


강의소개

수강 신청하시면『아파치 카프카 애플리케이션 프로그래밍 with 자바』교재를 드립니다.

kafka 강의

01. 국내 오프라인 유일! 현장에서 강사님과 바로 소통할 수 있는 Apache Kafka 강의

오프라인 강의 중 Apache Kafka를 중심으로 다뤄주는 강의는 없습니다. 이 강의가 유일합니다.

02. 스트림 프로세싱부터 데이터 파이프라인 구축까지 이론과 실습 병행하는 커리큘럼

kafka의 기본 개념부터, kafka를 활용한 데이터 파이프라인 개발 실습까지 진행합니다.

03. 강사님이 직접 집필한 베스트셀러 제공

수강 신청하시면『아파치 카프카 애플리케이션 프로그래밍 with 자바』교재를 드립니다.


본 강의에서
무엇을 얻어갈 수 있나요?

Kafka 유튜버 데브원영이 알려주는 Kafka A to Z!

  • 아파치 카프카

    실전 활용 및 도입하여

    아파치 카프카의 핵심 개념을 학습하고, 실전에서 어떻게 활용하고 도입할 수 있는지를 예시를 통해 학습합니다.

    kafka 강의
  • 완벽히 이해하는

    프로듀서, 컨슈머

    데이터의 시작과 끝은 프로듀서와 컨슈머에서 이루어집니다. 데이터 전송부터 운영 방법까지 모든 노하우를 제공합니다.

    kafka 강의
  • 효과적으로 운영하는

    파이프라인 구축

    카프카에서 공식으로 배포하는 스트림즈와 커넥트를 활용하여 데이터 파이프라인을 더욱 효과적으로 운영하는 방법을 배웁니다.

    kafka 강의

단 3주만에 끝내는 Apache Kafka
국내 유일 오프라인 강의를 러닝스푼즈에서!


본 강의가 특별한 이유는
무엇인가요?

1

오프라인 유일!
카프카 이론 및 실습

기존 메시징 큐와 절대적으로 다른 개념을 가진 아파치 카프카를 빠르게 습득하는 방법은 이론 학습과 실습을 병행하는 것입니다. 본 강의에서는 아파치 카프카의 기본 개념을 포함하여 주변 생태계를 활용하여 데이터를 추축, 가공, 적재하는 스트림 프로세싱 애플리케이션과 데이터 파이프라인을 개발하는 방법을 탄탄한 이론 학습과 함께 진행됩니다.

2

아파치 카프카 관련 베스트셀러! 저자 직강

아파치 카프카를 현업에서 3년 이상 운영했던 경험을 토대로 출간한『아파치 카프카 애플리케이션 프로그래밍 with 자바』의 저자가 러닝스푼즈에서 여러분들과 함께 합니다. 짧은 시간 동안 카프카 애플리케이션 개발에 대한 기본 개념과 심화 과정에 대해 완벽히 학습할 수 있습니다.

3

실제 카프카 도입 story를 통한 노하우 전수

매 강의 시간마다 포함되어 있는 이론과 실습을 통해 개념을 익힐 뿐만 아니라 강사님이 실전 환경에서 겪었던 노하우를 공유하고 카프카 적용 사례에 대해 학습하여 현업에서 어떻게 적용 가능할 수 있는지 가이드라인을 제시합니다.

FAQ

강의에 대해
궁금한 점이 있으신가요?

Q. 오프라인으로만 진행하나요?

해당 과정은 다양한 실습과 네트워킹으로 진행되는 강의로 전체 오프라인으로만 진행됩니다.

Q. 수강 시, 준비 사항은 어떤 것이 있을까요?

Linux 또는 macOS 기반 노트북이 꼭 필요합니다.

Q. 기초 지식이 없어도 수강이 가능한가요?

기본 터미널 쉘(Bash, Zsh 등) 사용 지식, JDK 8+ 이상의 지식이 필요합니다.

수강 대상

이런 분들은 꼭 들으셔야 해요!


아파치 카프카를 학습하여 업무에 도입하고 싶은 개발자


스트림 프로세싱 애플리케이션 개발을 원하는 개발자


운영 이슈, 러닝 커브 이슈로 카프카 도입을 망설이고 있는 개발자

강사소개

우리 강사님을 소개할게요!

kafka 강의
최원영
이력사항
  • (현) 카카오 광고 추천팀 데이터 엔지니어
  • (전) SK Planet 데이터 엔지니어
  • 2021년 4월 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 출간
  • 카프카 한국 사용자 모임 등 오픈 커뮤니티 발표, SK Tacademy 등 기업 강연 다수 진행
  • 개발 블로그 운영 : http://blog.voidmainvoid.net
  • 개발 유튜브 채널 운영 : http://bit.ly/devwonyoung
1. 간단하게 자기소개 부탁드립니다.

안녕하세요, 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 저자 최원영입니다. 2019년부터 데이터 엔지니어로서 카프카를 활용한 데이터 파이프라인 운영 및 개발을 수행했었습니다.
현재는 카카오에서 방대한 양의 데이터를 관리하고 운영하는 광고추천팀 데이터 엔지니어로 근무하고 있습니다. 저 또한 아파치 카프카를 처음 도입하고 개발을 수행할 때 많은 어려움을 겪었습니다. 당연하게도 카프카 만의 독특한 내부 동작 방식과 개념들이 있기 때문인데요. 이런 어려움들을 사전에 해소하고 빠르게 카프카 애플리케이션 개발을 상용 환경에서 적용할 수 있도록 도와드리고자 책을 출간하게 되었습니다.
그리고 이번 카프카 강의를 통해 이 책을 기반으로 오프라인을 통해 이론 학습과 실습을 제공하고자 합니다. 실전 상황에서 어떤 최적의 옵션 값과 설계로 데이터 파이프라인들을 구축해야 하는지에 대한 가이드라인과 함께 설명이 포함되어 있습니다. 100개가 넘는 데이터 파이프라인을 운영하면서 다양한 요구사항을 받고 개발한 경험이 있습니다.
이러한 경험을 토대로 노하우를 전달해드리고 상용 환경에서 안정적인 데이터 파이프라인을 운영할 수 있도록 도와드리고자 총 12시간 분량의 강의를 열게 되었습니다. 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 저자와 함께 아파치 카프카를 완벽하게 학습하시고 성공적으로 상용 환경에 적용하는 기회를 잡아보길 바랍니다!

2. 강의에서는 주로 어떤 내용을 다룰 예정이시고, 어떤 형태로 진행되나요?

아파치 카프카는 기존에 활용하던 메시징큐 또는 여타 플랫폼과는 상당히 다른 특성을 지니고 있습니다. 그렇기에 내부에서 사용되는 다양한 용어들이 기존에 알고 계시던 지식과 사뭇 다른 것을 알 수 있습니다. 그렇기 때문에 각 개념들에 대한 이해와 설명이 탄탄하게 받쳐져야만 카프카를 잘 활용할 수 있습니다. 총 3주차로 진행되는 강의는 매번 이론과 실습이 병행되어 진행됩니다.
첫째날에는 카프카가 어떻게 탄생하였는지 그리고 어떤 미래를 그리고 있는지에 대해 알아보고 운영환경에서 자주 사용하는 CLI 툴 사용법에 대해서도 자세히 알아봅니다. 카프카 CLI툴은 카프카를 운영하기 위해서는 필연적으로 접하게 되고 흔히 사용하게 되는 도구입니다. 카프카 CLI툴의 사용법을 익히고 자주 사용하는 명령어들을 실습으로 훈련하게 됩니다.
둘째날에는 프로듀서와 컨슈머의 내부 구조부터 시작하여 각종 필수, 선택 옵션들에 대해 상세히 알아보고 옵션별 동작 방식에 대해서도 상세히 다룰 예정입니다.
마지막 날에는 카프카 스트림즈와 커넥트에 대해 학습하고 실습을 수행합니다. 카프카 스트림즈는 카프카를 활용하는 기업에서는 반드시 1순위로 도입을 고려해야하는 카프카 공식 라이브러리로서 스트림 프로세싱 애플리케이션을 개발할 때 유용하게 사용하실 수 있습니다. 카프카 커넥트도 오픈소스 카프카에서 공식으로 제공하는 프레임워크인데요. 싱크 커넥터와 소스 커넥터에 대해 알아보고 반복되는 데이터 파이프라인을 효과적으로 운영하는 방식에 대해서도 알아볼 예정입니다. 모든 실습 과정은 자바로 진행되기 때문에 JDK 8 이상의 문법에 대해 알고 있으셔야 하며 기본적인 터미널 쉘 스크립트(Bash, Zsh 등)에 대한 지식이 있어야 합니다.

3. 본 강의에서 배운 내용을 수강생 분들이 어떻게 활용할 수 있을까요?

아파치 카프카의 기본 학습 및 심화 학습을 통해 업무에 필요한 지식을 습득하고 곧바로 카프카 관련 데이터 파이프라인을 적용할 수 있도록 커리큘럼이 구성되어 있습니다. 그러므로 현업에서 카프카를 운영하고 싶거나 이미 카프카를 운영하고 있는데 더 좋은 아키텍처를 구성하기 위해 고민하고 계신다면 저희의 카프카 강의가 바로 정답입니다.

4. 다른 강의와 어떤 차별점이 있나요?

이 강의는 카프카 애플리케이션 개발에 대한 이론 학습과 실습에 초점이 맞추어져 있습니다. 프로듀서, 컨슈머에 대한 상세 내용을 포함할 뿐만 아니라 실전 상용 활용 사례에 대해 짚으면서 진행됩니다. 또한 카프카 스트림즈와 카프카 커넥트를 상용 환경에서 도입하여 운영했던 경험이 있는 저자만의 노하우를 전수하는 소중한 기회가 될것입니다. 그리고 이 강의는 카프카 애플리케이션 프로그래밍 개발 노하우를 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 책을 기반으로 함께 학습합니다. 1회성으로 끝나는 단기 특강이나 온라인 학습과 다르게 책을 기반으로 이론과 실습을 병행합니다. 이를 통해 완강하고 난 뒤에도 책과 실습 코드를 토대로 반복적인 복습을 통해 상용 환경에 적용하는데 어려움이 없을 것입니다.

5. 마지막으로 수강생들에게 하고 싶으신 말이 있나요?

아파치 카프카와 함께 성공적인 데이터 파이프라인 및 스트림 프로세싱 애플리케이션 노하우를 이번 오프라인 강의에서 얻어가시길 바랍니다. 이번 강의는 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 책을 기반으로 오프라인으로 강의가 진행됩니다. 온라인 강의에서 얻어가기 어려웠던 이론 학습과 실습을 이번 강의를 통해 얻어가셔서 카프카에 대한 지식을 탄탄히 다지시는 계기가 되길 바랍니다.

커리큘럼 (3)

  • 1주차. 아파치 카프카 탄생과 미래, 기본 개념 습득, 로컬 설치와 CLI 실습

    아파치 카프카가 어떻게 탄생되었는지 그리고 미래에는 어떤 모습으로 변화되는 것을 추구하는지 알아봅니다. 그리고 카프카에만 있는 독특한 개념들에 대해 이론 학습을 수행합니다. 마지막으로 실습 과정을 통해 카프카를 로컬에서 실행해보고 운영하면서 자주 사용하는 CLI 명령어들에 대해 학습합니다.


    1) 이론

    – 아파치 카프카 탄생과 미래

    – 빅데이터 파이프라인에 적합한 카프카의 특징

    – 빅데이터 플랫폼 아키텍처의 과거와 미래

    – 람다 아키텍처, 카파 아키텍처, 스트리밍 데이터 레이크

    – 카프카 브로커, 클러스터, 주키퍼

    – 레플리케이션, 컨트롤러, 코디네이터

    – 토픽, 파티션, 레코드


    2) 실습

    – 로컬 카프카 설치, 주키퍼, 브로커 실행

    – kafka-topics.sh

    – kafka-console-producer.sh

    – kafka-console-consumer.sh

    – kafka-consumer-groups.sh

  • 2주차. 카프카 프로듀서와 컨슈머 이론 학습과 실습 (심화)

    아파치 카프카에서 데이터를 전송하고 처리하는 역할로 프로듀서와 컨슈머가 가장 많이 사용됩니다. 프로듀서와 컨슈머의 기본 개념을 학습하고 상용 환경에서 어떻게 운영하는지 알아보며, 각 옵션별 동작 방식에 대해 자세히 학습합니다.


    1) 이론

    – 카프카 프로듀서 이론

    – UniformStickeyPartitioner, RoundRobinPartitioner, 커스텀 파티셔너

    – 프로듀서 주요 옵션

    – ISR(In-Sync-Replicas). min.insync.replicas, acks

    – 카프카 컨슈머 내부 구조

    – 컨슈머 그룹

    – Assignment

    – 커밋

    – 리밸런싱

    – 컨슈머 주요 옵션


    2) 실습

    – 카프카 프로듀서 애플리케이션 개발

    – 카프카 컨슈머 애플리케이션 개발

  • 3주차. 카프카 스트림즈, 카프카 커넥트 이론 학습 및 실습

    아파치 카프카에서 스트림 프로세싱의 핵심이자 공식 라이브러리인 스트림즈를 활용하는 방법과 이론에 대해 학습합니다. 상태기반, 비상태기반 처리에 대한 차이점을 알아보고 스트림즈 DSL과 프로세서 API 활용 방법도 실습을 통해 알아봅니다. 마지막으로 카프카 커넥트를 활용하여 반복적인 데이터 파이프라인을 효과적으로 운영하는 방법 그리고 싱크 커넥터와 소스 커넥터의 동작 방식과 개발 방법에 대해서도 자세히 학습합니다.


    1) 이론

    – 카프카 스트림즈 내부 구조

    – 토플로지, 프로세서, 스트림

    – 스트림즈 DSL, 프로세서 API

    – KStream, KTable, GlobalKTable

    – 코파티셔닝

    – 카프카 커넥트 내부 구조

    – 소스 커넥터, 싱크 커넥터

    – 오픈 소스 커넥터

    – 컨버터, 트랜스폼

    – 단일모드 커넥트, 분산모드 커넥트

    – 커넥트 REST API 인터페이스


    2) 실습

    – 카프카 스트림즈 애플리케이션 개발

    – 카프카 커넥트 운영 실습

커리어 성장으로 가는 길, 러닝스푼즈와 함께 하세요!

지금 보고 계시는 강의의 관련 태그로 다른 강의도 찾아보세요.

오프라인

Apache Kafka : 스트림 프로세싱과 데이터 파이프라인 구축

매일 선착순 20명 한정! 할인가 확인하고 커리어 성장하세요!