오프라인 강의 중 Apache Kafka를 중심으로 다뤄주는 강의는 없습니다. 이 강의가 유일합니다.
kafka의 기본 개념부터, kafka를 활용한 데이터 파이프라인 개발 실습까지 진행합니다.
수강 신청하시면『아파치 카프카 애플리케이션 프로그래밍 with 자바』교재를 드립니다.
실전 활용 및 도입하여
아파치 카프카의 핵심 개념을 학습하고, 실전에서 어떻게 활용하고 도입할 수 있는지를 예시를 통해 학습합니다.
프로듀서, 컨슈머
데이터의 시작과 끝은 프로듀서와 컨슈머에서 이루어집니다. 데이터 전송부터 운영 방법까지 모든 노하우를 제공합니다.
파이프라인 구축
카프카에서 공식으로 배포하는 스트림즈와 커넥트를 활용하여 데이터 파이프라인을 더욱 효과적으로 운영하는 방법을 배웁니다.
기존 메시징 큐와 절대적으로 다른 개념을 가진 아파치 카프카를 빠르게 습득하는 방법은 이론 학습과 실습을 병행하는 것입니다. 본 강의에서는 아파치 카프카의 기본 개념을 포함하여 주변 생태계를 활용하여 데이터를 추축, 가공, 적재하는 스트림 프로세싱 애플리케이션과 데이터 파이프라인을 개발하는 방법을 탄탄한 이론 학습과 함께 진행됩니다.
아파치 카프카를 현업에서 3년 이상 운영했던 경험을 토대로 출간한『아파치 카프카 애플리케이션 프로그래밍 with 자바』의 저자가 러닝스푼즈에서 여러분들과 함께 합니다. 짧은 시간 동안 카프카 애플리케이션 개발에 대한 기본 개념과 심화 과정에 대해 완벽히 학습할 수 있습니다.
매 강의 시간마다 포함되어 있는 이론과 실습을 통해 개념을 익힐 뿐만 아니라 강사님이 실전 환경에서 겪었던 노하우를 공유하고 카프카 적용 사례에 대해 학습하여 현업에서 어떻게 적용 가능할 수 있는지 가이드라인을 제시합니다.
해당 과정은 다양한 실습과 네트워킹으로 진행되는 강의로 전체 오프라인으로만 진행됩니다.
Linux 또는 macOS 기반 노트북이 꼭 필요합니다.
기본 터미널 쉘(Bash, Zsh 등) 사용 지식, JDK 8+ 이상의 지식이 필요합니다.
아파치 카프카를 학습하여 업무에 도입하고 싶은 개발자
스트림 프로세싱 애플리케이션 개발을 원하는 개발자
운영 이슈, 러닝 커브 이슈로 카프카 도입을 망설이고 있는 개발자
안녕하세요, 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 저자 최원영입니다. 2019년부터 데이터 엔지니어로서 카프카를 활용한 데이터 파이프라인 운영 및 개발을 수행했었습니다.
현재는 카카오에서 방대한 양의 데이터를 관리하고 운영하는 광고추천팀 데이터 엔지니어로 근무하고 있습니다. 저 또한 아파치 카프카를 처음 도입하고 개발을 수행할 때 많은 어려움을 겪었습니다. 당연하게도 카프카 만의 독특한 내부 동작 방식과 개념들이 있기 때문인데요. 이런 어려움들을 사전에 해소하고 빠르게 카프카 애플리케이션 개발을 상용 환경에서 적용할 수 있도록 도와드리고자 책을 출간하게 되었습니다.
그리고 이번 카프카 강의를 통해 이 책을 기반으로 오프라인을 통해 이론 학습과 실습을 제공하고자 합니다. 실전 상황에서 어떤 최적의 옵션 값과 설계로 데이터 파이프라인들을 구축해야 하는지에 대한 가이드라인과 함께 설명이 포함되어 있습니다. 100개가 넘는 데이터 파이프라인을 운영하면서 다양한 요구사항을 받고 개발한 경험이 있습니다.
이러한 경험을 토대로 노하우를 전달해드리고 상용 환경에서 안정적인 데이터 파이프라인을 운영할 수 있도록 도와드리고자 총 12시간 분량의 강의를 열게 되었습니다. 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 저자와 함께 아파치 카프카를 완벽하게 학습하시고 성공적으로 상용 환경에 적용하는 기회를 잡아보길 바랍니다!
아파치 카프카는 기존에 활용하던 메시징큐 또는 여타 플랫폼과는 상당히 다른 특성을 지니고 있습니다. 그렇기에 내부에서 사용되는 다양한 용어들이 기존에 알고 계시던 지식과 사뭇 다른 것을 알 수 있습니다. 그렇기 때문에 각 개념들에 대한 이해와 설명이 탄탄하게 받쳐져야만 카프카를 잘 활용할 수 있습니다. 총 3주차로 진행되는 강의는 매번 이론과 실습이 병행되어 진행됩니다.
첫째날에는 카프카가 어떻게 탄생하였는지 그리고 어떤 미래를 그리고 있는지에 대해 알아보고 운영환경에서 자주 사용하는 CLI 툴 사용법에 대해서도 자세히 알아봅니다. 카프카 CLI툴은 카프카를 운영하기 위해서는 필연적으로 접하게 되고 흔히 사용하게 되는 도구입니다. 카프카 CLI툴의 사용법을 익히고 자주 사용하는 명령어들을 실습으로 훈련하게 됩니다.
둘째날에는 프로듀서와 컨슈머의 내부 구조부터 시작하여 각종 필수, 선택 옵션들에 대해 상세히 알아보고 옵션별 동작 방식에 대해서도 상세히 다룰 예정입니다.
마지막 날에는 카프카 스트림즈와 커넥트에 대해 학습하고 실습을 수행합니다. 카프카 스트림즈는 카프카를 활용하는 기업에서는 반드시 1순위로 도입을 고려해야하는 카프카 공식 라이브러리로서 스트림 프로세싱 애플리케이션을 개발할 때 유용하게 사용하실 수 있습니다. 카프카 커넥트도 오픈소스 카프카에서 공식으로 제공하는 프레임워크인데요. 싱크 커넥터와 소스 커넥터에 대해 알아보고 반복되는 데이터 파이프라인을 효과적으로 운영하는 방식에 대해서도 알아볼 예정입니다. 모든 실습 과정은 자바로 진행되기 때문에 JDK 8 이상의 문법에 대해 알고 있으셔야 하며 기본적인 터미널 쉘 스크립트(Bash, Zsh 등)에 대한 지식이 있어야 합니다.
아파치 카프카의 기본 학습 및 심화 학습을 통해 업무에 필요한 지식을 습득하고 곧바로 카프카 관련 데이터 파이프라인을 적용할 수 있도록 커리큘럼이 구성되어 있습니다. 그러므로 현업에서 카프카를 운영하고 싶거나 이미 카프카를 운영하고 있는데 더 좋은 아키텍처를 구성하기 위해 고민하고 계신다면 저희의 카프카 강의가 바로 정답입니다.
이 강의는 카프카 애플리케이션 개발에 대한 이론 학습과 실습에 초점이 맞추어져 있습니다. 프로듀서, 컨슈머에 대한 상세 내용을 포함할 뿐만 아니라 실전 상용 활용 사례에 대해 짚으면서 진행됩니다. 또한 카프카 스트림즈와 카프카 커넥트를 상용 환경에서 도입하여 운영했던 경험이 있는 저자만의 노하우를 전수하는 소중한 기회가 될것입니다. 그리고 이 강의는 카프카 애플리케이션 프로그래밍 개발 노하우를 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 책을 기반으로 함께 학습합니다. 1회성으로 끝나는 단기 특강이나 온라인 학습과 다르게 책을 기반으로 이론과 실습을 병행합니다. 이를 통해 완강하고 난 뒤에도 책과 실습 코드를 토대로 반복적인 복습을 통해 상용 환경에 적용하는데 어려움이 없을 것입니다.
아파치 카프카와 함께 성공적인 데이터 파이프라인 및 스트림 프로세싱 애플리케이션 노하우를 이번 오프라인 강의에서 얻어가시길 바랍니다. 이번 강의는 『아파치 카프카 애플리케이션 프로그래밍 with 자바』 책을 기반으로 오프라인으로 강의가 진행됩니다. 온라인 강의에서 얻어가기 어려웠던 이론 학습과 실습을 이번 강의를 통해 얻어가셔서 카프카에 대한 지식을 탄탄히 다지시는 계기가 되길 바랍니다.
1주차. 아파치 카프카 탄생과 미래, 기본 개념 습득, 로컬 설치와 CLI 실습
아파치 카프카가 어떻게 탄생되었는지 그리고 미래에는 어떤 모습으로 변화되는 것을 추구하는지 알아봅니다. 그리고 카프카에만 있는 독특한 개념들에 대해 이론 학습을 수행합니다. 마지막으로 실습 과정을 통해 카프카를 로컬에서 실행해보고 운영하면서 자주 사용하는 CLI 명령어들에 대해 학습합니다.
1) 이론
– 아파치 카프카 탄생과 미래
– 빅데이터 파이프라인에 적합한 카프카의 특징
– 빅데이터 플랫폼 아키텍처의 과거와 미래
– 람다 아키텍처, 카파 아키텍처, 스트리밍 데이터 레이크
– 카프카 브로커, 클러스터, 주키퍼
– 레플리케이션, 컨트롤러, 코디네이터
– 토픽, 파티션, 레코드
2) 실습
– 로컬 카프카 설치, 주키퍼, 브로커 실행
– kafka-topics.sh
– kafka-console-producer.sh
– kafka-console-consumer.sh
– kafka-consumer-groups.sh
2주차. 카프카 프로듀서와 컨슈머 이론 학습과 실습 (심화)
아파치 카프카에서 데이터를 전송하고 처리하는 역할로 프로듀서와 컨슈머가 가장 많이 사용됩니다. 프로듀서와 컨슈머의 기본 개념을 학습하고 상용 환경에서 어떻게 운영하는지 알아보며, 각 옵션별 동작 방식에 대해 자세히 학습합니다.
1) 이론
– 카프카 프로듀서 이론
– UniformStickeyPartitioner, RoundRobinPartitioner, 커스텀 파티셔너
– 프로듀서 주요 옵션
– ISR(In-Sync-Replicas). min.insync.replicas, acks
– 카프카 컨슈머 내부 구조
– 컨슈머 그룹
– Assignment
– 커밋
– 리밸런싱
– 컨슈머 주요 옵션
2) 실습
– 카프카 프로듀서 애플리케이션 개발
– 카프카 컨슈머 애플리케이션 개발
3주차. 카프카 스트림즈, 카프카 커넥트 이론 학습 및 실습
아파치 카프카에서 스트림 프로세싱의 핵심이자 공식 라이브러리인 스트림즈를 활용하는 방법과 이론에 대해 학습합니다. 상태기반, 비상태기반 처리에 대한 차이점을 알아보고 스트림즈 DSL과 프로세서 API 활용 방법도 실습을 통해 알아봅니다. 마지막으로 카프카 커넥트를 활용하여 반복적인 데이터 파이프라인을 효과적으로 운영하는 방법 그리고 싱크 커넥터와 소스 커넥터의 동작 방식과 개발 방법에 대해서도 자세히 학습합니다.
1) 이론
– 카프카 스트림즈 내부 구조
– 토플로지, 프로세서, 스트림
– 스트림즈 DSL, 프로세서 API
– KStream, KTable, GlobalKTable
– 코파티셔닝
– 카프카 커넥트 내부 구조
– 소스 커넥터, 싱크 커넥터
– 오픈 소스 커넥터
– 컨버터, 트랜스폼
– 단일모드 커넥트, 분산모드 커넥트
– 커넥트 REST API 인터페이스
2) 실습
– 카프카 스트림즈 애플리케이션 개발
– 카프카 커넥트 운영 실습
지금 보고 계시는 강의의 관련 태그로 다른 강의도 찾아보세요.
로그인 후 이용가능합니다.
로그인 페이지로 이동합니다.
