course thumbnail
오프라인 LIVE
  • 데이터사이언스
  • 초급

카카오 엔지니어와 데이터 엔지니어링 입문 on Cloud

데이터 파이프라인 구축 과정에서의 각 컴포넌트에 대해 학습할 예정입니다. 이 강의 하나로 데이터 엔지니어링, 완벽히 입문하실 수 있습니다.

강의 일정
22.05.29 ~ 22.07.03 (총 6회) 매주 일요일 14:00 ~ 17:00 (총 18시간)
강의장
강남대로 94길 15, S2빌딩 | 4층 Spoons Lab C(지도확인)
강의 방식
데이터 엔지니어링 강의

클라우드 기반 데이터 엔지니어링 입문

데이터 엔지니어링에 필요한 오픈소스와 AWS 서비스 실습

데이터 엔지니어링의 목적과 전체 구조 및 최신 트렌드, 데이터 파이프라인을 구성하는 각 컴포넌트에 대해 배우며,
현업에서의 경험, pain point 등을 포함하여 데이터 엔지니어링 강의를 진행할 예정입니다.

01

데이터 엔지니어링의 목적과 전체적인 구조 및 최신 트렌드를 배울 수 있습니다.

02

데이터 파이프라인의 전 과정을 직접 구축해보고, 배치 처리와 스트림 처리에 대해 다룹니다.

03

세부 요소를 하나씩 직접 구현하여 데이터 엔지니어링의 큰 그림을 이해할 수 있습니다.

본 강의를 수강하기 전, 안내사항

  • * 해당 과정은 정원 초과 시 조기 마감될 수 있습니다.
  • * 오프라인 및 온라인 라이브로 동시 진행됩니다.

우리 과정의 특징

  • 데이터 파이프라인 구축에 필요한 컴포넌트와 서비스 이론 및 실습

    데이터를 수집, 처리, 저장하기 위해 수많은 오픈소스와 서비스가 등장하고 있습니다. 지금, 이 시간에도 새로운 오픈소스와 각 오픈소스마다 새로운 기능을 탑재한 버전이 업데이트되고 있습니다. 본 강의에서는 데이터 파이프라인의 메인 스트림을 제시해주고 필요한 컴포넌트와 서비스를 직접 다뤄보게 됩니다.

  • 현업 사례 기반의 스트림 데이터 처리 분야 학습

    현대 빅데이터 처리 분야에서 실시간 스트림 처리가 점점 중요해지고 있습니다. 이를 위해 가장 유명한 스트림 처리 프레임워크인 'Apache Flink'에 대해 배워봅니다. 단순히 설명과 예제만 보여주는 것이 아닌 현업 사례 기반의 예제와 운영 관점에서의 pain point, 이를 해결하기 위한 구조를 함께 실습해 봅니다.

  • 여러 기업의 데이터 파이프라인 Case Study를 통한 아키텍처 이해

    테크 블로그나 컨퍼런스에 공개된 유명 IT 기업과 스타트업의 데이터 파이프라인과 아키텍처를 함께 살펴볼 예정입니다. 해설을 통해 특장점을 파악하고 비교 분석하여, 수강생들은 각각의 아키텍처를 이해하여 이를 내재화합니다.

강의 코스 구성

우리는 이렇게 배워요!

데이터 엔지니어링 강의
강의 자료

우리는 이런 내용을 배워요!

영상인식 강의

영상인식 강의

컴퓨터비전 강의

컴퓨터비전 강의

수강효과

수강하고 이렇게 성장해요!

01

예산과 구조에 맞는 클라우드 기반 데이터 인프라 구축

본 과정은 클라우드 기반으로 데이터 인프라를 구축하여 언제든 재현 가능한 인프라를 구성하는 것을 목표로 합니다. 강의를 수강한 6주 후, 우리 기업과 조직에 맞는 데이터 인프라 구축 방법을 실제 현업에서 혹은 사이드 프로젝트에서 적용할 수 있게 됩니다.

02

AWS 클라우드 상에서의 데이터 파이프라인 구축 방법 실습

현시대의 데이터 엔지니어링은 클라우드와는 떼려야 뗄 수 없는 관계를 가지고 있습니다. 확장성이 보장된 데이터 파이프라인은 무엇을 고려해야 하는지, 수많은 AWS 서비스 중 무엇으로 데이터 파이프라인을 구축해야 하는지를 함께 고민하고, 실습하는 시간을 갖게 됩니다.

03

데이터 파이프라인 설계/개발/운영 엔지니어로의 커리어 전환

데이터 엔지니어뿐만 아니라 백엔드 개발자, DevOps 엔지니어 채용 공고에서 가장 자주 등장하는 ElasticSearch와 Kafka에 대해 다루면서 활용 방법과 이후 학습 및 커리어 방향에 대해 전달합니다. ETL을 위한 SQL만을 다루는 엔지니어가 아닌 데이터 파이프라인을 설계/개발/운영하는 개발자를 위한 과정입니다.

수강대상

우리 강의는 이런 분들께 추천드려요!


클라우드 데이터 엔지니어링과 스트림 데이터 처리 입문자


데이터 파이프라인 구축을 위해 무엇을 해야할 지 모르겠는 분


개발 분야에서 데이터 엔지니어로 커리어 전환을 목표로 하는 분


데이터 엔지니어링의 구조, 필요한 지식, 학습 방향에 대해 알고 싶은 분

강의에 대해 궁금한 점이 있으신가요?

Q. 오프라인으로만 진행하나요?

해당 과정은 오프라인과 온라인 라이브가 동시 진행됩니다.
온라인 라이브 강의는 zoom을 활용해 진행될 예정입니다.

Q. 수강 시, 준비 사항은 어떤 것이 있을까요?

실습을 위해 개인 PC가 꼭 필요합니다.
또한, AWS 계정(프리티어 가능)이 필요합니다.

Q. 기초 지식이 없어도 수강이 가능한가요?

기본 터미널 쉘(Bash, Zsh 등) 사용 지식,
Java, Python 기본 지식이 필요합니다.

강사소개

우리 강사님을 소개할게요!

클라우드 플랫폼 부서에서 클라우드&데이터 엔지니어로 활동하고 계신 강사님이 함께 합니다!

데이터 엔지니어링 강의
한상윤
이력사항
프로젝트
  • AWS 로그 & 메트릭 파이프라인 구축 및 운영
  • 클라우드 데이터 파이프라인 개발 및 운영
  • 클라우드 시스템(Infra-as-a-Service) 개발 및 운영
  • 클라우드 네트워크 모니터링 및 분석 시스템 개발
  • 2021 if kakao - Event Stream for Event-Driven Architecture
  • 2020 if kakao - Flink 기반 log streaming pipeline
  • 한국정보과학회 춘계 단기강좌, 공개 SW 개발자센터 컨퍼런스 등 진행
Q. 간단하게 자기소개 부탁드립니다.

안녕하세요. 현재 카카오에서 데이터 플랫폼을 개발하고 있는 한상윤입니다. 클라우드와 거기에서 생산되는 수많은 데이터를 수집하고 처리하는 데에 관심이 많은 개발자입니다. 점차 많은 기업들이 데이터를 기반으로 의사결정을 하면서 점점 더 많은 데이터를, 더욱 신속하고 정확하게 처리해야 하는 시대입니다.

이러한 시대에 발맞춰 스트림 처리, 실시간 처리에 관심을 갖고, 끊임없이 공부하고 성장하고 있는 개발자 중 한 사람입니다. 원래는 IaaS(Infra-as-a-service), PaaS(Platform-as-a-service)와 같은 클라우드 시스템을 개발했지만 클라우드와 그 위에 올라간 수많은 서비스에서 생산되는 데이터의 가능성을 보고 데이터 엔지니어의 길로 방향을 살짝 틀게 됐습니다. 커리어 방향을 틀었지만 많은 부분이 겹쳤고 이전의 클라우드 경험이 많은 도움이 됐습니다.

최근 데이터 엔지니어링은 클라우드와는 떼려야 뗄 수 없는 관계입니다. 데이터가 증가하는 속도에 맞춰 파이프라인과 플랫폼도 확장성을 보장해야 하고 그와 동시에 안정성도 보장해야 합니다. 이를 위해서는 클라우드 또한 이해하고 사용할 수 있어야 합니다.

앞으로 진행하는 강의에서 저의 과거와 현재 경험을 기반으로 데이터 세상에 잘 안착할 수 있도록 도움을 드리고자 합니다.

Q. 강의에서는 주로 어떤 내용을 다룰 예정이시고, 어떤 형태로 진행되나요?

데이터 엔지니어링, 데이터 파이프라인의 큰 그림을 설명해 드리고, 그 그림을 구성하는 각 요소에 대해 설명하고 직접 실습하며 다뤄볼 예정입니다. 이 과정에서 데이터 엔지니어뿐만 아니라 백엔드 개발자에게도 요구되는 여러 오픈소스와 AWS 서비스를 다루어 봅니다. 대표적으로 Apache Kafka와 ELK 스택이라고 불리는 Elasticsearch, Logstash, Kibana 입니다. Kafka와 Elasticsearch는 현업에서 가장 많이 사용되며 다양한 분야의 개발자들이 활용하고 있습니다. 사실 이 두 오픈소스를 다루고 운영하려면 각각 따로 강좌를 들어야 할 정도로 방대하지만, 입문자들을 위해 최대한 핵심을 설명하면서 활용 방안 그리고 현업에서 겪을 수 있는 문제점 등을 정리해서 전달하려고 합니다. 데이터 파이프라인을 구성하는 각 컴포넌트에 대해 설명만 듣는 것이 아니라 설정값들을 바꿔보면서 하나씩 실습하는 형태의 강의입니다.

Q. 본 강의에서 배운 내용을 수강생 분들이 어떻게 활용할 수 있을까요?

데이터 엔지니어링과 클라우드에 입문하시는 분들이 주요 수강 대상입니다. 데이터 엔지니어링은 회사마다 심지어 조직마다도 다루는 툴이 다르고 구성하는 방식 또한 달라질 수 있습니다. 비즈니스 로직과 해당 기업의 데이터 정책에 따라 구조와 구성요소가 천차만별이라서 쉽게 접근하기 어려운 점이 있습니다. 개발자 컨퍼런스나 세미나에서 발표되는 여러 기업의 아키텍처를 참고해도 너무 많은 오픈소스와 기술들이 등장하기 때문에 무엇을 공부해야 할지, 저건 무슨 역할을 하는지, 왜 이런 구조인지를 파악하기 힘든 경우가 많습니다.

이러한 어려움을 해결하는 데에 조금이나마 도움이 되고자 빅데이터 이론에 나온 일반적인 구조를 설명해 드리고, 이후 여러 기업의 사례를 (공개된 자료에 한해서) 비교 분석해 보려고 합니다. 데이터 엔지니어링에 대한 시장 수요가 높아지는 만큼 오픈소스와 상용 서비스들이 쏟아지고 있습니다. 여기서 예산과 구조 그리고 개발자 입맛에 맞게 각 컴포넌트를 골라 데이터 파이프라인을 구축해야 합니다. 강의에서 배운 지식을 기반으로 스스로 가지를 뻗어서 공부하면 본인 회사나 목표로 하는 기업의 아키텍처를 이해하고 나아가 더 나은 아키텍처를 제시하실 수 있으리라 생각됩니다.

Q. 다른 강의와 어떤 차별점이 있나요?

이 강의는 빅데이터 아키텍처를 기반으로 데이터 엔지니어링의 전체적인 구조를 파악한 후, 각 세부 컴포넌트를 직접 다루어 보면서 데이터 파이프라인을 실습할 수 있도록 구성하였습니다. 입문자의 배경지식을 고려하지 않고 특정 오픈소스를 딥 다이브하는 다른 강의와는 달리 각 컴포넌트의 역할과 특징, 이론 등을 상세히 설명합니다. 이 강의를 기반으로 수강생이 데이터 엔지니어링 분야에서 가지를 뻗어 나가고 데이터 관련 커리어를 이어 갈 수 있도록 여러 키워드와 컴포넌트도 강의 중간중간 최대한 전달하려고 자료들을 구성하였습니다.

Q. 마지막으로 수강생들에게 하고 싶으신 말이 있나요?

데이터 엔지니어링은 데이터를 중심으로 다양한 요구사항을 만족시키기 위해 고민하는 분야입니다. 기술적인 도전과 비즈니스 관점에서의 도전이 모두 공존합니다. 데이터 엔지니어링은 특히나 기업마다 조직마다 정말 다양한 아키텍처와 기술 스택을 가지고 있습니다. 그러기 때문에 입문자 입장에서는 어떻게 접근해야 할지, 무엇부터 공부해야 할지, 어떤 토이 프로젝트를 할지 감을 잡기 힘든 경우가 많습니다. 그런 분들께 방향성을 제시하고 작게나마 도움이 되고 싶습니다. 실습 때 다루는 기술 스택은 데이터 엔지니어뿐만 아니라 백엔드 개발자나 DevOps 엔지니어에게도 요구되는 기술들이 많으니 사용 목적과 특징들을 배워둔다면 많은 도움이 될 것 같습니다.

강의가 끝날 때쯤이면 데이터 엔지니어링 입문자에서 효율적인 데이터 처리에 대해 함께 고민할 수 있는 동료가 될 수 있었으면 좋겠습니다.

커리어 성장으로 가는 길, 러닝스푼즈와 함께 하세요!

지금 보고 계시는 강의의 관련 태그로 다른 강의도 찾아보세요.

오프라인 LIVE

카카오 엔지니어와 데이터 엔지니어링 입문 on Cloud

매일 선착순 20명 한정! 할인가 확인하고 커리어 성장하세요!