카카오 엔지니어와 데이터 엔지니어링 입문 on Cloud

안녕하세요. 데이터 플랫폼을 개발하고 있는 Lukas입니다. 클라우드와 거기에서 생산되는 수많은 데이터를 수집하고 처리하는 데에 관심이 많은 개발자입니다. 점차 많은 기업들이 데이터를 기반으로 의사결정을 하면서 점점 더 많은 데이터를, 더욱 신속하고 정확하게 처리해야 하는 시대입니다.
이러한 시대에 발맞춰 스트림 처리, 실시간 처리에 관심을 갖고, 끊임없이 공부하고 성장하고 있는 개발자 중 한 사람입니다. 원래는 IaaS(Infra-as-a-service), PaaS(Platform-as-a-service)와 같은 클라우드 시스템을 개발했지만 클라우드와 그 위에 올라간 수많은 서비스에서 생산되는 데이터의 가능성을 보고 데이터 엔지니어의 길로 방향을 살짝 틀게 됐습니다. 커리어 방향을 틀었지만 많은 부분이 겹쳤고 이전의 클라우드 경험이 많은 도움이 됐습니다.
최근 데이터 엔지니어링은 클라우드와는 떼려야 뗄 수 없는 관계입니다. 데이터가 증가하는 속도에 맞춰 파이프라인과 플랫폼도 확장성을 보장해야 하고 그와 동시에 안정성도 보장해야 합니다. 이를 위해서는 클라우드 또한 이해하고 사용할 수 있어야 합니다.
앞으로 진행하는 강의에서 저의 과거와 현재 경험을 기반으로 데이터 세상에 잘 안착할 수 있도록 도움을 드리고자 합니다.

데이터 엔지니어링, 데이터 파이프라인의 큰 그림을 설명해 드리고, 그 그림을 구성하는 각 요소에 대해 설명하고 직접 실습하며 다뤄볼 예정입니다. 이 과정에서 데이터 엔지니어뿐만 아니라 백엔드 개발자에게도 요구되는 여러 오픈소스와 AWS 서비스를 다루어 봅니다. 대표적으로 Apache Kafka와 ELK 스택이라고 불리는 Elasticsearch, Logstash, Kibana 입니다. Kafka와 Elasticsearch는 현업에서 가장 많이 사용되며 다양한 분야의 개발자들이 활용하고 있습니다. 사실 이 두 오픈소스를 다루고 운영하려면 각각 따로 강좌를 들어야 할 정도로 방대하지만, 입문자들을 위해 최대한 핵심을 설명하면서 활용 방안 그리고 현업에서 겪을 수 있는 문제점 등을 정리해서 전달하려고 합니다. 데이터 파이프라인을 구성하는 각 컴포넌트에 대해 설명만 듣는 것이 아니라 설정값들을 바꿔보면서 하나씩 실습하는 형태의 강의입니다.

데이터 엔지니어링과 클라우드에 입문하시는 분들이 주요 수강 대상입니다. 데이터 엔지니어링은 회사마다 심지어 조직마다도 다루는 툴이 다르고 구성하는 방식 또한 달라질 수 있습니다. 비즈니스 로직과 해당 기업의 데이터 정책에 따라 구조와 구성요소가 천차만별이라서 쉽게 접근하기 어려운 점이 있습니다. 개발자 컨퍼런스나 세미나에서 발표되는 여러 기업의 아키텍처를 참고해도 너무 많은 오픈소스와 기술들이 등장하기 때문에 무엇을 공부해야 할지, 저건 무슨 역할을 하는지, 왜 이런 구조인지를 파악하기 힘든 경우가 많습니다.
이러한 어려움을 해결하는 데에 조금이나마 도움이 되고자 빅데이터 이론에 나온 일반적인 구조를 설명해 드리고, 이후 여러 기업의 사례를 (공개된 자료에 한해서) 비교 분석해 보려고 합니다. 데이터 엔지니어링에 대한 시장 수요가 높아지는 만큼 오픈소스와 상용 서비스들이 쏟아지고 있습니다. 여기서 예산과 구조 그리고 개발자 입맛에 맞게 각 컴포넌트를 골라 데이터 파이프라인을 구축해야 합니다. 강의에서 배운 지식을 기반으로 스스로 가지를 뻗어서 공부하면 본인 회사나 목표로 하는 기업의 아키텍처를 이해하고 나아가 더 나은 아키텍처를 제시하실 수 있으리라 생각됩니다.

이 강의는 빅데이터 아키텍처를 기반으로 데이터 엔지니어링의 전체적인 구조를 파악한 후, 각 세부 컴포넌트를 직접 다루어 보면서 데이터 파이프라인을 실습할 수 있도록 구성하였습니다. 입문자의 배경지식을 고려하지 않고 특정 오픈소스를 딥 다이브하는 다른 강의와는 달리 각 컴포넌트의 역할과 특징, 이론 등을 상세히 설명합니다. 이 강의를 기반으로 수강생이 데이터 엔지니어링 분야에서 가지를 뻗어 나가고 데이터 관련 커리어를 이어 갈 수 있도록 여러 키워드와 컴포넌트도 강의 중간중간 최대한 전달하려고 자료들을 구성하였습니다.

데이터 엔지니어링은 데이터를 중심으로 다양한 요구사항을 만족시키기 위해 고민하는 분야입니다. 기술적인 도전과 비즈니스 관점에서의 도전이 모두 공존합니다. 데이터 엔지니어링은 특히나 기업마다 조직마다 정말 다양한 아키텍처와 기술 스택을 가지고 있습니다. 그러기 때문에 입문자 입장에서는 어떻게 접근해야 할지, 무엇부터 공부해야 할지, 어떤 토이 프로젝트를 할지 감을 잡기 힘든 경우가 많습니다. 그런 분들께 방향성을 제시하고 작게나마 도움이 되고 싶습니다. 실습 때 다루는 기술 스택은 데이터 엔지니어뿐만 아니라 백엔드 개발자나 DevOps 엔지니어에게도 요구되는 기술들이 많으니 사용 목적과 특징들을 배워둔다면 많은 도움이 될 것 같습니다.
강의가 끝날 때쯤이면 데이터 엔지니어링 입문자에서 효율적인 데이터 처리에 대해 함께 고민할 수 있는 동료가 될 수 있었으면 좋겠습니다.