강의탐색
LLM, 검색, 엔진, 개발, 검색어, 로직, 딥러닝, 머신러닝, 인공지능, 자연어, 처리, 온라인, VOD, 강의
  • 데이터사이언스
  • 입문

AI 엔지니어를 위한 LLM 기반 검색 엔진 구현 : Semantic Search 실전 프로젝트

실제 글로벌 이커머스에 검색 엔진을 도입한 엔지니어에게 배우는 LLM 기반 검색 엔진 구현 프로젝트! 기업 데이터를 활용해 구현부터 도입까지 함께 하세요. 프로젝트 기반 검색 엔진 강의!

바로 수강
수강 기한
평생 수강
  • 온라인
    총 32강, 약 05시간 10분

글로벌 기업에 검색 엔진을 도입한
엔지니어의 특급 비밀!

유저 검색 : OO가 입었던 청바지
결과 : 혹시 A사의 청바지를 찾고 계신가요?

강의소개

검색 엔진을 도입하고 구매 전환을 높인
엔지니어의 검색 엔진 구현부터 코드 공유까지!

LLM 검색 엔진 강의

01. 인터넷에 공개된 PLM으로도 빠르게 Semantic Search를 만들고 도입한 코드로 실습합니다.

아직도, 기존 역색인(Inverted Index)의 Syntactic Search를 사용하고 계세요? 소비자는 생각보다 직관적으로 검색하지 않습니다. 이제 소비자의 의도를 파악하는 시맨틱 검색을 활용해야 합니다. 인터넷에 공개된 미리 학습된 언어 모델(PLM)의 활용법과 이것을 실무에 어떻게 적용하고 시맨틱 검색을 만드는지 경험할 수 있습니다.

02. LLM을 이커머스 기업에 어떻게 적용했는지 그리고 적용 시 문제점을 해결하는 방법까지 다룹니다.

LLM 기반 검색 엔진을 글로벌 기업에 도입한 강사에게, 도입 과정에서 필요한 필수 이론 지식을 수강하고 본인의 업무에 적용해 보세요. 실제 러닝스푼즈 '줄글' 데이터를 활용해 도메인에 국한되지 않도록 문서를 검색하는 상황에 맞춰놓고 강의를 진행합니다. 강의에서 사용한 코드르 그대로 적용할 수 있도록 실습을 구성했습니다.

03. 글로벌 기업에서 LLM 지연시간 단축으로, 비용까지 감소시키는 방법을 공유합니다.

LLM의 한계는 명불허전 Latency입니다. UX 관점에서 매우 불리하게 작용하는 LLM의 한계점을 해결했던 방법을 설명해 드릴 예정입니다. 실습을 같이하고 글로벌 이커머스 기업에서 활용했던 코드와 논리구조까지 설명합니다. 시니어 엔지니어의 경험을 여러분의 경험으로 만들어 보세요.

본 강의에서
무엇을 얻어갈 수 있나요?

유저의 검색 결과를 정밀하게,
LLM을 검색 엔진에 적용하는 고급 스킬.

  • Syntactic Search의 단점을 보완하는 Semantic Search

    Sentence Transformer, HNSW, FAISS

    BERT, Transformer로 기존 Inverted index의 단점을 보완할 수 있는 원리를 파악합니다. 이를 기반으로 미리 학습된 모델(PLM)으로 빠르게 Semantic Search를 구현합니다.

    LLM 검색 엔진 강의

  • 엔비디아 서버를 통해
    검색 엔진 서빙 비용 절감

    복잡성을 해결하는 모델 간소화

    CPU와 GPU의 처리량과 활용도를 극대화하는 NVIDIA 서버를 활용합니다. Request 횟수를 줄이고, 검색 엔진의 속도를 최적화하는 방법을 습득해 경쟁력 있는 엔지니어로 성장해 보세요.

    LLM 검색 엔진 강의

  • 글로벌 기업에 검색 엔진을
    도입한 실제 코드 공유

    LLM 실무 적용력 향상

    실제 글로벌 기업에서 연구하고 적용하는 검색 엔진의 전체 로직을 습득합니다. 실제 검색 엔진을 도입한 엔지니어의 업무 로직과 지연 속도를 해결하는 노하우를 습득해 보세요.

    LLM 검색 엔진 강의

유저의 이탈을 100% 막는 검색 엔진,
직접 운영하고 서빙하는 AI 엔지니어로 성장하세요!

본 강의가 특별한 이유는
무엇인가요?

1

실제 기업 데이터로
검색 엔진 적용 실습

기업의 데이터를 활용해 검색 엔진이 어떤 원리로 어떻게 적용되는지 시니어 엔지니어와 같이 실습합니다. 뿐만 아니라, 이커머스 환경에 적용하는 방법과 사례에 관해 설명합니다.

2

비즈니스 임팩트를 내는
AI 엔지니어로의 성장

글로벌 기업들은 사용자의 의도를 파악해 정확한 검색 결과를 제공할 수 있도록 검색 엔진에 생성형 AI를 도입하고 있습니다. 핵심 모델과 알고리즘을 딥다이브 하고 차별화 된 분야의 AI 엔지니어로 도전하세요.

3

기업의 영원한 숙제,
LLM의 Latency 해결 방안

해봤던 사람과 안 해봤던 사람의 차이는 극과 극입니다. 실제로 기업에서 지연시간을 해결하고 UX 관점에 많은 역할을 한 시니어 엔지니어의 특급 노하우를 오직 이 강의에서만 확인할 수 있습니다.

강의자료

이런 자료를 통해 학습해요!

LLM 검색 엔진 강의

Transformer 논문 리뷰

LLM 검색 엔진 강의

검색 엔진 인덱싱의 이해

LLM 검색 엔진 강의

FAISS(IndexIVFFLAT)

LLM 검색 엔진 강의

FAISS에 대한 이해

LLM 검색 엔진 강의

Semantic Search 로직

LLM 검색 엔진 강의

Nvidia Triton Ensemble Model

LLM 검색 엔진 강의

문장 임베딩 - BERT

LLM 검색 엔진 강의

Two tower Model
FAQ

강의에 대해
궁금한 점이 있으신가요?

Q. 기초 지식 없이도 수강이 가능한가요?

검색 엔진에 대한 기초 지식없이 Python, PyTorch를 활용할 줄 아신다면 충분히 수강하실 수 있습니다.

수강 대상

이런 분들은 꼭 들으셔야 해요!


검색 커버리지가 낮아 고민이며, 검색 커버리지를 넓혀 Tail Query까지 훌륭한 검색 결과를 도출하고 싶은 분


Semantic Search를 Syntactic Search 서치만큼 빠르게 개선하고 싶은 분


글로벌 이커머스 기업의 실제 사례를 내 기업에도 적용하고 싶은 AI 엔지니어

강사소개

우리 강사님을 소개할게요!

LLM 검색 엔진 강의

김재균

이력사항
  • (현) 쿠팡 ML 엔지니어
  • (전) 네이버 ML 엔지니어
  • 카이스트 수학, 전산 학부 졸업

1. 자기소개 부탁드립니다.

안녕하세요. 현재 ML Engineer 업무를 하는 김재균입니다. 카이스트 수리과학과와 전산학부 졸업 후 지속해서 검색 조직에 몸을 담아 업무를 했기 때문에 검색 분야에 전문성을 띠고 있고, 최근 화두 되는 LLM을 이용한 EBR(Embedding-Based-Retrieval)을 서비스에 적용해 보았습니다. 이런 최신의 기술을 공유하여 작은 도움이라도 드릴 수 있다면 좋겠습니다.

2. 강의에서는 주로 어떤 내용을 다룰 예정이고, 어떤 형태로 진행되나요?

SentenceBert(Sentence Transformer)로 추출한 Embedding 벡터를 가지고 실제 검색 서비스에 적용하는 내용을 다룹니다. 가벼운 이론부터 실전까지 세세하게 다룰 예정입니다. 실전에서는 러닝스푼즈의 데이터를 가지고 현재 러닝스푼즈 검색의 문제점을 해결하는 것까지 확인하며, 실제로 서비스 서빙을 위한 코드 작업까지 강의합니다.

3. 본 강의에서 배운 내용을 수강생분들이 어떻게 활용할 수 있을까요?

이론편을 지나 러닝스푼즈 데이터를 가지고 강의하는 실전편부터는 도메인 특징에 구애받지 않고 오직 "줄글"로 구성된 문서를 검색하는 상황에 맞춰놓고 강의를 진행했습니다. 따라서, 강의에서 사용한 코드를 가지고 그대로 본인 업무 환경에 적용하실 수 있습니다. 자연어 처리 도메인에 있어 적용 가능한 하나의 애플리케이션을 선보이는 것이기 때문에 자연어 처리 업무를 하고 계시거나 하고 싶은 분들이라면 많은 도움이 될 것입니다.

4. 마지막으로 수강생분들에게 하고 싶으신 말이 있다면?

검색 영역에서 Semantic Search는 정말 중요한 Feature였습니다. 최근 LLM의 발전으로 그 Feature를 손쉽게 구현할 수 있게 되었고, 더불어 여러 가지 인덱싱 기술, 서빙 기술과 함께 완성도 있는 검색 엔진을 빠르고 쉽게 구현할 수 있게 되었습니다. 저와 함께 최신 검색 엔진 기술을 탐구해 보면 좋겠습니다.

커리큘럼 (32)

  • SECTION 1. How to search with Transformer / BERT

    01:16:44

    1-1. What is Transformer

    00:11:58

    1-2. Attention is All You Need

    00:08:36

    1-3. Implement Search Engine

    00:11:41

    1-4. PyCharm setting with Conda

    00:03:43

    1-5. PRACTICE - Getting an embedding vector by “SentenceTransformer”

    00:06:40

    1-6. PRACTICE - How to use PLM (Pre-trained Language Model)

    00:04:11

    1-7. PRACTICE - Download dataset (NAVER movie review)

    00:01:43

    1-8. PRACTICE - INDEXING in Colab (1)

    00:19:26

    1-9. PRACTICE - INDEXING in Colab (2)

    00:08:46

  • SECTION 2. Search Optimization

    00:49:51

    2-1. What is Search Engine Indexing

    00:04:54

    2-2. HNSW

    00:08:42

    2-3. PRACTICE - HNSW Indexing

    00:11:17

    2-4. FAISS

    00:06:03

    2-5. PRACTICE - FAISS IndexIVFFlat Indexing

    00:04:51

    2-6. PRACTICE - Indexing HNSW, FAISS in Colab

    00:02:47

    2-7. PRACTICE - Compare search time, performance

    00:10:05

    2-8. HW - FAISS-HNSW

    00:01:12

  • SECTION 3. Trition Inference Server

    01:10:42

    3-1. Introduction to the Server

    00:06:55

    3-2. How Triton Server is Launched (Docker File)

    00:06:03

    3-3. PRACTICE - How Triton Server is Launched (DockerFile)

    00:05:34

    3-4. PRACTICE - Let’s Launch the Server (Docker run)

    00:09:52

    3-5. PRACTICE - How EBR works on Triton Server (Triton_python_backend)

    00:25:24

    3-6. PRACTICE - Test the Server with Client Code (grpc & http)

    00:16:54

  • SECTION 4. LearningSpoons Search Engine

    01:53:05

    4-1. Engine Architecture

    00:11:55

    4-2. Learning Spoons Dataset

    00:07:40

    4-3. How to evaluate each case : Stratified sampling

    00:08:15

    4-4. Practice : dataset.py

    00:18:20

    4-5. Practice:IndexInterface.py, vanilla, faiss, hnsw

    00:04:47

    4-6. Practice: grid_search.py, evaluation.py

    00:27:01

    4-7. Running on Colab

    00:07:21

    4-8. Latency Check

    00:05:19

    4-9. Deploy with Triton Inference Server

    00:22:27

커리어 성장으로 가는 길, 러닝스푼즈와 함께 하세요!

지금 보고 계시는 강의의 관련 태그로 다른 강의도 찾아보세요.

온라인

AI 엔지니어를 위한 LLM 기반 검색 엔진 구현 : Semantic Search 실전 프로젝트

로그인 안내

로그인 후 이용가능합니다.
로그인 페이지로 이동합니다.

AI 엔지니어를 위한 LLM 기반 검색 엔진 구현 : Semantic Search 실전 프로젝트

닫기
강의 구성
총 32강, 약 05시간 10분
수강 기한
평생 수강
할인 금액
129,000 89,000원
12개월 무이자 할부
약 7,417원/월 무이자 할부 혜택, 카드사별 상이

닫기
profile image
로그인
로그인
강의 카테고리
테크런 자세히보기
나노디그리 자세히보기
기업교육
연세대
마켓플레이스
클라우드 바우처
라운지
러닝스푼즈
강사지원 신규강의요청

강의찾기

닫기
추천 키워드

로그아웃

로그아웃 하시겠습니까?

로그아웃