RAG 성능 고도화를 위한 LLM 파인 튜닝과 프롬프팅 : Llama3, CoT, 에이전트

강의 목표

• 자연어 처리와 RAG를 위한 핵심 개념인 임베딩(Embedding)과 딥 러닝 모델의 학습 방법을 알아봅니다.

이론

• 딥 러닝 자연어 처리 모델의 역사 이해하기: RNN, CNN, 어텐션 메커니즘, Transformer, GPT-3
• NLP 모델이 문제를 푸는방법: 소프트맥스 회귀(Softmax Regression)
• LLM이 텍스트를 이해하는 비밀: 임베딩(Embedding)
• OpenAI의 Embedding API 소개

실습

• Word Embedding 학습하기: Embedding Layer, Word2Vec
• OpenAI Embedding API를 이용한 시맨틱 서치 구현(Semantic Search) 구현
• 한글에서 최고 성능을 보이는 RAG를 위한 임베딩 모델 소개: bge-m3, e5

강의 목표

• 임베딩을 위해 LangChain을 활용한 문서 분할 방법을 알아봅니다.
• VectorDB와 LangChain을 활용한 딥 러닝을 이용한 검색기를 만드는 방법을 학습합니다.

이론

• ChatGPT API 제대로 활용하기

  언어 (영어 vs. 한글)에 따른 생성 속도/과금 구조의 차이와 해결 방법 알아보기

  RAG를 위한 프롬프트 가이드 (이전 대화 반영, Query Paraphrasing, 할루시네이션 감소)
  
  

• PDF 파싱 가이드

  PDFMiner, PDFPlumber, Camelot 소개
  
  

• LangChain 핵심 기초 입문

  LLM, Prompt Template, Loader, Spliter
  
  

• 키워드 기반의 검색과 VectorDB

  Fasis, Chroma, Milvus 소개

  BM25(키워드 기반 검색)와 결합한 앙상블 검색기
  
  

• ChatGPT Fine-tuning 가이드
• RAG를 위한 프롬프트 템플릿

실습

• ChatGPT API를 이용한 업무 자동화/데이터 증강 실습
• ChatGPT와 Chroma DB를 이용한 Langchain 챗봇 개발 - 고난이도의 PDF
• ChatGPT와 Faiss DB를 이용한 Langchain 챗봇 개발 - 다수의 txt 파일
• 이전 대화를 반영하여 답변하기
• ChatGPT 직접 Fine-tuning 해서 챗봇 만들기

강의 목표

• 앞서 배운 RAG 시스템을 고도화하는 아키텍처를 소개하고 과거의 대화를 기억하는 Memory 능력을 추가하는 방법을 학습합니다.
• GPT 4V API, TTS, Whisper, Dalle API, Assistnat API를 이용하여 나만의 AI 서비스를 업그레이드할 수 있습니다.

이론

• RAG를 위한 고성능 LLM과 프롬프트 소개

  LLama3, Orion-14B-Chat-RAG, Command R Plus
  
  

• RAG 정확도 곱절로 올리는 LLM 파인 튜닝 가이드

  Hard Negative Sample 선정

  No Answer 데이터 구축: 할루시네이션 제거하기

  RAFT (Adapting Language Model to Domain Specific RAG) 논문 소개

  원문 인용 후 답변, CoT(Chain of Thought)를 이용한 근거 후 답변 도출
  
  

• OpenAI API 소개

  이미지를 인식하는 GPT4V

  음성과 텍스트를 자유롭게 오가는 음성 인식 API : Whisper, TTS

  이미지를 그리는 Dalle

  나만의 챗봇을 구현하는 Assistant API

실습

• LLama3와 Langchain을 이용한 오픈 LLM RAG 실습
• Orion-14B-Chat-RAG를 이용한 오픈 LLM RAG 실습
• LLM 파인 튜닝을 위한 RAG 학습 데이터 구축 실습 (RAFT 논문)
• 멀티모달 AI 서비스 개발

  GPT4V, TTS, Whisper, Dalle, Assistant API 실습

강의 목표

• 자연어처리의 최신 모델들 (BERT, GPT-3, ChatGPT 등)을 입문자들도 이해할 수 있도록 아주 쉽게 설명합니다. 이를 통해 딥러닝 입문자는 최신 논문을 이해할 수 있는 중고급 이상의 딥러닝 자연어처리 이해도로 진입할 수 있습니다.

이론

• 네카라쿠배 대기업 NLP/LLM 엔지니어의 주요 면접 질문으로 공부하기
• LLM 기반 아키텍처: 트랜스포머(Transformer)
• BERT와 GPT 상세 이해하기 (Positional Embedding, Segment Embedding, Self-Attention)
• 인코더(BERT), 디코더(GPT, LLM), 인코더-디코더(BART, T5) 모델 차이 알기
• 다양한 프로젝트 상황에 따른 BERT와 GPT, T5 실전 사용 방법 가이드

강의 목표

• Transformer 기반의 딥러닝 모델인 BERT, GPT, T5에 대한 동작 파이프라인에 대해서 이해하고 BERT와 GPT, T5가 가진 각각의 장단점, 각 프로젝트 상황에서 모델을 선택하는 노하우, 그리고 실제 현업에 사용되고 있는 필수 유형 코드를 실습합니다.

이론

• BERT, GPT, BART, T5로 풀 수 있는 모든 실무 유형 정리
• T5를 이용한 대기업 컨설팅에 사용하였던 실제 문제 풀이
• ChatGPT를 이용한 실전 데이터 증량 방법

실습

• 금융 뉴스 긍정, 부정 감성 분석
• 혐오 유형 다중 레이블 분류
• 개체명 인식 풀기 - ChatGPT 성능 뛰어넘기
• 기계 독해 풀기 - 질의응답 챗봇 구현 요소
• 검색 모델 풀기 - Retrieval Task
• BERT 실습 변형: KoElectra, RoBERTa와 KoBigBird의 실전 가이드
• BART와 T5를 이용한 요약 생성기
• T5를 이용한 대기업 컨설팅에 사용하였던 실제 코드 공개

강의 목표

• 실제 대기업에서 가장 많이 사용되는 오픈소스 LLM들을 소개하고, RAG와 text-to-sql을 위해 실제 데이터로 LLM을 파인 튜닝(Fine-tuning)하는 방법에 대해서 배웁니다.

이론

• 비용한 저렴의 클라우드 Runpod 사용법 소개
• 라마팩토리(LLama Factory)와 Deepspeed를 이용한 초보자도 할 수 있는 LLM 튜닝 완벽 가이드
• 각 LLM의 고유한 ChatML 템플릿 이해하기 (LLama-3, Qwen2)
• 인컨텍스트 러닝(in-context learning) 퓨샷 러닝(Few shot Learning)
• LLM의 튜닝 방법: Full SFT Fine-tuning Vs. 로라 튜닝(Lora-tuning) Vs. 큐로라(QLora) 튜닝

실습

• RAG 성능을 실제로 배로 상승시키는 RAG 파인 튜닝 (RAFT 논문 뛰어넘기)
• 텍스트를 SQL 쿼리로 바꿔주는 Text-to-SQL LLM 파인 튜닝
• 어려운 문서를 구조화 요약하는 요약하는 LLM 파인 튜닝