LLM 성능 향상을 위한 RAG와 파인 튜닝 : Text-to-SQL, 라마팩토리, vLLM

강의 목표

• 임베딩을 위해 LangChain을 이용해 문서를 분할하는 방법을 알아봅시다. 벡터 DB와 LangChain을 이용하여 딥 러닝을 이용한 검색기를 만드는 방법을 학습합니다.

이론

• ChatGPT API 제대로 활용하기

  LLM 파인 튜닝을 위한 학습 데이터 생성

• Langchain 핵심 입문

  LLM, PromptTemplate, Loader, Splitter, Memory

• 벡터 데이터베이스와 검색기

  Faiss, Chroma 소개

  BM25(키워드 기반 검색)와 결합한 앙상블 검색기

실습

• ChatGPT API를 이용한 업무 자동화/데이터 증강 실습
• ChatGPT와 Chroma DB를 이용한 Langchain 챗봇 개발 - 고난도의 PDF
• ChatGPT와 Faiss DB를 이용한 Langchain 챗봇 개발 - 다수의 txt 파일
• 이전 대화를 반영하여 답변하기

강의 목표

• 복잡한 PDF 전처리, 이미지, 테이블 등을 처리하는 고난도의 멀티 모달 RAG를 학습합니다.
• LLM이 스스로 복잡한 문제를 풀면서 문제를 해결하는 에이전트 RAG, Function Calling에 대해서 학습합니다.
• OpenAI API에서 제공하는 어시스턴트 API를 이용하여 쉽고 빠르게 고성능 RAG를 만듭니다.

이론

• 멀티모달 RAG

  복잡한 PDF의 이미지와 테이블을 인식하는 방법 (최고 성능에 가까운 방법 공개)

  이미지와 테이블 대응하기

• 대기업에서 쓰이는 에이전트 RAG

  Chain of Thought 프롬프팅 이해하기

  계획하고 도구를 선택하는 ReACT 에이전트

  도구를 즉시 호출하는 Function Calling 에이전트

  복잡한 쿼리에 대응하는 방법 (A와 B와 C 알려줘에 대응한다.)

  랭체인의 랭그래프(LangGraph)

• 유명 스타트업에서 쓰이는 어시스턴트 API

  OpenAI에서 자체적으로 제공하는 RAG API 사용하기

• 왜 파인 튜닝을 하면 RAG 성능이 더 좋아지는가?

  다음 수업 예고

실습

• 복잡한 PDF에서의 이미지와 테이블 전처리
• 멀티쿼리에 대응하는 에이전트 RAG
• 복잡한 API를 호출하는 Function Calling 에이전트
• 랭그래프(LangGraph) 에이전트

강의 목표

• 인공지능 연구원들처럼 LLM과 임베딩 모델을 직접 학습시켜서 RAG 성능을 높이는 방법에 대해서 알아봅시다.
• 라마3와 Orion-14B와 같은 공개된 모델을 이용하여 RAG를 만들어봅시다.
• RAG 특화 LLM을 학습시키기 위해서 RAG 데이터셋을 만드는 방법을 알아봅시다.

이론

• 검색 성능을 뒤엎는 임베딩 파인 튜닝

  BGE-M3 나만의 도메인 데이터로 학습하기

• 허깅페이스 오픈 모델을 이용한 RAG

  라마3와 오리온을 이용한 RAG

• RAG를 위한 고성능 LLM과 프롬프트 소개

  LLama3, Orion-14B-Chat-RAG, Command R Plus

• 어디서도 알려주지 않는 대기업 연구원의 RAG 파인 튜닝 가이드

  RAFT (Adapting Language Model to Domain Specific RAG) 논문 소개

  Hard Negative Sample 선정

  No Answer 데이터 구축: 할루시네이션 때려잡기

  복잡한 쿼리에 대응하는 데이터 구축

  CoT(Chain of Thought)를 이용한 학습 데이터 제작

실습

• LLama3와 Langchain을 이용한 오픈 LLM RAG 실습
• Orion-14B-Chat-RAG를 이용한 오픈 LLM RAG 실습
• LLM 파인 튜닝을 위한 RAG 학습 데이터 구축 실습 (1시간 이상 설명)

강의 목표

• LLM과 멀티 모달 LLM 학습을 위한 실제 LLM 학습 코드 리뷰를 진행해봅시다.
• 현업에서 LLM 풀 파인 튜닝과 LoRA 튜닝을 하는 경우를 이해합니다.
• 실제로 멀티모달 LLM을 파인 튜닝합니다.

이론

• LLM과 VLM(멀티모달) 파인튜닝 코드 완전 정복

  학습을 위한 데이터 전처리

  딥스피드 Config 설정하기

  학습 스크립트 파라미터 이해하기

• 모델 학습 방법 이해하기

  Full Fine tuning Vs. LoRA 튜닝

  언제 LoRA 튜닝이 강점을 갖는가? 실서비스에서의 멀티 로라 사례

  왜 풀 파인 튜닝을 해야하는가? LoRA는 모델을 성형하지 않는다.

• 모델 선정하는 방법

  허깅페이스 Config와 와 LLM 벤치마크 참고하기

• 유료 클라우드 Runpod 사용 방법

  커피 두 잔 비용으로 저렴하게 LLM 파인 튜닝하기

실습

• Qwen 2.5 VL 파인 튜닝 (멀티모달 파인 튜닝)
• LLaMA 파인튜닝 (LLM 파인 튜닝)

강의 목표

• LLM 파인 튜닝에 익숙해지기 위해서 실전 문제 세 가지에 대해서 학습하는 방법을 공부해 봅시다.
• 5주 차에서 LLM 파인 튜닝 코드를 직접 공부했다면 여기서는 좀 더 쉽게 할 수 있는 라마팩토리를 소개합니다.
• vLLM을 이용하여 LLM 답변 속도를 높이고 멀티 로라를 이용하여 하나의 LLM으로 여러 문제를 풀어봅시다.

이론

• LLM 파인 튜닝을 위한 데이터 전처리

  ChatGPT API를 이용한 Text-to-SQL 데이터 전처리하기

  라마팩토리 포맷에 맞게 전처리하기

• 라마팩토리: 조금 더 쉽게 파인 튜닝하기

  LLM 초보자도 따라만 하면 할 수 있는 파인 튜닝 방법

• vLLM을 이용한 인퍼런스 가속화

  실전에서 쓰이는 LLM 답변 속도 빠르게 하는 방법

  멀티 로라를 통한 서비스 최적화

실습

• LLaMA 파인 튜닝한 Text-to-SQL 챗봇
• LLaMA 파인 튜닝한 CoT로 동작하는 RAG 챗봇
• LLaMA 파인 튜닝한 텍스트 요약 챗봇