입문자도 따라하는 맞춤형 AI 에이전트 구현 : LLM 파인튜닝, RAG, 랭그래프

강의 목표

• 임베딩을 위해 LangChain을 이용해 문서를 분할하는 방법을 알아봅시다. 벡터 DB와 LangChain을 이용하여 딥 러닝을 이용한 검색기를 만드는 방법을 학습합니다.

이론

• ChatGPT API 제대로 활용하기

  LLM 파인 튜닝을 위한 학습 데이터 생성

• Langchain 핵심 입문

  LLM, PromptTemplate, Loader, Splitter, Memory

• 벡터 데이터베이스와 검색기

  Faiss, Chroma 소개

  BM25(키워드 기반 검색)와 결합한 앙상블 검색기

실습

• ChatGPT API를 이용한 업무 자동화/데이터 증강 실습
• ChatGPT와 Chroma DB를 이용한 Langchain 챗봇 개발 - 고난도의 PDF
• ChatGPT와 Faiss DB를 이용한 Langchain 챗봇 개발 - 다수의 txt 파일
• 이전 대화를 반영하여 답변하기

강의 목표

• 복잡한 PDF 전처리, 이미지, 테이블 등을 처리하는 고난도의 멀티 모달 RAG를 학습합니다.
• LLM이 스스로 복잡한 문제를 풀면서 문제를 해결하는 에이전트 RAG, Function Calling에 대해서 학습합니다.
• OpenAI API에서 제공하는 어시스턴트 API를 이용하여 쉽고 빠르게 고성능 RAG를 만듭니다.

이론

• 멀티모달 RAG

  복잡한 PDF의 이미지와 테이블을 인식하는 방법 (최고 성능에 가까운 방법 공개)

  이미지와 테이블 대응하기

• 대기업에서 쓰이는 에이전트 RAG

  Chain of Thought 프롬프팅 이해하기

  도구를 즉시 호출하는 Function Calling 에이전트

  복잡한 쿼리에 대응하는 방법 (A와 B와 C 알려줘에 대응한다.)

• 유명 스타트업에서 쓰이는 어시스턴트 API

  OpenAI에서 자체적으로 제공하는 RAG API 사용하기

  왜 파인튜닝을 하면 RAG 성능이 더 좋아지는가?

실습

• 복잡한 PDF에서의 이미지와 테이블 전처리
• 멀티쿼리에 대응하는 에이전트 RAG
• 복잡한 API를 호출하는 Function Calling 에이전트

강의 목표

• 인공지능 연구원들처럼 LLM과 임베딩 모델을 직접 학습시켜서 RAG 성능을 높이는 방법에 대해서 알아봅시다.
• 라마3와 Orion-14B와 같은 공개된 모델을 이용하여 RAG를 만들어봅시다.
• RAG 특화 LLM을 학습시키기 위해서 RAG 데이터셋을 만드는 방법을 알아봅시다.

이론

• 검색 성능을 뒤엎는 임베딩 파인 튜닝

  BGE-M3 나만의 도메인 데이터로 학습하기

• 허깅페이스 오픈 모델을 이용한 RAG

  라마3와 오리온을 이용한 RAG

• RAG를 위한 고성능 LLM과 프롬프트 소개

  LLama3, Orion-14B-Chat-RAG, Command R Plus

• 어디서도 알려주지 않는 대기업 연구원의 RAG 파인 튜닝 가이드

  RAFT (Adapting Language Model to Domain Specific RAG) 논문 소개

  Hard Negative Sample 선정

  No Answer 데이터 구축: 할루시네이션 때려잡기

  복잡한 쿼리에 대응하는 데이터 구축

  CoT(Chain of Thought)를 이용한 학습 데이터 제작

실습

• LLama3와 Langchain을 이용한 오픈 LLM RAG 실습
• Orion-14B-Chat-RAG를 이용한 오픈 LLM RAG 실습
• LLM 파인 튜닝을 위한 RAG 학습 데이터 구축 실습 (1시간 이상 설명)

강의 목표

• 에이전트 개발 도구인 랭그래프의 이론을 이해하고, 에이전트를 실제 구현합니다.
• 내가 가진 데이터에 특화된 에이전트를 개발하기 위해서 Function Calling과 ReACT 에이전트를 어떻게 파인튜닝 해야 할지 고민합니다.
• 에이전트 파인튜닝 시에 성능을 높이기 위해서 리즈닝 과정에 해당하는 Chain of Thought 데이터셋을 이용합니다.

이론

• 랭그래프 이해하기
• 나만의 데이터셋 특화 에이전트 파인튜닝 방법

  ReACT 에이전트와 Function Calling의 도메인 특화 파인튜닝 가이드

  에이전트의 추론(Reasoning) 성능을 높이기 위한 생각의 사슬(Chain of Thought) 학습 데이터셋 제작 방법

  에이전트 파인튜닝을 통한 멀티턴, 멀티 쿼리 성능 Up 노하우

실습

• 랭그래프 기초
• 랭그래프를 이용한 CORRECTIVE RAG 구현하기
• 도메인 특화 Function Calling 에이전트를 위한 LLM 파인튜닝 가이드

강의 목표

• LLM 파인 튜닝에 익숙해지기 위해서 실전 문제 세 가지에 대해서 학습하는 방법을 공부해 봅시다.
• vLLM을 이용하여 LLM 답변 속도를 높이고 멀티 로라를 이용하여 하나의 LLM으로 여러 문제를 호출하는 방법을 학습합니다.
• Runpod 클라우드의 Serverless 서비스를 이용하여 실제 LLM을 클라우드를 통해 서빙합니다.

이론

• 태스크 별 데이터 전처리 노하우

  LLM과 VLM 파인튜닝 코드 완전 정복

  학습을 위한 데이터 전처리

• 모델 학습 방법 이해하기

  Full Fine tuning Vs. LoRA 튜닝

  언제 LoRA 튜닝이 강점을 갖는가? 실서비스에서의 멀티 로라 사례

  왜 풀 파인 튜닝을 해야 하는가? LoRA는 모델을 성형하지 않는다.

• vLLM을 이용한 인퍼런스 가속화

  실전에서 쓰이는 LLM 답변 속도 빠르게 하는 방법

  멀티 로라를 통한 Serving 최적화

  Runpod를 활용한 클라우드 Serving

실습

• Qwen2-VL을 이용한 이미지를 인식하고 문제를 해결하는 멀티모달 파인튜닝
• LLaMA 3.1을 이용한 텍스트 요약 모델 파인튜닝
• LLaMA 3.1을 이용한 RAG 특화 모델 파인튜닝
• LLaMA 3.1을 이용한 text-to-sql 파인튜닝