IT 기업에서 활용하는 자연어처리 실전 : GPT4, LLM, RAG, LangChain

강의 목표

• 딥 러닝이 데이터를 학습하는 원리인 경사 하강법(Gradient Descent)을 통해 딥 러닝의 학습 방법을 이해하고
  자연어 처리 모델 구현을 위한 핵심 개념인 임베딩(Embedding)과 소프트맥스 회귀에 대해서 소개합니다.

이론

• 경사 하강법(Gradient Descent) - 딥 러닝이 데이터를 학습하는 방법
• 단어 임베딩과 문서 임베딩 - GPT가 텍스트를 이해하는 방법
• 소프트맥스 회귀(Softmax Regression) - 딥 러닝 모델을 이용한 텍스트 분류와 생성
• RAG(Retrieval-Augmented Generation) - LLM을 이용한 챗봇을 구현하는 방법
• RNN과 CNN - GPT 이전의 기본 신경망 개요

실습

• Word Embedding 학습하기: Embedding Layer, Word2Vec, 자모 단위 FastText
• OpenAI Embedding API를 이용한 시맨틱 서치 구현(Semantic Search) 구현
• Sentence BERT를 이용한 딥 러닝 챗봇 구현
• RAG(Retrieval-Augmented Generation)를 이용한 챗봇 구현 (Embedding + ChatGPT)

강의 목표

• 자연어처리의 최신 모델들 (BERT, GPT-3, ChatGPT 등) 내부에서 사용하고 있는 기술들에 대해서 입문자들도 이해할 수 있도록 상세히 설명합니다.
  이를 통해 딥러닝 입문자는 최신 논문을 이해할 수 있는 중고급 이상의 딥러닝 자연어처리 이해도로 진입할 수 있습니다.

이론

• Attention Mechanism과 Transformer 아키텍처
• 사전 훈련된 언어 모델의 발전사 (ELMo, BERT, GPT, BART, T5, GPT-3, Chat GPT)
• 허깅페이스를 이용한 딥 러닝 언어 모델 사용 방법 가이드

실습

• PLM과 LLM 사용을 위한 허깅페이스의 Transformers 라이브러리 사용 방법
• 허깅페이스를 이용한 내 문제에 딱 맞는 AI 사용 방법

현업 코드 제공

• 1D CNN + Pretrained Embedding을 이용한 가벼운 모델로 고성능의 텍스트 분류기 얻기
• 챗봇 개발 시 Entity 추출을 위한 Bi-LSTM을 이용한 개체명 인식

강의 목표

• 개발 입문자도 자신만의 데이터로 고성능 챗봇을 만들 수 있는 Retrieval-Augmented Generation (RAG)와
  OpenAI의 초거대 언어 모델인 GPT-3와 ChatGPT를 쉽게 파인 튜닝하는 방법을 소개합니다.

이론

• Langchain과 벡터 DB 개념(Pinecone, Chroma) 이해하기
• RAG(Retrieval-Augmented Generation) 심화 실습
• ChatGPT API를 이용한 학습 데이터 증량 기법 / 업무 자동화 챗봇
• 웹 UI 개발에 사용되는 Streamlit, Gradio
• GPT-3, ChatGPT 파인 튜닝을 위한 가이드

실습

• 생성 AI를 이용한 서비스 구현

  Langchain + 벡터 DB + LLM을 이용한 나만의 데이터를 이용한 고성능 챗봇 개발
  (수강생분들이 데이터 직접 지참하면 바로 만들 수 있습니다.)

  OpenAI의 ChatGPT, GPT-4 직접 파인 튜닝을 통한 한국어 LLM 애플리케이션 개발

• 챗봇에게 눈, 귀, 입을 부여해 주는 인공지능 사용 방법

  이미지를 그려주는 인공지능: DALL·E 3 API

  음성을 인식하는 인공지능: Whisper API

  텍스트를 음성으로 바꿔주는 인공지능: OpenAI TTS API

강의 목표

• Transformer 기반의 딥러닝 모델인 BERT, GPT에 대한 동작 파이프라인에 대해서 이해하고 BERT와 GPT가 가진 각각의 장단점, 각 프로젝트 상황에서 모델을 선택하는 노하우, 그리고 실제 현업에 사용되고 있는 필수 유형 코드를 실습합니다.

이론

• BERT와 GPT 상세 이해하기 (Positional Embedding, Segment Embedding, Self-Attention)
• 디코더 모델 GPT / 인코더 모델 BERT, 현업 적용 시 차이점 명확히 알기
• 다양한 프로젝트 상황에 따른 BERT와 GPT 실전 사용 방법 가이드

실습

• 한국어 BERT 활용 방법

  네이버 영화 리뷰 분류 - 이진 분류, 다중 클래스 분류

  혐오 유형 다중 레이블 분류

  개체명 인식 풀기 - ChatGPT 성능 뛰어넘기

  기계 독해 풀기 - 질의응답 챗봇 구현 요소

  검색 모델 풀기 - Retrieval Task

  텍스트 요약 - BertSum

• 한국어 GPT 활용 방법

  챗봇 개발 프로젝트

  문장 생성

  한국어 뉴스 감성 분류

• BERT 실습 변형: KoElectra, RoBERTa와 KoBigBird의 실전 가이드

강의 목표

• 현업에서 LLM 다음으로 가장 강력한 성능을 자랑하는 언어 모델인 한국어 버전의 BART, T5를 파인 튜닝합니다.
  실제 대기업에서 가장 많이 사용되는 오픈소스 LLM인 Polyglot과 Llama2를 직접 튜닝합니다.

이론

• 인코더 디코더 구조의 언어 모델: BART와 T5
• 디코더 기반의 7B 이상의 Large language models (LLMs)과 실전 사용 시 Tips
• LLM을 이용한 프롬프트 엔지니어링 가이드
• 인컨텍스트 러닝(in-context learning) 퓨샷 러닝(Few shot Learning)
• LLM의 튜닝 방법: 로라 튜닝(Lora-tuning)과 큐로라(QLora) 튜닝

실습

• T5를 이용한 대기업 컨설팅에 사용하였던 실제 문제 풀이 코드 공개
• 한국어 BART, T5를 이용한 뉴스 요약 모델 구현하기
• 대표 한국어 LLM Polyglot, KoAlpaca 데이터 세트로 Lora 튜닝해 보기
• 한국어에도 쓸 수 있는 다국어 LLM LLama2 나만의 데이터로 파인 튜닝하기
• 개개인의 프로젝트에 대한 조언 및 가이드 - 현업 관점에서의 피드백