BERT와 GPT를 활용한 자연어처리 파이프라인 : 텍스트 분류부터 AI GPT 챗봇까지

강의목표

• 딥러닝을 깊이 이해하기에 앞서 선형 회귀, 로지스틱 회귀, 소프트맥스 회귀의 이론에 대해서 이해하고, PyTorch를 이용하여 구현하는 방법에 대해서 소개합니다.

이론

• 선형 회귀와 경사 하강법(Gradient Descent), 비용 함수(Cost function)의 개념에 대한 이해
• 이진 분류를 위한 로지스틱 회귀(Logsitic Regression)
• 다중 클래스 분류를 위한 소프트맥스 회귀(Softmax Regression)
• 소프트맥스 회귀로부터 딥러닝으로 개념 확장

실습

• PyTorch의 자동 미분 기능을 사용한 선형 회귀 구현
• PyTorch를 통해서 선형 회귀, 로지스틱 회귀, 소프트맥스 회귀 쉽게 구현
• 소프트맥스 회귀로 실제 머신러닝 문제 풀이

강의목표

• 2010년대 딥 러닝 자연어 처리를 이끌었던 자연어 처리의 비밀, 워드 임베딩(Word Embedding)에 대해서 소개하고, 랜덤 초기화 임베딩과 사전 훈련된 임베딩의 차이를 이해합니다.

이론

• 워드 임베딩과 원-핫 인코딩의 차이 이해
• Word2vec VS FastText VS Glove 비교
• 랜덤 초기화 임베딩과 사전 훈련된 임베딩의 사용 사례 비교

실습

• 한국어에서 통하는 한국어 자모 단위(초성 + 중성 + 종성) FastText 실습
• 랜덤 초기화 임베딩과 Word2Vec을 이용한 감성 분류 성능 비교
• 워드 임베딩을 텐서플로 임베딩 프로젝터(Embedding Projector)로 시각화

강의목표

• 시퀀셜 데이터를 다루는 신경망인 RNN(Recurrent Neural Network)과 공간적인 정보를 다루는 합성곱 신경망 CNN(Convolutional Neural Network)을 통해 텍스트를 처리하는 방법에 대해서 이해합니다.

이론

• RNN의 many-to-one, many-to-many, Language Model 구조 이해
• RNN의 한계를 보완한 LSTM, GRU 소개
• 1D CNN을 이용한 텍스트 처리 소개

실습

• Numpy를 이용한 RNN 동작 구현
• Pytorch RNN, LSTM의 다양한 구현 방법 실습
• 이진 분류, 다중 클래스 분류 실습 (LSTM, Conv1D) : 네이버 영화 감성 분류
• 양방향 LSTM을 이용한 개체명 인식 실습

강의목표

• 딥러닝 기반 챗봇의 또 다른 구현 방법이자 Google 번역기의 핵심 모델 Sequence to Sequence(Encoder-Decoder)에 대해서 이해하고 번역기와 챗봇을 만듭니다.

이론

• 입력과 출력의 길이가 다른 many-to-many 문제를 위한 Sequence to Sequence 모델 소개
• RNN의 Teacher Forcing 학습과 테스트 방법 이해
• 서브워드 토크나이저 소개 : 센텐스피스(SentencePiece)

실습

• 서브워드 토크나이저 센텐스피스 실습
• Sequence to Sequence 모델을 사용한 기계 번역기와 챗봇
• 실제 번역기 서비스 구현을 위한 Tip (OpenNMT, 서브워드 토크나이저)

강의목표

• 자연어처리의 최신 모델들 (BERT, GPT-3, Chat GPT 등..) 내부에서 사용하고 있는 Transformer의 아키텍처에 대해서 이해합니다. 이를 통해 중급, 고급 이상의 딥러닝 자연어처리의 레벨로 진입할 수 있습니다.

이론

• Attention Mechanism과 Transformer 아키텍처
• 사전 훈련된 언어 모델의 발전사 (ELMo, BERT, GPT, BART, T-5, GPT-3, Chat GPT)

실습

• 밑바닥부터 구현하는 Transformer 챗봇
• 허깅페이스의 Transformers 라이브러리 사용 방법

강의목표

• Transformer 기반의 딥러닝 모델인 BERT, GPT에 대한 동작 파이프라인에 대해서 이해하고 BERT와 GPT가 가진 각각의 장점과 단점, 각 상황에서 모델을 선택하는 노하우에 대해서 설명합니다.

이론

• BERT의 구조 (Positional Embedding, Segment Embedding, Self-Attention)
• BERT의 강점과 단점
• GPT와 BERT와의 차이점 명확히 알기

실습

• 한국어 BERT를 이용한 네이버 영화 리뷰 분류 (이진 분류/다중 클래스 분류)
• 한국어 BERT를 이용한 혐오 유형 다중 레이블 분류 (다중 레이블 분류)
• 한국어 BERT를 이용한 개체명 인식 풀기
• 한국어 BERT를 이용한 기계 독해 풀기
• 한국어 BERT를 이용한 검색 모델 풀기 (Retrieval Task)

강의목표

• GPT, GPT-2, GPT-3, 그리고 Chat GPT. 앞으로 인공지능 분야를 이끌어나갈 GPT의 구조와 특징을 알면, 어떻게 해야 GPT를 더 잘 활용할 수 있는지에 대한 이해를 바탕으로 Chat GPT API와 LangChain을 결합하여 NLP앱을 개발합니다. 

이론

• GPT 아키텍처
• 딥 러닝 자연어 처리의 발전 방향 : Large language models (LLMs)
• Chat GPT API를 이용한 데이터 생성 노하우
• 대형 GPT를 활용하는 모델 튜닝 방법과 AI 산업에서의 주안점 
• 로라 튜닝(Lora-tuning) 그리고 인컨텍스트 러닝(in-context learning)/퓨샷 러닝(Few shot Learning)

실습

• 한국어 금융 뉴스 긍/부정 분류
• 한국어 GPT를 이용한 일상대화 챗봇 구현
• 한국어 BART를 이용한 한국어 텍스트 요약 
• Chat GPT API + LangChain으로 빠른 NLP 앱 개발
• 각자의 개인 프로젝트 질문 & 조언 시간