강의탐색
NLP, 자연어처리, 의도생성, 하위의도, 챗봇, 강의
  • 데이터사이언스
  • 중급, 고급

AGI를 위한 NLP Task 프로젝트 : 생성형 AI 기반 감정 인식부터 하위 의도까지

NLP 기초 강의 말고, NLP Task 활용 강의를 찾고 계신가요? 최신 LLM 기술과 현업의 노하우를 배워 나의 비즈니스와 연구에 활용해 볼 수 있는 NLP 강의!

1기
강의 일정
23.11.11 ~ 23.12.16 (총 5회) 매주 토요일 14:00 ~ 17:00 (총 15시간)

(휴강 : 12월 09일)

AI 시대를 넘어 AGI 시대로,
NLP 스킬 향상을 위한 LLM 활용 프로젝트!

LLM을 활용한 fine-tuning부터 Instruction Dataset 생성, NLP Task 해결 방법까지 배워가세요.


강의소개

최신 트렌드 LLM을 배워 실무에서의 다양한 NLP 문제들을 해결할 수 있습니다.

NLP 강의

01. LLM 파인튜닝, Instruction Dataset 생성으로
모델 성능을 향상하는 노하우

LLM(Large Language Model)은 수천억 개의 파라미터를 포함하는 언어 모델인 만큼 기존의 모든 파라미터를 Fine-tuning하는 방식으로 학습시켰을 때 계산 및 저장 비용과 관련한 문제가 생길 수 있습니다. 이러한 LLM을 특정 도메인에 맞게 튜닝하고 최적화하기 위해 분산학습과 LoRA, QLoRA 등의 PEFT(Parameter Efficient Fine-Tuning)를 배워봅니다. Chat GPT로 Instruction Dataset을 직접 생성해보고 파인튜닝하는 실습까지 함께 진행해봅니다.

02. NLP 연구 및 현업의 노하우가 담긴
감정인식, 하위의도 생성 실습 프로젝트 진행

NLP와 관련한 연구, 프로젝트를 진행하는 분들이 공통으로 고민하는 포인트는 ‘특정 태스크를 어떻게 해결할 것인가’, ‘어디서부터 어떻게 태스크와 관련된 논문을 찾고 적용할 것인가’ 일 것입니다. 이러한 고민을 해결해 드리기 위해 해당 강의에서는 원하는 NLP Task의 논문을 검색하고 읽는 방법을 배우고, 감정인식 및 의도 생성을 해결하기 위한 시나리오를 계획하고, 보편적으로 사용되는 MELD 데이터셋과 마이크로소프트 검색엔진 오픈 데이터셋을 활용해 모델을 구현해보고 평가해보는 실습을 진행합니다. 더 나아가 강사님과 더 나은 모델 구현 및 평가 방법을 함께 고민해 보는 시간을 가져봅니다.

03. Open LLM을 활용해
스스로 NLP Task를 해결할 수 있는 스킬 향상

LLM은 대규모 데이터에서 뛰어난 성능을 보이지만, 계산 리소스 및 프라이버시와 같은 문제들이 발생할 수 있습니다. 이러한 LLM의 장단점을 파악해보고 최근 많은 기업들이 사용하고 있는 sLLM(Small Language Model)에 대해서도 알아봅니다. 또한 Open LLM으로 하위의도 생성 실습을 진행함으로써 NLP 애플리케이션과 LLM이 어떻게 결합할 수 있는지를 전반적으로 알아가실 수 있습니다.


본 강의에서
무엇을 얻어갈 수 있나요?

Instruction Fine-tuning부터 LLM을 활용한 NLP Task 실습 프로젝트까지

  • LLM을 다루는 코드레벨 역량

    NLP Skill Set 확장

    대규모 파라미터를 가진 모델인 LLM은 파라미터가 모델의 성능에 큰 영향을 미칩니다. 따라서 LLM을 다루기 위해서는 모델의 성질과 학습 방법에 대한 이해가 필수적입니다. 프롬프트 러닝의 개념과 더불어 실제 프롬프트로 Few shot generation을 해보는 실습, 분산학습 및 PEFT와 관련된 다양한 논문들을 살펴보고 실습해 봄으로써 NLP 스킬셋을 확장할 수 있습니다.

    NLP 강의

  • Instruction tuning 활용 방법

    Instruction Dataset 생성부터 튜닝까지

    Instruction tuning을 통해 LLM 모델을 더 유연하고 다양한 태스크에 활용할 수 있습니다. 태스크 데이터셋으로 Instruction data를 직접 제작해 보고, Chat GPT로 Instruction 데이터를 생성해 봄으로써 현업에서 실제 프로젝트나 연구에 적용할 수 있는 활용 방법을 배워가실 수 있습니다.

    NLP 강의

  • 원하는 NLP Task 해결 역량

    감정인식, 의도생성의 Task 해결

    감정인식, 하위의도 생성과 관련한 다양한 논문들과 함께 해당 Task를 해결하기 위한 시나리오를 계획하고 모델을 학습해 보는 실습을 진행합니다. 이처럼 강사님과 특정 Task를 함께 해결해 봄으로써 응답 생성, 동의어 검출 등 또 다른 NLP Task를 해결할 수 있는 역량을 기르실 수 있습니다.

    NLP 강의

실무에서 LLM 모델을 제대로 활용하기 위한 방법!
두 명의 NLP 엔지니어가 연구 경험과 현업의 이야기로 알려드립니다.


본 강의가 특별한 이유는
무엇인가요?

1

실습으로 끝이 아닌,
현장에서 함께 고민해 보는 시간

배운 이론을 토대로 구현해 보는 실습 과정도 중요하지만, 이보다 더 중요한 것은 실습 이후 더 나은 방법을 고민해 보는 시간을 가지는 것입니다. 실습으로만 끝나는 과정이 아닌 현장에서 강사님과 함께 실습 후에 모델 학습과 관련하여 더 나은 방법을 찾고 함께 고민해 보는 시간을 가집니다. 이를 통해 각 실무에서 접하는 태스크들을 해결하는 역량을 기르실 수 있습니다.

2

Llama2, QLoRA 등
LLM과 관련한 최신 기술들과 전망

이전부터 지금까지 흘러온 LM에 대한 기술과 2023년 가장 최근에 공개된 Llama2, QLoRA 등의 최신 기술들을 다양한 논문과 실습으로 배우실 수 있습니다. 더불어 현업자의 관점에서 바라보는 LLM 기술에 대한 전망과 활용법을 습득하실 수 있습니다.

3

LLM을 특정 Task에
직접 결합해 활용해보는 실습

sLLM의 문제점, 활용 방법과 더불어 LLM으로 데이터를 생성하고 생성 태스크를 평가하는 이론을 배워봅니다. 이에 그치는 것이 아닌 오픈된 LLM을 사용하여 실제 Task에 결합해 LLM을 활용해 보는 과정을 진행합니다.

수강 대상

이런 분들은 꼭 들으셔야 해요!


기초적인 NLP 지식이 있고
실무의 태스크들을 경험해 스킬을 향상하고 싶은 분


효율적으로 생성 모델을 학습하는 방법을 배워
현업에 적용하고 싶은 분


최신 LLM 기법으로
다양한 NLP Task를 해결해보고 싶은 분

강사소개

우리 강사님을 소개할게요!

NLP 강의
James
이력사항
  • (현) IT 대기업 NLP 팀 재직
  • NLP 관련 논문 및 프로젝트 다수
  • NLP 관련 강의 경험
NLP 강의
Jeus
이력사항
  • (현) IT 대기업 NLP 팀 재직
  • NLP 관련 논문 다수 출판
  • NLP 관련 강의 경험

1. 간단하게 자기소개 부탁드립니다.

James
안녕하세요. 저는 현재 IT 대기업에서 NLP 팀에서 자연어 관련 프로젝트를 맡고 있습니다.
이전부터 자연어처리 관련 프로젝트와 논문작업을 다수 경험했고, 온라인 강의 등 여러 강의경력을 통해 탄탄한 커리큘럼으로 많이 얻어가실 수 있는 강의를 진행하려 합니다.

Jeus
안녕하세요. 현재 IT기업에서 자연어처리 관련 업무를 하고 있습니다.
다양한 자연어처리 태스크를 경험했으며, 업무와 관련된 여러 해외 논문들을 출판한 경험이 있습니다. 또한 이전에 자연어처리 강의 및 다양한 발표 등을 하였던 경험을 이번 강의에 녹여보도록 하겠습니다.

2. 강의에서는 주로 어떤 내용을 다룰 예정이시고, 어떤 형태로 진행되나요?

James
첫째로, 언어모델을 잘 이해하기 위해 예전부터 발전해온 언어모델들 아키텍처를 살펴보고, 어떻게 모델을 학습했는지 논문과 자료들로 강의를 진행하며, 활용법 또한 실습 예정입니다. 또한 이후에, 분산학습법과 Parameter Efficient Finetuning 기법을 통해 좀 더 효율적인 적은 리소스로 모델은 학습하는 법을 배워보고, 마지막으로 이러한 모델들을 Instruction tuning 의 개념을 배우고 실습을 통해 챗지피티와 같은 대화모델을 만들어 봅니다.

Jeus
자연어처리에는 아주 많은 태스크들이 있습니다. 강의의 컨셉은 특정 태스크를 선별하여, 해결해가는 과정을 담고자 합니다. 특정 태스크를 선정한 후, 어디서 부터 시작하는지, 어떤 논문을 찾고 보는게 좋은지를 배웁니다. 이를 참고하여 자신만의 NLP 모델링을 하여 학습하고 테스트해봅니다. 마지막으로 현재 트렌드인 LLM과 어떻게 접목할 수 있을지 다뤄봅니다.

3. 본 강의에서 배운 내용을 수강생 분들이 어떻게 활용할 수 있을까요?

James
실제 이론과 실습으로 LLM에 대해 더 친숙해지고 다룰 수 있게 되어 추후 이를 활용한 프로젝트나 프로덕트를 만들어 볼 수 있을 것 입니다.

Jeus
수강생마다 도메인, 업무 등이 제각각이라고 생각합니다. 이번 강의를 통해, 본인의 업무에서 자연어처리를 활용할 수 있을 것으로 기대해 봅니다.

4. 주로 어떤 분야에 있는 분들이 수강 대상에 적합할까요?

James
기초적인 NLP 지식과 huggingface 를 좀 다룰 수 있는분이면 좋지만, 모르셔도 차근차근 진행할 수 있으므로 괜찮습니다.

Jeus
직접 자연어처리 모델링을 할 필요성이 있는 수강생들이 도움이 될 것 같습니다.

5. 다른 강의와 어떤 차별 점이 있나요?

James
가장 핫한 트렌드인 생성모델에 대해 자세히 이론부터 실습까지 모두 끝낼수 있는 강의가 많지 않으며, 실제 생성모델 자체 전문지식을 얻는 것 조차 쉽지 않습니다.

Jeus
기존의 강의들은 수업에서 배우는 태스크에 국한되서 배우게 됩니다. 하지만 우리 강의는 수업의 예시 태스크뿐만 아니라, 새로운 태스크를 접할 때 어떤 방식으로 해결해야하는지 등을 같이 고민하고 배울 수 있습니다. 따라서 본 강의가 끝나더라도 각 실무에서 접하는 태스크들을 해결하는데 도움이 될 것이라 생각합니다.

6. 마지막으로 수강생들에게 하고 싶으신 말이 있다면?

James
최근 화두인 ChatGPT와 같은 LLM에 대해 처음부터 끝까지 알고 싶으신 분들은 수강하셔도 좋을 것 같습니다.

Jeus
자연어처리, AI는 현재 끊임없이 새로운 게 나오는 상황입니다. 한 번 배웠다고 끝은 아니고 계속해서 공부하고 팔로우업을 해야하는 시장입니다. 이번 강의를 듣고 혼자서 공부하고 모델링하는 방법을 익혀갔으면 좋겠습니다.

커리큘럼 (5)

  • SECTION 1. Foundation Model and Instruction Fine-tuning

    강의 목표

    • LLM의 성질과 학습기법을 알아보고, 실습을 진행합니다.

    이론 및 실습

    • Open Foundation Model

      Llama 알아보기

      Llama2 알아보기

    • Instruction Finetuning이란?

      Prompt Learning 개념

      FLAN 논문 소개 (Finetuned language models are zero-shot learners)

    • Instruction Dataset 직접 만들어 보기

      Natural Instruction 논문 소개

      태스크 데이터셋으로 Instruction 데이터 직접 제작해 보기

      Unnatural Instruction 논문 소개

      Chat GPT로 Instruction 데이터 생성해 보기

  • SECTION 2. 빅모델 학습 & Parameter Efficient Fine-tuning

    강의 목표

    • 분산학습과 PEFT 등 LLM을 실질적으로 다루기 위한 이론 및 실습을 진행합니다. 이를 통해 실질적으로 ChatGPT와 같은 대화 모델을 만들어낼 수 있습니다.

    이론 및 실습

    • 분산학습 알아보기

      분산학습의 개념 - Data parallel, Tensor parallel, Pipeline parallel

      DeepSpeed ZeRO 논문 및 알고리즘 소개, huggingface trainer로 실습하기

      Mixed Precision (Quantization) 개념 소개 및 huggingface trainer로 실습하기

    • Parameter Efficient Finetuning

      LoRA 논문 소개 및 실제 huggingface로 실습해 보기

      QLoRA 논문 소개 및 Accelerate로 QLoRA 실습해 보기

    • LLAMA2, Lora, Instruction Dataset 활용하여 Instruction tuning 실습 (대화 모델 만들기)

  • SECTION 3. NLP 애플리케이션 해결하기 - 감정인식

    강의 목표

    • 특정 NLP Task를 어떻게 해결할지 시나리오를 계획합니다. 이번 회차에서는 감정인식으로 예를 들어봅니다.

    이론

    • 유사도, 추론, 독해, 분류 등 원하는 Task별 논문 소개
    • Sentiment Analysis vs Emotion Analysis (기쁨, 놀람, 분노, 증오, 두려움, 슬픔의 감정 분석)
    • 감정인식 생성 논문

      COSMIC: COmmonSense knowledge for eMotion identification in conversations, Findings of EMNLP 2020

      EmoOne: The emotion is not one-hot encoding: Learning with grayscale label for emotion recognition in conversation. arXiv preprint arXiv:2206.07359, 2022

      The Emotion is Not One-hot Encoding: Learning with Grayscale Label for Emotion Recognition in Conversation, INTERSPEECH 2022

    실습

    • Pytorch로 Emotion Analysis 모델 학습
    • MELD (Multimodal EmotioLines DataSET) 기반 상위 Best Model을 활용한 모델 구현 및 평가

  • SECTION 4. NLP 애플리케이션 해결하기 - 의도생성

    강의 목표

    • 특정 NLP Task를 어떻게 해결할지 시나리오를 계획합니다. 이번 회차에서는 의도생성으로 예를 들어봅니다.

    이론

    • 검색과 NLP의 관계
    • 검색 키워드 유관 하위의도 Task 선정 및 논문 소개
    • 하위의도 생성 논문

      MIMICS: A Large-Scale Data Collection for Search Clarification, CIKM 2020

      Revisiting Open Domain Query Facet Extraction and Generation, ICTIR 2022

      Query Sub-intent Mining by Incorporating Search Results with Query Logs for Informaion Retrieval, ICBDA 2023

    실습

    • PyTorch를 활용한 하위의도 생성 모델 학습
    • 마이크로소프트 빙 검색엔진 기반 오픈 데이터셋을 활용한 하위의도 생성 모델 구현 및 평가

  • SECTION 5. NLP 애플리케이션과 LLM과의 결합

    강의 목표

    • NLP Task를 해결하는 데 LLM이 할 수 있는 역할에 대해 알아봅니다.

    이론

    • LLM(Large Language Model)

      LLM의 장단점

      LLM 기반 애플리케이션에서 생길 수 있는 문제점

      sLLM의 문제점 소개

    • LLM으로 데이터 생성하는 법
    • LLM을 작은 모델에 활용할 수 있는 방법
    • LLM으로 생성 Task들 평가하는 법

    실습

    • 하위의도(기쁨, 분노, 슬픔, 증오 등) 생성

      LLM을 활용한 하위의도 생성 시도

      LLM을 활용하여 하위의도 모델링에 도움을 주도록 활용하는 방법

커리어 성장으로 가는 길, 러닝스푼즈와 함께 하세요!

지금 보고 계시는 강의의 관련 태그로 다른 강의도 찾아보세요.

오프라인

AGI를 위한 NLP Task 프로젝트 : 생성형 AI 기반 감정 인식부터 하위 의도까지

로그인 안내

로그인 후 이용가능합니다.
로그인 페이지로 이동합니다.

닫기
커리어 성장이 필요한 순간,

러닝스푼즈와 함께 성장하세요 :)

로그인/회원가입
강의 카테고리
전체
클라우드 바우처
나노디그리 자세히
기업교육
마켓플레이스
라운지
러닝스푼즈

강의찾기

닫기
추천 키워드

로그아웃

로그아웃 하시겠습니까?

로그아웃