게임, 로보틱스 환경으로 배우는
심층 강화학습 입문

강화학습의 개념에 대해서 알아봅니다. 그리고 강화학습이 어떻게 발전되어 왔고, 최신 강화학습의 사례들은 어디까지 확장해 있는지 알아봅니다. 강화학습이 많은 발전을 이루었지만, 어떠한 한계점들이 있는지 알아봅니다. 그리고 강화학습에서 가장 기본적인 개념인 마르코프 결정과정(Markov Decision Process)을 소개합니다. 실습에서는 앞으로 실습에서 이용할 프레임워크와 라이브러리들을 설치하는 시간이 있겠습니다.

이론
– 강화학습이란?
– 마르코프 결정 과정(Markov Decision Process) 알아보기

실습
– 필요한 프레임워크 및 라이브러리 설치해보기

MDP를 이용하여 정책과 가치를 업데이트할 수 있는 다이나믹 프로그래밍 (Dyanmic 에 대해서 알아봅니다. 이어서 환경의 model(a.k.a dynamics)를 알 때 쓸 수 있는 알고리즘들인 정책 이터레이션과 가치 이터레이션에 대해서 알아봅니다. 환경의model을 알 때 다이나믹 프로그래밍으로 업데이트할 수 있었다면, 반대로 환경의 model을 모를 때 업데이트할 수 있는 몬테카를로 방법과 시간차 방법에 대해 알아봅니다. 실습에서는 앞서 배운 정책 이터레이션과 가치 이터레이션을 실제 그리드월드 환경에서 구현해봅니다.

이론
– 다이나믹 프로그래밍(Dynamic Programming)에 대해 알아보기
– 몬테카를로(Monte-Carlo) 방법에 대해 알아보기
– 시간차(Temporal Difference) 방법에 대해 알아보기

실습
– 그리드월드 환경에서 정책 이터레이션(Policy Iteration) 구현해보기
– 그리드월드 환경에서 가치 이터레이션(Value Iteration) 구현해보기

이전 시간에 몬테카를로 방법과 시간차 방법을 이용하여 업데이트를 하였다면, 이제는 업데이트한 값을 이용해 에이전트를 제어할 수 있는 알고리즘인 SARSA와 Q-Learning 알고리즘에 대해 학습합니다. 실습에서는 그리드월드 환경에서 SARSA와 Q-Learning 알고리즘을 구현해봅니다. 이어서, 다음시간부터는 심층 강화학습을 다룰 것이기 때문에 딥러닝 프레임워크인 PyTorch를 이용한 기본적인 tensor 조작법에 대해 알아봅니다.

이론
– SARSA 알고리즘에 대해 알아보기
– Q-Learning알고리즘에 대해 알아보기

실습
– 그리드월드 환경에서 SARSA 알고리즘 구현해보기
– 그리드월드 환경에서 Q-Learning 알고리즘 구현해보기
– PyTorch를 이용하여 기본적인 tensor 조작법 익히기

심층 강화학습에서 가장 처음에 나온 알고리즘인 DQN과 Double DQN에 대해서 학습합니다. 이어서 DQN 알고리즘의 문제점인 overestimation을 해결하는 Double DQN에 대해서도 이해해봅니다. 실습에서는 Cartpole 환경에서 DQN과 Double DQN에 대해 구현해봅니다.

이론
– DQN 알고리즘 알아보기
– Double DQN 알고리즘 알아보기

실습
– Cartpole 환경에서 DQN, Double DQN 구현해보기

Value가 아닌 Policy를 기반으로 하는 Policy Gradient에 대해서 알아봅니다. 이어서 Policy Gradient 방법을 Actor와 Critic을 나누어 학습하는 Actor-Critic 방법에 대해 알아봅니다. 실습에서는 Cartpole 환경에서 Advantage Actor-Critic(A2C) 알고리즘을 구현해봅니다.

이론
– Policy Gradient 방법 알아보기
– Actor-Critic 방법 알아보기

실습
– Cartpole 환경에서 Advantage Actor-Critic 알고리즘 구현해보기

Actor-Critic 방법에서 deterministic policy를 사용하는 Deep Deterministic Policy Gradient(DDPG) 알고리즘에 대해 학습합니다. 실습에서는 Lunarlander 환경 뿐만 아니라 Cheetah 환경까지 확장하여 DDPG 알고리즘을 구현해봅니다.

이론
– Deep Deterministic Policy Gradient 알고리즘 알아보기

실습
– Lunarlander 환경에서 DDPG 구현해보기
– Cheetah 환경에서 DDPG 구현해보기

강화학습에서 가장 중요한 탐험(Exploration) 문제는 현재까지도 완전히 해결할 수 없는 고질적인 문제입니다. 이러한 탐험 문제를 통계학에서 자주 쓰이는 entropy라는 개념을 이용하여 풀어내는 maximum entropy RL에 대해서 배워봅니다. 또한 현재 model-free RL에서 SOTA(state-of-the-art)이자, Actor-Critic 방법에서 stochastic policy를 사용하는 Soft Actor-Critic 알고리즘에 대해 학습합니다. 실습에서는 Cheetah, Ant 환경에서 Soft Actor-Critic 알고리즘을 구현해봅니다.

이론
– Maximum entropy RL 알아보기
– Soft Actor-Critic 알고리즘 알아보기

실습
– Cheetah, Ant 환경에서 Soft Actor-Critic 알고리즘 구현해보기