*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
<Monte-Carlo Method - 01>
ε-soft 정책의 필요성
강화학습에서 에이전트는 환경과 상호작용하면서 보상을 최대화하는 정책을 학습한다. 하지만 순수하게 탐욕적인(greedy) 정책만 따르면 탐색-활용 딜레마(exploration-exploitation dilemma)에 직면한다:
- 활용(Exploitation): 현재까지 알고 있는 최적의 행동만 선택
- 탐색(Exploration): 새로운 행동을 시도하여 더 나은 전략 발견
ε-soft 정책은 이 딜레마를 해결하기 위한 방법으로, 각 상태에서:
- 최적 행동을 높은 확률(1-ε+ε/|A|)로 선택
- 다른 모든 행동도 최소한의 확률(ε/|A|)로 선택
1. ε-soft Policy Improvement
ε-soft 정책은 모든 행동에 최소한의 확률(ε/|A|)을 부여하면서, 최적의 행동에는 추가 확률(1 - ε + ε/|A|)을 주는 정책이다.
이를 통해 탐험을 보장하면서도 최적 행동을 선호한다.
(1) 정책 정의
- 𝜖/∣𝐴∣: 모든 행동에 할당되는 최소 확률 (탐험).
- 1−𝜖+𝜖/∣𝐴∣: 최적 행동에 추가되는 확률 (활용).
(2) 1-step Policy Evaluation
현재 가치 함수 𝑉𝑘와 정책 𝜋𝑘+1을 사용해 다음 가치 함수 𝑉𝑘+1을 계산:
- 𝑇𝜋𝑘+1: 정책 𝜋𝑘+1에 대한 벨만 연산자(Bellman operator).
- 𝑝(𝑠′∣𝑠,𝑎): 상태 전이 확률.
- 𝑟+𝛾𝑉𝑘(𝑠′): 보상과 할인된 다음 상태 가치의 합.
2. ε-soft Value Iteration
기존값 반복(value iteration)은 최적 가치 함수를 찾기 위해 최대값(max)을 취하지만, ε-soft 버전은 ε-greedy 정책을 반영하여 최대값과 평균값을 혼합한다.
(1) ε-soft Bellman Optimality Operator
- 첫 번째 항 ((1−𝜖)max𝑎): 최적 행동을 선택하는 부분 (활용).
- 두 번째 항 (𝜖∣𝐴∣∑𝑎): 모든 행동을 고려하는 부분 (탐험).
이를 벨만 연산자로 표현하면:
(2) ε-soft Bellman Optimality Operator
기존 값 반복은 최적 정책만을 고려한다:
- 𝑇∗: 최적 벨만 연산자.
- ε-soft 버전은 𝑇𝜖∗로, 탐험을 포함한 일반화된 형태.
(3) ε-soft Bellman Optimality Operator
는 축약 매핑(contraction mapping)이므로, 유일한 고정점(fixed point) 𝑉𝜖∗이 존재한다.
(1) 고정점 방정식
- 𝑉𝜖∗: ε-soft 최적 가치 함수.
(2) ε-soft 최적 행동 가치 함수 (Q-function)
(3) ε-soft 최적 정책
- 최적 정책도 ε-greedy 형태 유지.
4. 주요 개념 정리
- ε-soft 정책: 모든 행동에 확률을 부여하되, 최적 행동에 더 높은 확률을 할당한다.
- 값 반복 vs. ε-soft 값 반복:
- 기존 값 반복은 max만 사용하지만, ε-soft 버전은 탐험을 위해 평균항을 추가한다.
- 수렴성: 𝑇𝜖∗는 축약 매핑이므로 반복 적용 시 𝑉𝜖∗으로 수렴한다.
- 탐험과 활용의 균형: ε을 조절하여 탐험(ε → 1)과 활용(ε → 0) 사이를 조절할 수 있다.
이 수식이 해결하려는 문제
- 지역 최적해 문제: 순수 탐욕적 방법은 지역 최적해(local optima)에 갇힐 수 있음
- 학습 효율성: 탐색과 활용 사이의 균형을 조절하여 학습 효율성 향상
- 수렴 보장: 가치 함수의 반복적 개선을 통한 최적 정책으로의 수렴 보장
수식의 주요 내용 설명
- 정책 표현: π(a|s)는 상태 s에서 행동 a를 선택할 확률
- 가치 함수 갱신: Vk+1(s)는 k+1번째 반복에서의 상태 s의 가치
- 정책 평가: T^πk+1(Vk)는 정책 πk+1 하에서 가치 함수 Vk의 1단계 평가
- 가치 반복: 가치 함수를 반복적으로 개선하여 최적 가치 함수 V*ε에 수렴
- 고정점(Fixed Point): 최종적으로 도달하는 최적 가치 함수와 정책
이러한 접근 방식은 환경을 충분히 탐색하면서도 학습한 정보를 효과적으로 활용할 수 있게 해주며, 이론적으로 최적 정책으로의 수렴을 보장한다. 특히 미지의 복잡한 환경에서 강화학습 에이전트가 효과적으로 학습할 수 있도록 해주는 핵심 알고리즘이라고 할 수 있다.
|인증|
-------
패스트캠퍼스 링크