*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
<TD(Temporal Difference) 학습: 벨만 방정식과 기대값 최적화>
1. 벨만 방정식과 최적화 과정
1) 최적화 목표
- 설명:
TD 오차(δ)의 제곱(δ²)을 최소화하는 것이 목표이다. 여기서 δ = r + γV(s') - V(s)이다.
최적의 가치 함수 V(s)는 벨만 타겟인 E^π[r + γV(s')]와 일치해야 한다.
2) TD 오차 제곱의 기댓값
- 설명:
평균 제곱 TD 오차는 모든 행동(a)과 다음 상태(s')에 대해 계산되며, 정책 π(a|s)와 상태 전이 확률 p(s'|s,a)로 가중치가 부여되며 p^π(a,s'|s) = p(s'|s,a) π(a|s)는 정책 π 하에서의 결합 확률을 나타낸다.
3) 손실 함수와 미분
- 설명:
V(s)를 학습 가능한 매개변수 μ로 간주하고 손실 L을 최소화한다. 미분을 0으로 설정하면 최적의 μ에 대한 정규 방정식이 도출된다.
4) 최적 μ 해결
- 설명:
해 μ*는 벨만 타겟의 기댓값으로, 최적의 V(s)가 벨만 방정식을 만족함을 보여준다. 이는 TD 학습과 동적 계획법(DP)의 기초가 된다.
2. TD 학습의 주요 특성
1) 진정한 가치 함수에 대한 TD 오차의 평균
- 설명:
진정한 가치 함수 V^π에 대해 TD 오차 δ의 평균은 0이며 이는 벨만 방정식의 자기 일관성을 반영한다.
2) 분산 최소화 문제로서의 TD
- 설명:
진정한 가치 함수 V^π에 대해 TD 오차 δ의 평균은 0이다. 이는 벨만 방정식의 자기 일관성을 반영한다.
3. 가치 전파: MC vs. TD
1) 몬테카를로(MC) 업데이트
- 설명:
MC는 완전한 경로를 사용하여 s_t에서 시작하는 반환값의 평균을 계산하며 편향은 없지만 분산이 크다.
2) 시간차(TD) 업데이트
- 설명:
TD는 현재 추정값 V(S_{t+1})을 사용하여 부트스트랩한다. 정보를 효율적으로 전파하지만, 부트스트랩으로 인해 약간의 편향이 생긴다.
증명 과정 설명:
- 이 유도 과정은 벨만 방정식으로 시작하는데, 이 방정식은 기대되는 제곱 TD 오차를 최소화하는 것으로 최적 가치 함수를 정의한다.
- TD 오차(δ)는 r + γV(s') - V(s)로 정의되며, 이는 추정된 리턴과 현재 가치 추정치 간의a 차이이다.
- 기대되는 제곱 TD 오차는 결합 확률 p^π(a,s'|s) = p(s'|s,a)π(a|s)를 사용하여 확장된다.
- 이 기대 제곱 오차를 최소화하는 V(s) 값을 찾기 위해, 도함수를 0으로 설정한다(V(s)를 μ로 취급).
- 이 방정식을 풀면 μ* = E^π[r + γV(s')]이 도출되는데, 이는 정확히 벨만 기대 방정식이다.
- 이는 기대되는 제곱 TD 오차를 최소화하는 가치 함수가 벨만 방정식을 만족하는 함수와 동일하며, 이것이 정책 π에 대한 참 가치 함수임을 증명한다.
- 한국어 슬라이드는 추가적으로 TD 학습이 부트스트래핑(기존 가치 추정치 사용)을 사용하는 반면 MC는 완전한 리턴을 사용하며, TD 업데이트 규칙은 가치 정보를 궤적을 통해 역방향으로 전파한다고 설명한다.
위 증명에서 보여주는 내용은 다음과 같이 강화학습과 연결:
- TD 학습의 이론적 정당성: TD 학습 알고리즘(예: Q-learning, Sarsa)이 왜 효과적인지 수학적으로 증명. TD 오차의 제곱을 최소화하는 가치 함수가 실제 벨만 방정식을 만족하는 참 가치 함수와 동일하다는 것을 증명.
- 실제 알고리즘 설계: 이 증명은 실제 강화학습 알고리즘이 어떻게 설계되어야 하는지 지침을 제공. TD 업데이트 규칙(V(s_t) = E[r + γV(S_t+1)|S_t = s_t])은 이 이론적 근거 위에서 작동.
- MC와 TD의 차이점: 증명은 왜 TD 학습이 몬테카를로(MC) 방법과 다르게 작동하는지 설명. MC는 전체 에피소드의 리턴을 사용하지만, TD는 다음 상태의 가치 추정치를 사용하는 부트스트래핑.
- 벨만 최적성 원리의 실현: 벨만 방정식은 최적 제어 이론에서 온 개념으로, 이 증명은 강화학습이 어떻게 이 원리를 실현하는지 설명.
- 정책 평가와 개선: 이 수학적 프레임워크는 정책 평가(현재 정책의 가치 함수 계산)와 정책 개선(더 나은 정책 찾기) 사이의 관계를 확립하는데 도움.
샘플 예제: 벨만 방정식과 TD 학습을 그리드 환경 예제에 적용한 수식
- 벨만 방정식 (그리드 환경에서):
- TD 오차 (그리드 환경에서):
- 기대 TD 오차 제곱 (그리드 환경에서):
- 최적화 (V(그리드환경 현재상태) = μ로 설정):
- μ에 대한 해:
- 리드 환경의 TD 업데이트 규칙:
- 그리드 환경의 벨만 최적 방정식:
핵심 요약
- 벨만 최적성: 최적의 V(s)는 μ* = E^π[r + γV(s')]를 만족한다.
- TD 학습: δ² 최소화는 벨만 정책 평가와 동일하다.
- 편향-분산 트레이드오프:
- MC: 편향 없음, 높은 분산.
- TD: 낮은 분산, 부트스트랩으로 인한 편향.
- 가치 전파: TD는 역방향 업데이트로 학습 신호를 효율적으로 전파한다.
이 방정식들과 설명들은 강화 학습에서의 가치 함수 근사의 핵심을 이루며, DP, TD, MC 방법을 연결한다.
|인증|
---
패스트캠퍼스 링크