*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
<n-step TD Prediction>
TD learning은 현재 추정치와 다음 상태에서의 추정치 간의 "차이(difference)"를 통해 학습한다. 기존의 1-step TD 방법은 즉각적인 보상과 다음 상태만을 고려하기 때문에 장기적인 보상 구조를 파악하는 데 시간이 오래 걸린다. n-step 접근법은 더 먼 미래의 보상을 직접적으로 고려함으로써:
- 학습 속도를 향상시키고
- 보다 정확한 가치 함수 추정이 가능하다.
- 지연된 보상이 있는 환경에서 특히 효과적이다.
1-step transition에 대한 value function의 Bellman 방정식
이는 기대값 표기법으로 =Ea,s′π[r+γVπ(s′)]로 간단히 나타낼 수 있다.
다음으로, Bellman 방정식을 2-step transition으로 확장한 식이 제시된다:
이 수식들은 2-step transition으로도 동일한 value function이 성립함을 보여준다.
이 개념을 n-step으로 일반화한다:
이는 다시 다음과 같이 전개된다:
이 과정을 반복하면 결국 원래의 1-step Bellman 방정식으로 돌아오게 되며, 이는 n-step transition으로도 성립함을 보여준다.
TD(Temporal Difference) learning에서의 n-step 적용
TD(Temporal Difference) learning에서의 n-step 적용에 대해 설명:
- TD learning은 샘플로 평균을 계산하므로 업데이트 식이 복잡해지지 않음.
- 그러므로 수렴 속도가 빨라지는 n-step transition을 쓰면 좋다.
- n이 크면 나중에 받은 보상이 직접적으로 V(s_t)에 반영되므로 long-term 관계 학습에 좋다.
value function 학습에 대한 설명:
- 1-step TD를 이용한 value function 학습:
- n-step TD를 이용한 value function 학습:
n-step TD에서 n이 무한대로 가능 경우:
이는 Monte-Carlo Prediction과 동일해진다. 오른쪽 그림은 Richard Sutton의 "Reinforcement Learning: An Introduction"에서 가져온 것으로, TD(1-step)부터 n-step, Monte Carlo까지의 스펙트럼을 시각적으로 보여주고 있다.
n-step TD Learning 설명: 실제 예시를 통한 이해
1. 기본 TD Learning 수식
TD Learning의 기본 수식은 다음과 같다:
V(s_t) ← V(s_t) + α[r_t+1 + γV(s_t+1) - V(s_t)]
이 수식을 간단한 그리드월드 예시로 이해해보자.
2. 그리드월드 예시
아래와 같은 4x4 그리드월드가 있다고 가정해보자:
+---+---+---+---+
| | | | G |
+---+---+---+---+
| | X | | |
+---+---+---+---+
| | | | |
+---+---+---+---+
| S | | | |
+---+---+---+---+- S: 시작 지점 (보상: 0)
- G: 목표 지점 (보상: +10)
- X: 장애물 (보상: -5)
- 빈 칸: 일반 이동 (보상: -1, 매 스텝마다 소모되는 에너지를 의미)
- 감마(γ) = 0.9 (할인율)
- 알파(α) = 0.1 (학습률)
3. 1-step TD Learning 예시
에이전트가 시작지점(S)에서 오른쪽으로 한 칸 이동했다고 가정해보자:
- 현재 상태(s_t): (3, 0) [S 위치]
- 현재 상태의 가치 추정치 V(s_t): 0 (초기값)
- 다음 상태(s_t+1): (3, 1) [S의 오른쪽]
- 다음 상태의 가치 추정치 V(s_t+1): 0 (초기값)
- 받은 보상(r_t+1): -1 (일반 이동)
TD 업데이트 공식을 적용하면: V(3, 0) ← 0 + 0.1 × [-1 + 0.9 × 0 - 0] = -0.1
이제 S 위치의 가치는 -0.1로 업데이트된다.
4. n-step TD Learning 예시 (n=3)
이제 에이전트가 다음 경로를 따라 이동했다고 가정해봅시다: S → 오른쪽 → 위로 → 위로
3-step TD에서는 3개의 스텝에서 얻은 보상을 모두 고려한다:
- 현재 상태(s_t): (3, 0) [S 위치]
- 보상 시퀀스: r_t+1 = -1, r_t+2 = -1, r_t+3 = -1
- 3스텝 후 상태(s_t+3): (1, 1)
- V(s_t+3) = 0 (초기값)
3-step TD 업데이트 공식: V(s_t) ← V(s_t) + α[r_t+1 + γr_t+2 + γ²r_t+3 + γ³V(s_t+3) - V(s_t)]
적용하면:
V(3, 0) ← 0 + 0.1 × [-1 + 0.9×(-1) + 0.9²×(-1) + 0.9³×0 - 0] = 0 + 0.1 × [-1 - 0.9 - 0.81] = 0 + 0.1 × [-2.71] = -0.271
S 위치의 가치는 -0.271로 업데이트된다. 1-step TD(-0.1)보다 더 낮은 값을 가지는데, 이는 3-step이 더 먼 미래의 부정적 보상(-1)까지 고려했기 때문이다.
5. 영어 학습 컨텍스트 예시
TD Learning을 영어 단어 학습 앱에 적용한다면:
- 상태(s): 현재 학습 중인 단어 (예: "apple")
- 행동(a): 복습 방법 선택 (플래시카드, 퀴즈, 문장 만들기 등)
- 보상(r): 테스트 결과 (+1: 맞음, -1: 틀림)
- 가치함수 V(s): 해당 단어를 얼마나 잘 기억할지에 대한 예측
예를 들어, "apple" 단어에 대한 학습 시퀀스:
- 플래시카드 사용 → 퀴즈 틀림(-1) → 문장 만들기 → 퀴즈 맞춤(+1) → 일주일 후 테스트 맞춤(+1)
3-step TD 학습을 적용하면: V("apple") ← V("apple") + α[-1 + γ×0 + γ²×(+1) - V("apple")]
이렇게 각 단어마다 최적의 학습 경로를 찾아나갈 수 있다.
6. n이 무한대일 때 (Monte Carlo)
n이 무한대(에피소드 끝까지)라면, 에이전트가 S에서 시작해 G에 도달하는 최적 경로를 따랐을 때:
- 보상 시퀀스: -1, -1, -1, -1, -1, -1, +10 (7스텝)
- 총 할인된 보상(G_t): -1 + 0.9×(-1) + 0.9²×(-1) + ... + 0.9⁶×(+10) ≈ 2.15
Monte Carlo 업데이트: V(S) ← V(S) + α[G_t - V(S)] = 0 + 0.1×[2.15 - 0] = 0.215
이는 목표에 도달하는 경로의 장기적 가치를 직접적으로 반영한다.
이처럼 n-step TD는 즉각적인 1-step TD와 전체 경로를 고려하는 Monte Carlo 사이의 균형점을 제공하며, 문제의 특성에 따라 적절한 n 값을 선택할 수 있다.
- 1-step transition (파란색 섹션)
- 그리드월드에서 에이전트가 한 칸 이동하는 간단한 예시
- "현재 상태의 가치 = 즉각적인 보상 + 다음 상태의 가치(할인)"라는 직관적 설명
- 2-step transition (녹색 섹션)
- 에이전트가 두 칸 이동하며 받는 보상들을 고려
- "현재 상태의 가치 = 첫 번째 보상 + (두 번째 보상 + 할인된 미래 가치)"
- n-step transition (주황색 섹션)
- 에이전트가 n개의 칸을 이동하며 받는 모든 보상 고려
- 더 긴 시퀀스의 보상을 고려하는 방식 시각화
- TD 학습 실제 예시 (보라색 섹션)
- 1-step TD 예시: "실제 보상(+10) + 다음 상태 예측 가치(20) - 현재 예측 가치(25) = 오차(+5)"
- n-step TD 예시: "여러 스텝의 실제 보상(+10,+5,+7) + 미래 상태 예측 가치(15) - 현재 예측 가치(25) = 오차(+12)"
- TD에서 Monte Carlo까지의 스펙트럼 (우측 하단)
- 1-step(즉각적인 보상만 고려)부터 Monte Carlo(에피소드 끝까지 모든 보상 고려)까지
- "미래에 대한 고려 범위가 넓어짐"을 화살표로 표시
|인증|
-------
패스트캠퍼스 링크