*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
< 벨만 최적 방정식 (Bellman Optimality Equation) for Value Function 2>
1. 벨만 최적 방정식 (Value Function)
- : 상태 에서 얻을 수 있는 최대 기대 보상 (Optimal Value Function).
- : 가능한 모든 행동 중에서 최적의 행동을 선택.
- : 다음 상태 에 대한 기대값을 계산.
- : 현재 상태 에서 행동 를 했을 때 다음 상태 로 전이될 확률.
- : 상태 에서 행동 를 하고, 상태 로 전이되면서 얻는 보상.
- : 할인율 (0 ≤ γ < 1), 미래 보상의 중요도를 결정.
- : 다음 상태 에서 얻을 수 있는 최대 기대 보상.
핵심 의미: 현재 상태에서 얻을 수 있는 최대 보상은, 가능한 행동 중 가장 좋은 것을 선택하고, 해당 행동으로 얻는 보상과 미래 기대 보상의 합을 고려하여 결정.
2. 특정 상태에서의 벨만 방정식
- 식은 특정 상태 에서의 벨만 방정식.
- 에서 가능한 모든 행동을 고려하여, 최대 기대 보상을 계산하는 과정.
3. 행동 선택 시 기대값
- 상태 에서 행동 을 선택했을 때 기대값을 나타냅니다.
이를 전개하면:
- 에서 다시 로 갈 확률과 보상.
- 에서 로 갈 확률과 보상을 합함.
4. Q-러닝 벨만 방정식 (Q-Function)
- : 상태 에서 행동 를 선택했을 때 얻을 수 있는 최대 기대 보상.
- : 다음 상태 에서 가능한 모든 행동 중 가장 큰 Q값을 선택.
핵심 의미: 현재 상태에서 특정 행동을 선택했을 때의 보상과, 미래에 얻을 수 있는 최대 보상의 합을 고려하여 Q값을 계산.
5. 상태 , 행동 선택 시 Q-값
이를 전개하면:
각 전이 확률에 따라 보상과 미래 최대 Q값을 더해주는 방식.
- 정리
- : 상태만 고려하여 최대 기대 보상을 계산.
- : 상태와 행동을 고려하여 최대 기대 보상을 계산.
- 벨만 방정식은 가치 함수(혹은 Q-함수)를 업데이트하는 핵심 이론.
- Q-러닝은 값을 학습하여 최적의 정책을 찾아가는 방법.
|인증|
-------
패스트캠퍼스 링크