*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
< 벨만 최적 방정식 (Bellman Optimality Equation) for Value Function>
강화학습에서의 정책이란 상태에서 어떤 행동을 선택할지 결정하는 전략을 말한다. 이는 현 상태에서 가장 최적의 보상을 얻을 수 있는 행동이 무엇인가를 찾는 것이다. 곧 강화학습에서는 최상의 정책을 찾는 것이 목표가 된다. 그렇다면 더 나은 정책을 찾기위해서는 어떻게 해야할까?
- 최적의 정책을 찾기위한 Bellman Equation
Better Policy:
Optimal Policy:
Optimal Value Function:
Optimal Action-Value Function:
- Better Policy:
두 정책 과 중에서 이 더 나은 정책이라는 것은, 모든 상태 s에 대해 이 보다 더 높은 가치 함수 값을 가져야 함을 의미한다.
즉, 어떤 정책이 더 우수한지 판단할 때 Value Function을 기준으로 비교한다. - Optimal Policy :
최적 정책 는 모든 다른 정책보다 더 높은 Value Function을 가진다. 즉, 를 따를 때 모든 상태에서 최고의 보상을 기대할 수 있다. - Optimal Value Function :
상태 에서 얻을 수 있는 최대 기대 보상이다. 이는 가능한 모든 정책 중에서 가장 높은 값을 선택함으로써 정의된다. - Optimal Action-Value Function :
상태 에서 행동 를 선택했을 때 얻을 수 있는 최대 기대 보상이다. 마찬가지로, 가능한 모든 정책 중에서 가장 높은 값을 선택한다.
- 가치 함수(Value Function)에 관한 벨만 최적 방정식 (Bellman Optimality Equation) for Value Function:
Value Function 에 대한 벨만 최적 방정식으로, 상태 에서 가능한 모든 행동 에 대해 최대의 기대 보상을 선택하는 과정이다:
수식 설명
- : 상태 에서의 최적 가치 함수. 해당 상태에서 최대 기대 보상을 의미합니다.
- : 상태 에서 행동 를 선택했을 때의 최적 행동 가치 함수.
- : 현재 상태 에서 행동 를 선택했을 때, 다음 상태 로 전이될 확률.
- : 상태 에서 행동 를 통해 상태 로 이동했을 때의 보상.
- : 할인율 (discount factor). 미래 보상의 현재 가치에 대한 가중치입니다. 0≤γ≤10.
- : 다음 상태 (next state).
- 행동-가치 함수(Action-Value Function)에 관한 벨만 최적 방정식 (Bellman Optimality Equation) for Value Function:
Action-Value Function 에 대한 벨만 최적 방정식으로, 특정 행동 aa를 선택한 후 다음 상태에서의 최적 행동 가치를 고려해 기대 보상을 계산한다.
수식 설명
- : 주어진 정책 에 따른 행동 가치 함수. 상태 에서 행동 를 선택했을 때 얻을 수 있는 기대 보상.
- : 최적 행동 가치 함수. 상태 에서 최적 행동 를 선택했을 때 얻을 수 있는 최대 기대 보상.
- : 상태 에서 행동 를 선택했을 때 상태 로 전이될 확률.
- : 상태 에서 행동 를 통해 상태 로 이동했을 때의 보상.
- : 할인율 (미래 보상에 대한 현재 가치의 가중치).
- : 주어진 상태 에서 행동 를 선택할 확률 (정책).
- : 다음 상태 에서 선택 가능한 행동 중 가장 큰 행동 가치.
요약하면
- Value Function ()는 상태의 가치만 고려하지만, Action-Value Function ()는 상태와 행동 쌍을 모두 고려한다.
- 두 식은 서로 연결되어 있으며, 는 의 최대값을 통해 구할 수 있다:
왜 이러한 수식을 사용하는걸까?
✅ 1. 정책의 비교와 선택
- 벨만 방정식은 현재 상태에서의 행동이 미래에 어떤 보상을 가져올지 계산.
- 두 정책 과 가 있을 때, 각각의 가치 함수 와 또는 행동 가치 함수 와 를 계산하여,
이 조건을 비교해 더 나은 정책을 선택.
✅ 2. 가치 기반 강화학습
- 가치 함수 와 행동 가치 함수 는 미래 보상의 기대값을 측정.
- 이를 통해 더 높은 보상을 받을 확률이 높은 정책을 선택하게 되는데, 이 과정이 바로 벨만 방정식을 통해 계산.
- 예:
→ 이 방정식은 "현재 상태에서 행동 를 했을 때의 기대 보상과 미래 보상"을 계산.
✅ 3. 정책 개선 과정 (Policy Iteration)
- 벨만 최적 방정식을 사용하여 현재 정책을 개선.
- 최적 정책은 아래와 같이 미래 보상까지 고려하여 최고의 행동을 선택하는 정책.
- 여기서 핵심은, 를 통해 가장 높은 보상을 주는 행동을 선택!
- 이를 반복적으로 적용하면서 정책을 지속적으로 개선.
|인증|
-------
패스트캠퍼스 링크