*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
<Value Function 밸만 방정식 연습>
- : 초기 상태 s0s_0 에서의 가치 함수(value function).
- ∑s′\sum_{s'} : 모든 가능한 다음 상태 s′s' 에 대한 합산을 의미.
- P(s′∣s0)P(s'|s_0) : 초기 상태 s0s_0 에서 다음 상태 s′s' 로 전이될 확률.
- R(s0,s′)R(s_0, s') : 상태 s0s_0 에서 s′s' 로 전이될 때 얻는 보상(reward).
- γ\gamma : 감가율(discount factor)로, 미래 보상의 현재 가치를 조정.
- V(s′)V(s') : 다음 상태 s′s' 에서의 가치 함수.
- : 상태 s0s_0 에서 다시 s0s_0 로 머무를 확률.
- R(s0,s0)R(s_0, s_0) : 상태 s0s_0 에서 머물 때 얻는 보상.
- P(s2∣s0)P(s_2|s_0) : 상태 s0s_0 에서 s2s_2 로 전이될 확률.
- R(s0,s2)R(s_0, s_2) : 상태 s0s_0 에서 s2s_2 로 전이될 때 얻는 보상.
[후기-확장]
강화학습의 가치함수를 공부에서 게임으로의 전환 시나리오에 적용해 보자.
상태(state)와 보상(reward)을 다음과 같이 정의할 수 있다:
상태(s):
- s₁: 공부 중
- s₂: 스트레스 받는 상태
- s₃: 스마트폰 게임 중
각 상태 전이에 대한 보상(R):
- R(s₁, s₁) = 5 (공부 지속 시 높은 보상)
- R(s₁, s₂) = -2 (공부에서 스트레스로 전환 시 부정적 보상)
- R(s₂, s₃) = 3 (스트레스에서 게임으로 전환 시 일시적 긍정 보상)
- R(s₃, s₁) = 1 (게임에서 공부로 돌아갈 때 약간의 긍정 보상)
- R(s₂, s₁) = 2 (스트레스에서 직접 공부로 돌아갈 때 보상)
- R(s₃, s₃) = -1 (게임 지속 시 약간의 부정적 보상)
전이 확률(P):
- P(s₂|s₁) = 0.3 (공부 중 스트레스 받을 확률)
- P(s₁|s₁) = 0.7 (공부 지속 확률)
- P(s₃|s₂) = 0.8 (스트레스 시 게임할 확률)
- P(s₁|s₂) = 0.2 (스트레스 상태에서 바로 공부로 돌아갈 확률)
- P(s₁|s₃) = 0.4 (게임 후 공부로 돌아갈 확률)
- P(s₃|s₃) = 0.6 (게임 지속 확률)
감가율(γ) = 0.8 (미래 보상의 가치 반영)
이제 각 상태의 가치함수를 벨만 방정식으로 표현하면:
V(s₁) = P(s₁|s₁)[R(s₁, s₁) + γV(s₁)] + P(s₂|s₁)[R(s₁, s₂) + γV(s₂)] = 0.7[5 + 0.8V(s₁)] + 0.3[-2 + 0.8V(s₂)]
V(s₂) = P(s₁|s₂)[R(s₂, s₁) + γV(s₁)] + P(s₃|s₂)[R(s₂, s₃) + γV(s₃)] = 0.2[2 + 0.8V(s₁)] + 0.8[3 + 0.8V(s₃)]
V(s₃) = P(s₁|s₃)[R(s₃, s₁) + γV(s₁)] + P(s₃|s₃)[R(s₃, s₃) + γV(s₃)] = 0.4[1 + 0.8V(s₁)] + 0.6[-1 + 0.8V(s₃)]
위의 방정식을 실제 사례들로 풀어본다면
: 철수는 현재 중요한 시험을 앞두고 있다. 그가 공부하는 상황(s₁)에서는 두 가지 가능성이 있다:
- 계속 공부를 이어가는 경우 (확률 70%): 철수가 집중해서 공부를 계속하면 당장 5점에 해당하는 지식 습득이라는 보상. 또한 공부 상태를 유지함으로써 미래에 얻게 될 공부 상태의 가치(V(s₁))의 80%를 더 고려. 이것은 지금 공부하면 당장의 이해도 향상뿐만 아니라, 나중에 이 지식을 기반으로 더 높은 수준의 학습이 가능해지는 것을 의미.
- 공부하다 스트레스를 받는 경우 (확률 30%): 공부 중 어려운 문제에 부딪혀 스트레스 상태로 전환되면 -2점의 부정적 보상이 발생. 이는 스트레스로 인한 집중력 저하, 시간 낭비 등을 의미. 그러나 이 스트레스 상태에서도 미래에 얻게 될 스트레스 상태의 가치(V(s₂))의 80%를 고려. 스트레스 상태라도 적절히 관리하면 다시 긍정적인 상태로 돌아갈 수 있음.
"
결국 위의 이 연립방정식을 풀면 각 상태의 장기적 가치를 구할 수 있다. 이 가치함수는 공부, 스트레스, 게임 사이의 전환이 장기적으로 어떤 가치를 가지는지 보여주며, 최적의 행동 전략을 수립하는 데 도움이 된다.
"
최적의 전략은 아래와 같다.
- V(s₁) ≈ 13.3 (공부 상태의 가치)
- V(s₂) ≈ 8.2 (스트레스 상태의 가치)
- V(s₃) ≈ 6.1 (게임 상태의 가치)
- 모든 상태에서 최종적으로 공부 상태(s₁)로 돌아오는 것이 최적(가치 13.3으로 가장 높음)
- 구체적인 최적 전략:
- 공부 중(s₁)이라면: 계속 공부를 유지하는 것이 최선
- 스트레스 상태(s₂)라면: 바로 공부(s₁)로 돌아가는 것이 게임(s₃)으로 가는 것보다 장기적으로 더 가치 있음
- 게임 중(s₃)이라면: 가능한 빨리 공부(s₁)로 돌아가는 것이 최선
-------
[인증]
-------
패스트캠퍼스 링크