패스트캠퍼스 환급챌린지 11일차 : 스크래치부터 시작하는 강화학습의 모든 것 강의 후기

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

|내용 정리|

<밸만 방정식 행렬화 연습>

- 다음과 같은 예시의 학습 상황 MDP 매트릭스를 그려보자. 

학습 상황을 MDP(Markov Decision Process) 모델로 표현한 다이어그램

 

 

- 다음과 같은 예시의 학습 상황 MDP 매트릭스를 그려보자.

 

1. 전이 확률 행렬 (P)

 

2. 보상 행렬 (R)

 

- 여기서 기대보상과 가치함수를 구해보자.

1. 기대 보상 (Expected Reward) 계산

*특정 상태에서 하나의 액션을 수행했을 때 즉각적으로 얻는 보상의 기대값을 의미. -> 현재 상태에서 다음 상태로 넘어갈 때 받는 즉시 보상의 평균값을 계산

 

P(s′∣s) 는 현재 상태 s에서 다음 상태 s′ 로 전이될 확률이고, R(s,s′) 는 그 상태 전이 시 얻는 보상

 

- R(집중학습)

 

- R(스트레스)

 

- R(스마트폰 사용)

 

2. 가치 함수 V(s) 계산 예제 (γ=0.9)

 

* 가치 함수는 현재 상태에서 시작하여 미래에 얻게 될 총 보상의 기대값을 의미. -> 기대 보상을 누적하여 전체적인 장기 보상(expected return)을 평가

 

γ는 할인율(보통 0 ≤ γ ≤ 1)로, 먼 미래의 보상을 현재 가치로 환산하는 역할

 

- V(집중학습)

초기식

각 항에 0.9를 곱하기

0.9를 곱한 결과

좌변으로 v집중학습 이동

좌변 계산

최종 방정식

 

- V(스트레스)

초기식

각 항에 0.9를 곱하

우변의 항(스트레스 항)을 좌변으로 넘겨서 계

최종 방정식

 

 

- V(스마트폰 사용)

초기식

0.9를 곱하

좌변으로 v스마트폰 정

최종 방정식

 

**위의 식을 행렬로 추출해 본다면

위의 방정식로 연립방정식 추

행렬로 표시

계산결과

 

"장기적으로 기대되는 집중 학습 상태의 총 보상은 40.21, 스트레스 상태는 26.78, 스마트폰 사용 상태는 25.10이다. 이는 정책을 평가하고 개선하는 핵심 지표로 이를 통해 미래에 어떻게 행동해야 보상을 극대화할 수 있는가에 대한 전략을 수립할 수 있다"

---

 

- 이번에는  학습 상황 MDP 구조에서 행동이 추가된 강화/획득 행동 MDP 구조도 진행해보자.

 

- 여기서는 s₁(기초학습)에 대한 가치 함수 R(s₁)를 계산해보자 

즉각적인 보상(immediate reward) + 미래 보상(future rewards)

 

 

1. 기초학습(s₁)의 가치 함수:

R(s₁) = 0.3×(-2) + 0.7×(-4) + γ[0.3×R(s₁) + 0.7×R(s₂)] + 0×(+2) R(s₁) = -3.4 + 0.9[0.3×R(s₁) + 0.7×R(s₂)] R(s₁) = -3.4 + 0.27×R(s₁) + 0.63×R(s₂) 0.73×R(s₁) = -3.4 + 0.63×R(s₂) R(s₁) = -4.66 + 0.863×R(s₂)

2. 응용학습(s₂)의 가치 함수:

R(s₂) = 0.4×(-4) + 0.6×(-8) + γ[0.4×R(s₂) + 0.6×R(s₃)] + 0.3×(+4) R(s₂) = -1.6 - 4.8 + 1.2 + 0.9[0.4×R(s₂) + 0.6×R(s₃)] R(s₂) = -5.2 + 0.36×R(s₂) + 0.54×R(s₃) 0.64×R(s₂) = -5.2 + 0.54×R(s₃) R(s₂) = -8.125 + 0.844×R(s₃)

3. 심화학습(s₃)의 가치 함수:

R(s₃) = 0.6×(-8) + 0.4×(-16) + γ[0.6×R(s₃) + 0.4×R(s₄)] + 0.4×(+8) R(s₃) = -4.8 - 6.4 + 3.2 + 0.9[0.6×R(s₃) + 0.4×R(s₄)] R(s₃) = -8.0 + 0.54×R(s₃) + 0.36×R(s₄) 0.46×R(s₃) = -8.0 + 0.36×R(s₄) R(s₃) = -17.39 + 0.783×R(s₄)

4. 전문학습(s₄)의 가치 함수:

R(s₄) = 0.875×(-16) + 0.125×(-32) + γ[0.875×R(s₄) + 0.125×R(s₅)] + 0.9×(+16) R(s₄) = -14 - 4 + 14.4 + 0.9[0.875×R(s₄) + 0.125×R(s₅)] R(s₄) = -3.6 + 0.7875×R(s₄) + 0.1125×R(s₅) 0.2125×R(s₄) = -3.6 + 0.1125×R(s₅) R(s₄) = -16.94 + 0.529×R(s₅)

5. 마스터학습(s₅)의 가치 함수:

R(s₅) = 1.0×(-32) + γ[1.0×R(s₅)] + 1.0×(+32) R(s₅) = -32 + 32 + 0.9×R(s₅) R(s₅) = 0.9×R(s₅) 0.1×R(s₅) = 0 R(s₅) = 0

 

- 이제 역순으로 각 상태의 가치를 계산하자:

1. R(s₅) = 0
2. R(s₄) = -16.94 + 0.529×0 = -16.94
3. R(s₃) = -17.39 + 0.783×(-16.94) = -17.39 - 13.26 = -30.65
4. R(s₂) = -8.125 + 0.844×(-30.65) = -8.125 - 25.87 = -34.00
5. R(s₁) = -4.66 + 0.863×(-34.00) = -4.66 - 29.34 = -34.00

- 따라서 각 학습 단계의 가치 함수는:

• 기초학습(s₁): -34.00
• 응용학습(s₂): -34.00
• 심화학습(s₃): -30.65
• 전문학습(s₄): -16.94
• 마스터학습(s₅): 0

 

강화/획득 행동 MDP 구조는 학습이 진행될수록 가치가 높아지는 것을 확인할 수 있다. 이는 게임과 같이 최종 마스터 단계 도달이 목표이며, 각 단계가 다음 단계의 전제 조건이 되는 것을 알 수 있다. 

 

 

|인증|

 

 

 

 

 

-------

패스트캠퍼스 링크

https://bit.ly/4hTSJNB