*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
<Value Function 밸만 방정식 행렬화하기>
1. 밸만 방정식 기본 정의
- 는 상태 의 가치 함수.
- p(st+1∣st)는 상태 sts_t 에서 로 전이할 확률.
- 는 상태 에서 로 전이할 때 받는 보상.
- 는 할인율.
- 이 식은 현재 상태에서의 가치가 "다음 상태로의 전이 확률 × (즉각적인 보상 + 할인된 다음 상태의 가치)"의 합의 의미
2. 수식 분해하기
- 첫 번째 수식의 대괄호를 분배하여 두 부분으로 분리 -> 즉각적인 보상의 기대값 | 다음 상태의 할인된 가치의 기대값
- Rˉ(st)는 상태 에서의 기대 보상으로, 모든 가능한 다음 상태로 전이할 확률과 각각의 보상을 곱한 합.
- 는 모든 상태의 가치를 포함하는 벡터.
- 는 모든 상태의 기대 보상을 포함하는 벡터.
- 는 상태 전이 확률 행렬.
- 이 식은 벡터-행렬 형태의 벨만 방정식.
이 부분은 각 벡터와 행렬의 구체적인 형태를 보여준다:
- 는 각 상태 의 가치를 포함하는 벡터.
- Rˉ는 각 상태의 기대 보상을 포함하는 벡터.
- 는 크기의 전이 확률 행렬로, 는 상태 에서 상태 로 전이할 확률.
|응용|
실제 예시로 한 번 가정해서 수식을 풀어보자. 이번에도 학습 상황에 대한 예시이다.
- 집중 학습: 효율적으로 공부에 몰입한 상태
- 스트레스: 불안하고 집중이 안 되는 상태
- 스마트폰 사용: 공부 대신 스마트폰을 보고 있는 상태
가치 함수 해석
는 "현재 상태에서 시작해 앞으로 얻을 수 있는 총 기대 보상의 합"이다.
예를 들어, 은 현재 집중 학습 상태에서 시작했을 때 앞으로 얻을 수 있는 총 학습 성과(시험 점수)의 기대값이다.
전이 확률 해석
는 현재 상태에서 다음 상태로 넘어갈 확률.
예시:
- p(집중 학습∣집중 학습)=0.7: 집중 학습 상태에서 계속 집중할 확률은 70%
- p(스트레스∣집중 학습)=0.2: 집중 학습 상태에서 스트레스 상태로 바뀔 확률은 20%
- p(스마트폰 사용∣집중 학습)=0.1: 집중 학습 중 스마트폰을 보게 될 확률은 10%
보상 해석
는 상태 전이 시 얻는 즉각적인 보상이다.
예시:
- R(집중 학습,집중 학습)=10: 집중 학습을 유지하면 높은 학습 성과(10점)
- R(집중 학습,스트레스)=3: 집중학습에서 스트레스로 전환되면 중간 정도의 성과(3점)
- R(스마트폰 사용,집중 학습)=5: 스마트폰 사용에서 집중 학습으로 전환하면 적절한 보상(5점)
- R(스마트폰 사용,스마트폰 사용)=: 계속 스마트폰을 사용하면 낮은 학습 성과(1점)
할인율 γ(gamma) 해석
는 미래 보상의 중요도를 나타낸다. 예를 들어 라면, 다음 날의 보상은 오늘 보상의 90% 가치를 가집니다.
전체 수식의 실제 계산 예시
이번에는 맨 앞의 벨만 수식을 실제 예시로 적용해서 작성해보자.
집중 학습 상태의 가치 계산:
이를 각 가능한 다음 상태에 대해 확장하면:
실제 값으로 대입해본다면:
이것이 집중 학습 상태의 가치를 계산하는 벨만 방정식이다.
이번에는 분배법칙을 적용한 위의 두번째 수식에 예시를 적용해보자.
여기에 값을 대입해본다면:
두번째 항도 확장해본다면
실제 값으로 대입해보면
따라서 총 가치함수의 합은
이는 "집중 학습 상태의 가치는 즉각적인 기대 보상(7.6점)과 미래 상태의 할인된 기대 가치(36점)의 합이다"라는 의미
세번째 항도 확장해본다면
- 집중 학습 상태에 적용:
- 기대 보상 계산:
이것은 "집중 학습 상태에서 다음 시간 단계로 이동할 때 예상되는 평균 보상은 7.6점"이라는 의미이다.
두번째 분리 식을 계산해보면
따라서 최종적으로
위의 수식을 학생 관점에서 이해하면:
- 집중 학습 상태에 있으면, 다음 시간 단위에서 평균적으로 7.6점의 학습 성과를 얻을 것으로 예상된다.
- 또한, 그 이후의 모든 미래 상태에서 얻을 수 있는 할인된 가치는 36점으로 예상된다.
- 따라서 집중 학습 상태의 총 가치는 43.6점이다.
마지막으로 행렬표현을 구해보자
- 가치벡터
- 기대 보상 벡터
각 상태의 기대 보상을 계산하면:
- Rˉ(집중 학습) = (이미 계산한 값)
- Rˉ(스트레스)
- Rˉ(스마트폰 사용) =
전이 확률 행렬 P :
벨만 방정식 행렬 계산 (I - γP): ( 할인율
-> 행렬의 역행렬을 구하고 기대 보상 벡터 을 곱하면 각 상태의 가치를 동시에 계산
"이러한 행렬 계산의 장점은 모든 상태의 가치를 동시에 계산할 수 있다는 것. 학습자 관점에서는 각 상태(집중 학습, 스트레스, 스마트폰 사용)의 정확한 장기적 가치를 한꺼번에 알 수 있어, 어떤 상태를 유지하는 것이 최적의 전략인지 명확하게 파악할 수 있다는 것이다."
|인증|
-------
패스트캠퍼스 링크