**본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
<내용정리>
<강화학습의 기본 개념과 수학적 토대>
Return의 개념
- 수학적 정의: 총 보상(Return)은 현재 시점(t) 이후 받게 될 모든 보상들의 합으로, 이때 미래의 보상은 할인 계수만큼 할인되어 계산. 즉, 다음 스텝의 보상에 할인 계수를 적용하지 않고, 그 다음 스텝의 보상에는 할인 계수를 한 번 적용하고, 그 다음은 할인 계수의 제곱을 적용하는 식으로 계산.
- 할인 계수(γ, Discount factor): 0과 1 사이의 값으로, 미래 보상의 중요도를 결정. 이 값이 1에 가까울수록 미래 보상을 현재와 거의 동등하게 중요시하고, 0에 가까울수록 현재 보상만을 중요시 함.
- 특징: 에이전트의 정책(policy)이나 환경의 전이(transition)가 확률적일 경우, 같은 상태에서 출발해도 얻는 return은 매번 달라짐.
- 확률 변수: return은 확률 변수(random variable)로 취급되며, 그 특성은 정책(policy)에 따라 변화.
Value Function과 Action-Value Function
- Value Function(상태 가치 함수):
- 정의: 상태 가치 함수는 특정 상태에서 주어진 정책을 따를 때 기대되는 총 보상의 기댓값입니다.
- 의미: 특정 상태에서 정책에 따라 행동할 때 평균적으로 기대되는 return입니다.
- 용도: 상태의 가치를 평가하는 척도로 사용됩니다.
- Action-Value Function(행동 가치 함수) 또는 Q-function:
- 정의: 행동 가치 함수는 특정 상태에서 특정 행동을 취한 후, 주어진 정책을 따를 때 기대되는 총 보상의 기댓값입니다.
- 의미: 특정 상태에서 특정 행동을 선택한 후, 해당 정책을 따를 때 평균적으로 기대되는 return입니다.
- 용도: 상태-행동 쌍의 가치를 평가하거나, 주어진 상태에서 어떤 행동이 더 가치있는지 판단하는 척도로 사용됩니다.
----
<후기>
Return
강화학습의 수학적 정의를 공부하면서 문득 이것이 우리 삶의 의사결정 과정과 얼마나 닮아있는지 깨달았다. Return 공식이 마치 우리가 인생에서 의사결정을 할 때 고려하는 '현재와 미래 가치의 균형'을 완벽하게 표현하고 있었다.
Return이란 간단히 말해 현재부터 미래까지 받게 될 모든 보상의 합이다. 이때 미래의 보상은 시간이 멀어질수록 점점 더 할인되어 계산된다. 마치 지금 당장 받는 10만원이 10년 후에 받을 10만원보다 더 가치 있게 느껴지는 것처럼, 강화학습에서도 먼 미래의 보상은 현재 보상보다 덜 중요하게 취급된다.
할인 계수(γ)는 개인의 성향과 가치관을 반영한다. γ값이 1에 가까울수록 미래 지향적인 사람이고, 0에 가까울수록 현재 지향적인 사람이다. 내 친구 중 하나는 은퇴를 위해 20대부터 철저히 저축하는데, 그의 γ값은 분명 0.9 이상일 것이다! 반면, '내일은 내일의 태양이 뜬다'며 사는 친구는 γ가 0.3 정도인 듯하다.
Value Function과 Action-Value Function의 개념을 이해하니 일상의 고민들이 새롭게 보였다. "이 직장이 나에게 얼마나 가치있는가?"라는 질문은 상태 가치 함수를 계산하는 것과 같다. "이 회사에 지원서를 넣는 행동이 지금 내게 얼마나 가치있는가?"라는 질문은 행동 가치 함수를 평가하는 것이다.
특히 인상적이었던 것은 Return이 확률 변수라는 점이다. 아무리 좋은 결정을 내려도 운이나 외부 요인에 의해 결과가 달라질 수 있다는 것을 수학적으로 표현한 것이다. 창업을 결심했다가 코로나로 사업이 망한 친구의 경우, 좋은 정책을 따랐음에도 환경의 확률적 전이로 인해 낮은 Return을 얻은 경우라고 볼 수 있다.
이제 중요한 결정을 앞두고 "이 선택의 가치는 얼마일까?"라고 생각하게 된다. 눈앞의 보상만 보고 결정하지 않고, 할인된 미래 보상까지 고려해 '평균적으로' 좋은 결정을 내리는 것이 현명하다는 교훈을 얻었다.
파이썬 함수로 구성해보자
여기서 들어오는 리워드와 감마라고 하는 미래가치와 현재가치의 파라미터를 조정해서 전체 return 보상을 구할 수 있을 것이다.
그렇다면 reward는 무엇으로, 그리고 감마도 어떤 기준으로 설정해야할까?
----
패스트캠퍼스 링크