**본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
<강화학습의 기본 이론 - Markov __ >
1. 마르코프 속성(Markov property)
- 마르코프 속성이란, 랜덤 변수의 순열 S₀, S₁, S₂, ... 이 아래의 조건을 만족하는 경우를 말함:
- P(S<sub>t+1</sub> = s<sub>t+1</sub>|S<sub>t</sub> = s<sub>t</sub>,..., S<sub>0</sub> = s<sub>0</sub>) = P(S<sub>t+1</sub> = s<sub>t+1</sub>|S<sub>t</sub> = s<sub>t</sub>)
- 이는 미래 정보를 예측하기 위해 모든 과거 상태가 다 필요하지 않고, 가장 최근의 상태만 있어도 충분하다는 의미
- S<sub>t</sub>는 마르코프라고 표현함
2. 마르코프 프로세스(Markov process)
- 마르코프 속성을 만족하는 랜덤 변수의 순열을 말하며, S₀, S₁, S₂, ...
- ⟨S, P⟩로 표기됨
- S: 유한 상태 공간(state의 집합)
- P: 전이 확률 모델(행렬), P(S<sub>t+1</sub> = s<sub>t+1</sub>|S<sub>t</sub> = s<sub>t</sub>)
- P: S × S → ℝ (전이 확률)
마르코프 보상 프로세스는 강화학습과 의사결정 이론에서 중요한 개념으로, 현재 상태에 기반하여 다음 상태로의 전이 확률이 결정되는 확률적 과정을 모델링
3. 마르코프 보상 프로세스(Markov Reward Process)
- 마르코프 프로세스에 보상 함수를 추가한 것으로, ⟨S, P, R, γ⟩로 표기됨
- R: S → ℝ은 보상 함수로, 각 상태 s에서 얻는 즉각적인 보상의 기대값
- γ ∈ [0, 1]은 감가율(discount factor)로, 미래 보상의 현재 가치를 계산할 때 사용
- 전이 확률 P는 상태 간 이동 가능성을 나타내며, 보상 함수 R과 함께 작용하여 상태의 장기적 가치를 결정
- 가치 함수 V(s)는 상태 s에서 시작하여 얻을 수 있는 기대 누적 보상을 계산할 때 전이 확률을 사용: V(s) = R(s) + γ∑<sub>s'</sub>P(s'|s)V(s')
-----
마르코프 속성을 공부하면서 문득 그 이론적 아름다움과 현실 세계의 괴리에 대해 생각해보게 되었다. 이 이론은 "과거의 모든 정보가 현재 상태에 압축되어 있다"는 놀라운 단순화를 제시한다. 마치 현재라는 렌즈를 통해 과거의 복잡한 경로가 완벽하게 요약되고, 미래 예측에 필요한 모든 것이 담겨있다는 우아한 가정이다.
그러나 현실 세계는 이보다 훨씬 복잡하다. 때로는 오래 전에 발생한 사건이 최근의 사소한 일보다 미래에 더 큰 영향을 미치기도 한다. 경제 위기, 정치적 결정, 문화적 변혁과 같은 역사적 사건들은 수십 년간 그 영향력을 유지하며, 이러한 장기적 의존성은 단순한 마르코프 모델로는 완전히 포착하기 어렵다.
그럼에도 마르코프 모델이 강화학습을 비롯한 많은 분야에서 놀라운 성공을 거둔 것은 주목할 만하다. 이론의 단순함이 가져다주는 계산적 효율성과, 상태 정의를 확장하거나 변형 모델을 통해 한계를 부분적으로 극복할 수 있기 때문이다.
이 모델에서 상태 간 전이 확률 P: S × S → ℝ는 핵심적 요소로, 마르코프 보상 프로세스에서는 즉각적인 보상과 함께 작용하여 장기적 가치를 결정한다. 현재 상태에서 어떤 미래 상태로 이동할 가능성이 큰지를 수치화함으로써, 복잡한 시스템의 시간적 진화를 예측하고 최적의 의사결정을 이끌어내는 수학적 기반을 제공한다.
결국 마르코프 모델은 현실의 완벽한 반영이 아니라, 복잡한 세계를 이해하고 예측하기 위한 유용한 근사치라고 볼 수 있다. 모든 모델이 그러하듯, 그 한계를 인식하고 적절한 맥락에서 적용할 때 가장 가치 있는 통찰을 제공한다.
" 결국 보상의 가치는 미래에 어떤 결과를 나올 것인가로 판단한다는 것"
MRP 코드샘플 예시
https://colab.research.google.com/drive/1HbCnb0X1HctK91NDtXf_gF2jzg4H5QEJ#scrollTo=jyUMY2TBfsD4
-----
----
패스트캠퍼스 링크