*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
|Monte-Carlo Method|
<Monte-Carlo Prediction_01>
1. 대수의 법칙
- Random Variable의 정의:
- 임의의 random variable 𝑥있다고 가정.
- Random Variable의 표본:
- 𝑋1,𝑋2,⋯ ,𝑋𝑛은 random variable 𝑥의 𝑛개의 표본을 나타냄.
- 표본 평균:
- 표본 평균 𝑋ˉ𝑛은 다음과 같이 정의:
- 대수의 법칙 (Law of Large Numbers):
- 표본의 크기 𝑛이 무한대로 갈 때, 표본 평균 𝑋ˉ𝑛은 random variable의 기대값 𝐸[𝑋로 수렴.
- 표본 평균의 분산:
- 표본의 크기 𝑛이 무한대로 갈 때, 표본 평균 𝑋ˉ𝑛의 분산은 0으로 수렴:
2. 분산의 성질
- 상수 곱의 분산: 확률 변수 X에 상수 a를 곱한 경우, 분산은 a2배가 됨.
- 독립 확률 변수의 선형 결합 분산: 두 확률 변수 X와 Y가 독립일 때, 선형 결합의 분산은 각 분산의 가중치 합으로 계산.
3. 표본 평균의 정의 및 분산
- 표본 평균 (X‾n): 은 동일한 분포에서 추출된 확률 변수.
- 표본 평균의 분산: 모든 Xi가 동일한 분산 Var[X]를 가질 경우
- 모든 Xi가 동일한 분산 Var[X]를 가질 경우
- 분산의 수렴: 본 평균의 분산이 0으로 수렴함을 의미. 이는 표본 크기가 무한대로 커질 때 X‾n이 모평균 E[X]에 집중함
- 기대값의 계산: 표본 평균의 기대값은 모평균과 같음
4. 확률 변수의 분산 정의
- 확률 변수의 분산 정의: 이산 확률 변수의 경우, 분산은 각 값의 편차 제곱을 가중합
- 상수로의 수렴: 본 평균이 상수 C로 수렴함을 나타냄 (대수의 법칙과 연결).
강화학습의 핵심 아이디어: Model-Free 학습
"환경의 전이 확률 P(s′∣s,a)나 보상 함수 R(s,a)를 알지 못해도, 샘플링만으로 최적 정책을 학습할 수 있을까?"
Return (반환값):
Value Function (가치 함수):
Law of Large Numbers (대수의 법칙):
위의 내용은 강화학습이 "시행착오를 통해 최적 정책을 학습할 수 있다"는 핵심 아이디어를 수학적으로 설명하고 있다.
대수의 법칙(Law of Large Numbers)
표본의 크기가 무한대로 커질 때 표본 평균은 확률변수의 기댓값에 수렴한다. lim_(n→∞) X̄_n = E[X]와 lim_(n→∞) Var[X̄_n] = 0 형태로 표현되며 이 원리는 강화학습에서 충분한 경험을 통해 가치함수를 정확히 추정할 수 있는 이론적 근거가 된다.
가치함수(Value Function)
가치함수 V^π(s_t) = E_π[G_t|S_t = s_t]는 특정 상태에서 정책을 따를 때 예상되는 미래 보상의 기댓값이다. 이는 에이전트가 각 상태의 장기적 가치를 평가하는 기준이 되며 대수의 법칙에 따라 충분한 샘플링을 통해 실제 가치에 근사할 수 있습니다.
반환값(Return)
반환값 G_t = R_(t+1) + γR_(t+2) + ... + γ^(T-1)R_(t+T)은 현재부터 미래까지 받게 될 보상의 할인된 합계이다. 이는 에이전트가 특정 상태와 행동의 장기적 결과를 평가하는 지표가 된다. 가치함수는 이 반환값의 기댓값으로, 반환값이 실제 경험이라면 가치함수는 그 경험들의 평균이다.
-----
대수의 법칙은 이러한 학습 방식이 이론적으로 가능함을 보장한다. 충분한 경험을 통해 가치함수를 정확히 추정할 수 있고, 이를 바탕으로 최적 정책을 찾을 수 있다는 수학적 근거를 제공한다.
이 세 가지 개념이 함께 작용하여 강화학습의 수학적 기반을 형성하고, Monte Carlo 방법과 같은 샘플 기반 학습 알고리즘의 이론적 토대가 된다.
|인증|
-------
패스트캠퍼스 링크