패스트캠퍼스 환급챌린지 41일차 : 스크래치부터 시작하는 강화학습의 모든 것 강의 후기

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

|내용 정리|

<Temporal Difference (TD) Prediction의 특성>

• 환경 설정:
  • 할인율 𝛾=1γ=1 (미래 보상을 현재와 동일하게 고려).
  • 트레이스 (Trajectories):
    • 𝜏0=(𝑠𝐴,1,𝑠𝐵,4,𝑠𝐶1): 상태 𝑠𝐴sA​에서 보상 +1을 받고 𝑠𝐵로 이동, 이후 보상 +4를 받고 𝑠𝐶1​로 이동.
    • 𝜏1=(𝑠𝐵,2,𝑠𝐶2): 상태 𝑠𝐵​에서 보상 +2를 받고 𝑠𝐶2​로 이동.

예시 시각화

• 상태 전이 및 보상:
  • 𝑆𝐴→𝑆𝐵: 보상 +1.
  • 𝑆𝐶1→종료: 보상 +2 (예시에서 𝑠𝐶2는 종료 상태로 추정).

예측 방법 비교

• Monte Carlo (MC) Prediction:
  • 트레이스 전체의 평균 보상을 사용하여 가치 추정.
  • 계산:
    • 𝑠𝐴​의 가치: 𝜏0τ0​에서 총 보상 1 + 4 = 5.
    • 𝑠𝐵​의 가치: 𝜏0과 𝜏1에서의 보상 평균 (4와 2).

 

• Temporal Difference (TD) Prediction:
  • 즉시 보상 + 다음 상태 가치로 점진적 업데이트.
  • 계산:
    • 𝑠𝐴​의 가치: 보상 1 + 𝑠𝐵​의 가치 3.
    • 𝑠𝐵의 가치는 MC와 동일한 방식으로 계산 (샘플 평균).

MC, TD 주요 차이점

---

가치 함수를 추정하는 TD Learning 알고리즘 및 수식

1. 알고리즘 구조

2. 핵심 수식: TD 업데이트 규칙

• 변수 설명:
  • 𝑄(𝑠,𝑎): 현재 상태 𝑠에서 액션 𝑎의 추정 가치.
  • 𝛼: 학습률 (0 < α ≤ 1). 업데이트의 반영 비율.
  • 𝛾: 할인율 (0 ≤ γ ≤ 1). 미래 보상의 현재 가치 반영 비율.
  • 𝑟: 액션 𝑎실행 후 즉시 보상.
  • 𝑄(𝑠′,𝑎′): 다음 상태 𝑠′에서 선택된 액션 𝑎′의 가치.
• 의미:
  • TD 오차 (Temporal Difference Error):
    
    • 현재 예측 𝑄(𝑠,𝑎)와 TD 타겟 𝑟+𝛾𝑄(𝑠′,𝑎′)의 차이.
  • 업데이트:
    𝑄(𝑠,𝑎)를 TD 오차의 𝛼α 비율만큼 조정하여 점진적 개선.

---

3. 알고리즘 동작 절차

1. 초기화: 모든 상태-액션 쌍 (𝑠,𝑎)에 대해 𝑄(𝑠,𝑎)를 임의의 값으로 설정.
2. 에피소드 시작: 환경에서 초기 상태 𝑠를 받음.
3. 액션 선택: 정책 𝜋(예: ε-greedy)에 따라 액션 𝑎선택.
4. 환경 상호작용:
   • 액션 𝑎 실행 → 보상 𝑟, 다음 상태 𝑠′, 종료 여부 𝑑𝑜𝑛𝑒 관측.
   • 𝑠′에서 정책 𝜋에 따라 다음 액션 𝑎′ 선택.
5. Q 값 업데이트: TD 업데이트 규칙 적용.
6. 종료 조건:
   • 𝑑𝑜𝑛𝑒=𝑇𝑟𝑢𝑒: 에피소드 종료. 𝑄(𝑠′,⋅)=0 (종료 상태 가치 없음).
   • 𝑑𝑜𝑛𝑒=𝐹𝑎𝑙𝑠𝑒: 𝑠←𝑠′, 𝑎←𝑎′로 업데이트 후 반복.

---

4. TD Learning의 특징

• 온라인 학습: 매 단계마다 실시간으로 𝑄 값 업데이트.
• 부트스트래핑: 현재의 𝑄 추정치를 사용해 미래 가치 예측 (𝑄(𝑠′,𝑎′)).
• 정책 평가 (Policy Evaluation): 주어진 정책 𝜋π 하에서 𝑄𝜋(𝑠,𝑎)를 학습.
• 활용 예시: SARSA, Q-Learning의 기반이 되는 알고리즘.

---

5. 예시로 이해하기

• 환경: 그리드 월드에서 에이전트가 목표지점까지 이동.
• 파라미터: 𝛼=0.1, 𝛾=0.9.
• 한 단계 실행:
  • 상태 𝑠에서 𝑎 (오른쪽 이동) 선택 → 보상 𝑟=−1, 𝑠′로 이동.
  • 𝑄(𝑠,𝑎)=2.0, 𝑄(𝑠′,𝑎′)=3.0 (예측치).
  • TD 오차: −1+0.9×3.0−2.0=−1+2.7−2.0=−0.3
  • 업데이트: 𝑄(𝑠,𝑎)=2.0+0.1×(−0.3)=1.97

---

개념 요약

• TD 학습: 시간차(Temporal Difference) 방식으로 현재 보상 + 다음 상태 가치로 학습
• MC vs TD: MC는 에피소드 완료 후 학습, TD는 매 스텝 학습 가능
• V(s) 계산법: MC는 전체 보상 합(V(sₐ)=5), TD는 즉시보상+다음상태가치(V(sₐ)=4)
• 알고리즘: 평가할 정책 π 입력 → Q(s,a) 초기화 → 환경과 상호작용하며 학습
• Q-학습 핵심: Q(s,a) = Q(s,a) + α[r + γQ(s',a') - Q(s,a)]
• 부트스트래핑: TD는 추정치로 추정치 업데이트(부트스트래핑) 사용
• 장점: TD는 실시간 학습 가능, 낮은 분산, 온라인 학습에 적합
• α: 학습률, γ: 할인율, r: 즉시보상, s': 다음상태
• 탐색-활용: π(·|s)를 통해 행동 선택 (정책에 따른 확률적 행동)
• 종료조건: done=True면 에피소드 종료, Q(s',·)=0 설정, 다음 에피소드 시작

다른 강화학습 방법과의 차이점

1. 벨만 방정식 응용 방식:
   • TD 학습: 벨만 방정식을 샘플링된 단일 전이(s→s')에 적용하며, 부트스트래핑(다음 상태 가치 추정치 사용)을 함
   • 몬테카를로(MC): 벨만 방정식을 직접 사용하지 않고 전체 에피소드의 보상 합으로 계산
   • 동적 프로그래밍(DP): 모든 가능한 전이에 대해 완전한 벨만 방정식을 적용(모델 기반)
2. 업데이트 시점:
   • TD: 매 스텝마다 업데이트 (s→s' 전이 후)
   • MC: 에피소드 종료 후에만 업데이트
   • DP: 전체 상태공간을 동시에 업데이트(스윕)
3. 모델 의존성:
   • TD와 MC: 모델 없이 학습 가능(model-free)
   • DP: 환경 모델 필요(model-based)

벨만 방정식 응용과 차이 특징

1. 벨만 방정식 적용 방식:
    

   Q(s,a) = E[r + γQ(s',a')]

   • TD 학습: Q(s,a) = Q(s,a) + α[r + γQ(s',a') - Q(s,a)]
     • 샘플링된 단일 전이에 대해 TD 오차(r + γQ(s',a') - Q(s,a))를 계산
     • 부분적 업데이트(α 학습률 사용)
   • Q-러닝(Off-policy TD): Q(s,a) = Q(s,a) + α[r + γ max_a' Q(s',a') - Q(s,a)]
     • 행동 선택 정책과 학습 정책이 다름(행동은 π로 선택, 학습은 최대 Q값 사용)
   • SARSA(On-policy TD): Q(s,a) = Q(s,a) + α[r + γQ(s',a') - Q(s,a)]
     • 행동 선택 정책과 학습 정책이 동일(a'도 π에서 선택)
2. 특징적 차이:
   • 부트스트래핑: TD는 추정치로 추정치를 업데이트(부트스트래핑) - 벨만 방정식의 핵심 특성
   • 타겟 계산: TD는 r + γQ(s',a')를 타겟으로 사용, MC는 G_t(전체 리턴)를 타겟으로 사용
   • 편향-분산 트레이드오프: TD는 낮은 분산, 높은 편향 / MC는 높은 분산, 낮은 편향
   • 수렴 특성: TD는 함수 근사와 함께 사용 시 발산할 수 있으나, 일반적으로 더 빠르게 수렴
3. 벨만 최적 방정식과의 관계:
   • Q-러닝은 벨만 최적 방정식(V*(s) = max_a E[r + γV*(s')])을 직접 근사
   • SARSA는 벨만 기대 방정식(V^π(s) = E_π[r + γV^π(s')])을 근사

---

"

TD 학습의 핵심 혁신은 완전한 에피소드나 환경 모델 없이도 벨만 방정식을 근사적으로 풀 수 있다는 점이다. 이는 실제 문제에서 강화학습의 적용 범위를 크게 확장했으며, 특히 복잡하고 지속적인 환경에서 학습을 가능하게 한다. 그래서 시간차(TD) 학습 알고리즘은 강화학습에서 매우 중요하며 다양한 실제 응용 분야에서 활용된다.

"

응용 분야

• 자율주행 차량: 도로 환경에서 안전하게 주행하는 방법을 학습. 실시간으로 학습해야 하므로 TD 방식이 적합함
• 로봇 제어: 산업용 로봇이나 가정용 로봇이 환경과 상호작용하며 작업 수행 방법 학습
• 게임 AI: AlphaGo, OpenAI Five 등이 TD 학습을 기반으로 함. 실제 대국/게임에서 인간 수준 이상의 성능 달성
• 추천 시스템: 사용자 행동에 따라 실시간으로 콘텐츠 추천 방식 학습
• 자원 관리: 클라우드 컴퓨팅 자원 할당, 에너지 그리드 관리 등에 활용
• 금융 트레이딩: 주식 시장에서 트레이딩 전략 최적화

중요성

• 실시간 학습: 에피소드가 끝나지 않아도 매 스텝마다 학습 가능하여 온라인 학습에 적합
• 샘플 효율성: 하나의 경험에서도 학습이 가능하여 데이터 효율적
• 수렴성: 이론적으로 최적 정책으로 수렴이 증명됨
• 계산 효율성: 전체 에피소드를 기다릴 필요 없이 단일 스텝마다 업데이트 가능
• 현실 문제 적합성: 대부분의 현실 문제는 에피소드가 매우 길거나 끝나지 않는 형태이므로 TD 방식이 필수적
• 불확실성 처리: 확률적인 환경에서도 안정적으로 학습 가능

특히 Q-러닝과 같은 TD 기반 알고리즘은 딥러닝과 결합하여 DQN(Deep Q-Network) 등의 발전된 알고리즘으로 확장되었고, 이는 현대 인공지능의 핵심 기술 중 하나가 되었다.

 

 

 

|인증|

 

 

-------

패스트캠퍼스 링크

https://bit.ly/4hTSJNB