dev-self 님의 블로그

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|SARSA란? SARSA는 강화학습에서 가장 널리 사용되는 시간차 학습(Temporal Difference Learning) 알고리즘 중 하나이다. 이름은 알고리즘이 사용하는 다섯 가지 요소 State(상태), Action(행동), Reward(보상), next State(다음 상태), next Action(다음 행동)의 첫 글자에서 유래했다. SARSA(State-Action-Reward-State-Action) 알고리즘은 강화학습의 대표적인 알고리즘 중 하나이다. SARSA의 핵심은 현재 정책에서 실제로 선택한 다음 행동(a')을 사용하여 업데이트한다는 점이다. 이것은 "on-policy" 학습 방식으로, 현재 사용 중인..

TD(Temporal Difference) 예제 연습_3>코드 설명1. 환경 (environment.py)이 코드는 강화학습에서 사용되는 4x4 그리드 환경을 구현:상태 공간: 4x4 그리드로 다음과 같은 값을 가짐에이전트 위치: 1직장 위치: 2 (오른쪽 상단 모서리, [0,3])집 위치: 3 (오른쪽 하단 모서리, [3,3])공원 구역: -1 (중앙 2x2 영역, [1:3, 1:3])행동 공간: {0, 1, 2, 3}0: 위로 이동1: 오른쪽으로 이동2: 아래로 이동3: 왼쪽으로 이동전이 역학:사용자가 선택한 행동이 70% 확률로 실행됨30% 확률로 다른 임의의 행동이 대신 실행됨에이전트가 그리드 경계에 도달하면 그 자리에 머무름보상 구조:기본 이동 보상: -0.5공원 구역에 있을 때: -1.0직장..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|TD(Temporal Difference) 예제 연습_2>TD 학습을 통한 가치 함수와 행동-가치 함수 분석환경 설명 위의 그리드는 다음과 같은 특징을 가진 강화학습 환경이다:상태 공간: 3x4 그리드시작 위치: A (0,0)목표 위치: G (0,3)표류 영역(drift area): 첫 번째 행의 가운데 두 칸(///)행동 공간: 상(0), 우(1), 하(2), 좌(3)전이 모델:에이전트의 행동에 따라 상하좌우 이동 (무작위성 없음)표류 영역에 들어가면 시작점(0,0)으로 이동목표에 도달하면 에피소드 종료보상: 목표 도달 시 +10, 그 외에는 0감가율(γ): 0.9학습률(α): 2e-3 (Q-함수 학습 시 5배 증가)정책..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|TD(Temporal Difference) 예제 연습>환경 설명상태 공간(State Space): 4x4 그리드 정보행동 공간(Action Space): 상(up), 하(down), 좌(left), 우(right)전이 모델(Transition Model):Agent의 행동에 따라 상하좌우 이동(무작위성 없음)이동 불가한 경우 제자리Goal에 도달시 상호작용 종료보상(Reward): Goal 도달시 +10 획득감가율(Discount Factor): γ = 0.9정책(Policy):π(a|s) = 0.25 (모든 행동이 동일한 확률)π(down|s) = π(right|s) = 0.4 (아래/오른쪽 방향 선호) π(up|s) =..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리| TD Learning의 업데이트 수식 설명: 이 수식은 Temporal Difference (TD) Learning에서 상태 s의 가치 함수 V(s)를 업데이트하는 방법을 나타낸다. 현재 상태 s에서의 가치 함수는 즉시 보상 r과 다음 상태 St+1​의 할인된 가치 γV(St+1)의 기대값으로 추정된다.기호 의미:E^: 샘플 평균을 통한 기대값 추정.γ: 할인 계수 (미래 보상의 현재 가치 반영). 무한한 샘플에서의 기대값설명: 샘플이 무한히 많을 때, 샘플 평균은 실제 기대값으로 수렴한다. 이는 정책 π하에서 상태 전이 확률 p(s′∣s,a)와 보상 r을 고려한 Bellman 방정식의 형태이다. 모든 상태에 대한 벡터 형..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|환경 설정:할인율 𝛾=1γ=1 (미래 보상을 현재와 동일하게 고려).트레이스 (Trajectories):𝜏0=(𝑠𝐴,1,𝑠𝐵,4,𝑠𝐶1): 상태 𝑠𝐴sA​에서 보상 +1을 받고 𝑠𝐵로 이동, 이후 보상 +4를 받고 𝑠𝐶1​로 이동.𝜏1=(𝑠𝐵,2,𝑠𝐶2): 상태 𝑠𝐵​에서 보상 +2를 받고 𝑠𝐶2​로 이동.예시 시각화상태 전이 및 보상:𝑆𝐴→𝑆𝐵: 보상 +1.𝑆𝐶1→종료: 보상 +2 (예시에서 𝑠𝐶2는 종료 상태로 추정).예측 방법 비교Monte Carlo (MC) Prediction:트레이스 전체의 평균 보상을 사용하여 가치 추정.계산:𝑠𝐴​의 가치: 𝜏0τ0​에..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|TD(Temporal Difference) 학습: 벨만 방정식과 기대값 최적화>1. 벨만 방정식과 최적화 과정1) 최적화 목표 설명:TD 오차(δ)의 제곱(δ²)을 최소화하는 것이 목표이다. 여기서 δ = r + γV(s') - V(s)이다.최적의 가치 함수 V(s)는 벨만 타겟인 E^π[r + γV(s')]와 일치해야 한다.2) TD 오차 제곱의 기댓값설명:평균 제곱 TD 오차는 모든 행동(a)과 다음 상태(s')에 대해 계산되며, 정책 π(a|s)와 상태 전이 확률 p(s'|s,a)로 가중치가 부여되며 p^π(a,s'|s) = p(s'|s,a) π(a|s)는 정책 π 하에서의 결합 확률을 나타낸다.3) 손실 함수와 미분설..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|TD 학습은 Dynamic Programming (DP)과 Monte-Carlo (MC) 방법을 결합한 방식이다.DP의 "모델 기반 계획"과 MC의 "샘플링 기반 학습"의 장점을 통합하여, 부트스트래핑과 샘플 경험을 모두 활용한다.Dynamic Programming (DP)의 Policy EvaluationDP는 환경의 완전한 모델 (상태 전이 확률 p(s′∣s,a)과 보상 함수 R(s,a,s′))을 필요다음 상태의 가치 함수 Vk+1(s)를 계산할 때, 모든 가능한 상태와 행동에 대해 기댓값을 계산 단점: 계산 비용이 높고, 환경 모델을 미리 알아야 한다.Monte-Carlo (MC) MethodMC는 에피소드의 샘플 경험..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Monte-Carlo Method Example - 03>그리드 환경 설명기본 정보상태 공간(State Space): 4x4 그리드행동 공간(Action Space): 상(↑), 하(↓), 좌(←), 우(→)특수 위치:A: 시작 위치 (왼쪽 상단)W: 직장 (Work place, 오른쪽 상단)H: 집 (Home, 오른쪽 하단)녹색 칸: 장애물 (진입 불가)전이 모델(Transition Model)에이전트의 행동에 따라 상하좌우 이동, 이동 불가한 경우 제자리70%의 확률로 선택한 행동에 따라 이동, 30%의 확률로 선택하지 않은 행동 중 무작위 행동에 따라 이동W(직장) 혹은 H(집)에 도달시 상호작용 종료보상(Reward)..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Monte-Carlo Method Example - 02>예제 구성 환경 구성:상태 공간(State space): 3x4 격자행동 공간(Action space): 상(위), 하(아래), 좌(왼쪽), 우(오른쪽)시작점: A (왼쪽 상단)목표: G (오른쪽 상단)전이 모델(Transition model):에이전트의 행동에 따라 상하좌우 이동 (무작위성 없음)이동 불가한 경우 제자리에 머무름, 파란색 영역에 들어가면 시작점으로 이동Goal에 도달시 상호작용 종료보상 구조:Goal 도달 시 +10 보상 획득감가율(Discount factor) γ = 0.9정책:π(a|s) = 0.25 (예측용, 모든 행동이 동일한 확률)1. 환경 ..