dev-self 님의 블로그

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|1. 핵심 수식과 실제 데이터 연관성n-step 리턴 수식 디버깅 결과에서 이 수식이 실제로 어떻게 작용하는지 확인할 수 있다:n=1 (TD(0)): 초기 상태의 최종 가치 = 0.473n=3: 초기 상태의 최종 가치 = 0.704n=5: 초기 상태의 최종 가치 = 0.750n이 클수록 가치 함수 값이 높게 나타나는 것은 더 멀리 있는 보상 신호를 직접 고려하기 때문이다. 특히 그래프에서 n=5(파란색)와 n=3(초록색)의 학습 곡선이 n=1(빨간색)보다 훨씬 빠르게 상승하는 현상을 통해 이를 확인할 수 있다.가치 함수 업데이트 수식 디버깅 출력에서 학습률(α)이 점진적으로 감소하는 것을 볼 수 있다:alpha: 0.0020..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|환경(Environment) 개요우선 environment.py는 4x4 그리드 환경을 정의한다:에이전트는 (0,0)에서 시작하여 (3,3)의 목표 위치에 도달해야 한다.상태 공간은 4x4 그리드로 표현된다.행동 공간은 {0: 위, 1: 오른쪽, 2: 아래, 3: 왼쪽}이다.목표에 도달하면 보상 10을 받는다.n-step TD 학습 알고리즘 핵심 코드여기서는 두 가지 버전의 n-step TD가 구현되어 있다:n_step_td_prediction.py: 일반적인 n-step TD 예측episodic_n_step_td_prediction.py: 에피소드 기반 n-step TD 예측핵심 알고리즘 부분Return 계산 함수:def ..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|1. 가치 함수의 정의 이 수식은 n-step TD 업데이트 식과 직접적인 연관이 있다. 특히:샘플 기반 기대값 추정(E^)이 충분한 샘플 조건에서 실제 기대값(Eπ)으로 표현된 것이다.이것은 정책 π를 따랐을 때 상태 st​의 실제 가치를 n-step 반환값의 기대값으로 정의하고 있다.2. 연산자 적용 이 표현은 연산자 개념을 직접 나타낸다:연산자 Tnπ​가 어떤 가치 함수(V1, V2)에 적용되어 새로운 가치 함수로 변환되는 과정을 보여준다.아래의 식과 연관된다.3. 연산자 차이의 절댓값 이 수식은:두 가치 함수 V1과 V2에 n-step 연산자 Tnπ​를 적용했을 때, 특정 상태 s에서의 결과 차이를 절댓값으로 표현한다..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리| n-step TD 업데이트 공식- 기본 업데이트 (t ≥ n일 때)V(s_{t-n}) = V(s_{t-n}) + α[∑_{k=1}^{n} γ^{k-1}r_{t-n+k} + γ^n V(s_t) - V(s_{t-n})]이 공식은 다음과 같은 의미를 가진다:V(s_{t-n}): n 스텝 이전 상태의 가치 함수를 업데이트α: 학습률(learning rate)대괄호 안의 표현식: TD 오차∑_{k=1}^{n} γ^{k-1}r_{t-n+k}: n개의 할인된 보상 합계γ^n V(s_t): 현재 상태의 할인된 가치 추정값-V(s_{t-n}): 이전 상태의 가치 추정값- 에피소드 종료 시 처리 (done일 때)k_{min} = min(t,..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|TD learning은 현재 추정치와 다음 상태에서의 추정치 간의 "차이(difference)"를 통해 학습한다. 기존의 1-step TD 방법은 즉각적인 보상과 다음 상태만을 고려하기 때문에 장기적인 보상 구조를 파악하는 데 시간이 오래 걸린다. n-step 접근법은 더 먼 미래의 보상을 직접적으로 고려함으로써:학습 속도를 향상시키고보다 정확한 가치 함수 추정이 가능하다.지연된 보상이 있는 환경에서 특히 효과적이다.1-step transition에 대한 value function의 Bellman 방정식 이는 기대값 표기법으로 =Ea,s′π[r+γVπ(s′)]로 간단히 나타낼 수 있다.다음으로, Bellman 방정식을 2-s..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|환경(Environment) 분석이 코드에서 환경은 다음과 같은 특징을 가진다:4x4 격자: 총 16개의 상태가 있다.특별한 위치들:직장(workplace): (0, 3) 위치, 값 2로 표시집(home): (3, 3) 위치, 값 3으로 표시공원(park): (1,1), (1,2), (2,1), (2,2) 위치, 값 -1로 표시에이전트: 값 1로 표시, 초기 위치는 (0, 0)행동(Actions): 4가지 행동 가능0: 위로 이동1: 오른쪽으로 이동2: 아래로 이동3: 왼쪽으로 이동확률적 환경: 70%의 확률로 선택한 행동을 수행하고, 30%의 확률로 무작위 다른 행동을 수행한다.보상 시스템:기본 보상: -0.5 (매 스텝마..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|알고리즘 코드 구현 연습>1. 기본 개념 설명(복습)강화학습 (Reinforcement Learning): 에이전트(Agent)가 환경(Environment)과 상호작용하며 보상(Reward)을 최대화하는 방향으로 행동(Action)을 학습하는 머신러닝의 한 분야이다. 시행착오(Trial-and-error)를 통해 학습한다.에이전트 (Agent): 학습하고 행동하는 주체 (이 코드에서는 격자 세계를 돌아다니는 개체).환경 (Environment): 에이전트가 상호작용하는 외부 세계 (이 코드에서는 4x4 격자).상태 (State, s): 환경의 현재 상황을 나타내는 정보 (에이전트의 위치).행동 (Action, a): 에이전..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|환경 구현(Env 클래스):에이전트가 (0,0)에서 시작하고 목표가 (3,3)인 4x4 그리드 월드위, 오른쪽, 아래, 왼쪽의 네 가지 가능한 행동목표에 도달할 때 +10의 보상, 그 외에는 0환경은 에이전트의 움직임과 경계 확인을 처리함SARSA 알고리즘 구현:온폴리시(on-policy) 시간차(temporal difference) 학습 알고리즘가상의 최적 행동이 아닌 실제 취한 행동을 기반으로 Q-값 업데이트핵심 업데이트 공식 사용: Q(s,a) ← Q(s,a) + α[r + γQ(s',a') - Q(s,a)]탐색 전략:ε-greedy 정책으로 탐색과 활용의 균형을 맞춤ε(탐색률)과 α(학습률) 모두 시간이 지남에 따라 ..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Q-러닝(Q-Learning) 알고리즘의 수렴성(Convergence)>벨만 방정식과 수축 매핑 증명을 기반으로 왜 그리고 어떻게 최적 정책으로 수렴하는지 알아보자. 강화학습(Reinforcement Learning)의 Q-함수와 벨만 연산자(Bellman operator)에 관한 수학적 증명은 두 Q-함수 간의 차이에 대한 상한을 설정하고 벨만 연산자가 수축 매핑(contraction mapping)임을 보여준다.기본 Q-함수 정의 (이미지 6):벨만 최적 방정식 (Bellman Optimality Equation)이것은 최적 Q-함수에 대한 벨만 방정식으로, 현재 상태 s에서 행동 a를 취했을 때 얻을 수 있는 기대 보..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Q-learning: off-policy 학습방법> 주요 Q-learning 공식1. 벨만 최적성 방정식 (Bellman Optimality Equation)이 기본 방정식은 최적 행동-가치 함수를 정의합니다. 상태 s에서 행동 a를 취했을 때의 최적 Q값은 즉각적인 보상의 기대값과 모든 가능한 다음 상태에서의 할인된 최대 미래 가치의 합과 같다는 의미이다.2. 가치 반복 업데이트 (Value Iteration Update)이 반복적 업데이트 방정식은 반복 적용을 통해 최적 Q-함수에 접근한다. 각 반복마다 최적 정책에 더 가까워진다.의미:현재 상태 s와 행동 a에 대해, 모든 가능한 다음 상태 s′의 전이 확률 p(s′∣s..