dev-self 님의 블로그

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Metric space란?A metric space는 ordered pair (M,d)이며, 여기서M은 집합(set)d는 metric(거리 함수)Metric의 조건 (Axioms)x, y, z∈M에 대해, 거리 함수 d는 다음을 만족해야 함: 항등성(Identity of Indiscernibles)한 점에서 자기 자신까지의 거리는 0이다.양의 성질(Positivity)서로 다른 두 점 사이의 거리는 항상 0보다 크다.대칭성(Symmetry)거리 함수는 대칭적이다. 삼각 부등식(Triangle Inequality)삼각 부등식이 성립한다.  이러한 조건을 만족하면, (M,d)(M, d)(M,d)는 metric space라고 한다..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|1. Bellman Equation for Action-Value Function 이 식은 Action-Value Function(Q-function)에 대한 Bellman 방정식으로, 주어진 정책 π 하에서 특정 상태 sts_tst​ 와 행동 ata_tat​ 를 선택했을 때, 기대되는 총 보상.p(st+1​∣st​,at​) : 현재 상태 st​에서 행동 at​ 를 취했을 때, 다음 상태 st+1​ 로 전이될 확률R(st​,at​,st+1​) : 현재 상태 st​ 에서 행동 at​ 를 했을 때, 즉시 얻는 보상γ : 할인율(0~1 사이의 값)로, 미래 보상의 가중치를 조절π(at+1​∣st+1​) : 다음 상태 st+1​ 에..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|1. Policy Evaluation (정책 평가)수식 및 개념:정책 평가란 주어진 정책(policy) π의 **가치 함수(value function) Vπ**를 계산하는 방법을 의미함.이를 위해 동적 계획법(dynamic programming, DP)을 활용.동적 계획법(DP)은 1950년 Richard Bellman에 의해 고안된 최적화 방법으로, 큰 문제를 작은 문제로 쪼개고 재귀적인(recursive) 형태로 해결하는 방식. 2. Action-Value Function 업데이트수식 및 개념:Bellman 방정식을 이용하여 Action-Value Function Q(s,a)를 업데이트:여기서,p(s′∣s,a)는 상태 s..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리| 벨만 최적 방정식 (Bellman Optimality Equation) for Value Function 2>1. 벨만 최적 방정식 (Value Function) V∗(s): 상태 s에서 얻을 수 있는 최대 기대 보상 (Optimal Value Function).maxa​: 가능한 모든 행동 a 중에서 최적의 행동을 선택.∑s′​: 다음 상태 s′에 대한 기대값을 계산.p(s′∣s,a): 현재 상태 s에서 행동 a를 했을 때 다음 상태 s′로 전이될 확률.R(s,a,s′): 상태 s에서 행동 a를 하고, 상태 s′로 전이되면서 얻는 보상.γ: 할인율 (0 ≤ γ V∗(s′): 다음 상태 s′에서 얻을 수 있는 최대 기대 보..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|강화학습에서의 정책이란 상태에서 어떤 행동을 선택할지 결정하는 전략을 말한다. 이는 현 상태에서 가장 최적의 보상을 얻을 수 있는 행동이 무엇인가를 찾는 것이다. 곧 강화학습에서는 최상의 정책을 찾는 것이 목표가 된다. 그렇다면 더 나은 정책을 찾기위해서는 어떻게 해야할까? - 최적의 정책을 찾기위한 Bellman Equation  Better Policy:  Optimal Policy:  Optimal Value Function:   Optimal Action-Value Function:   Better Policy:두 정책 π1​과 π2​ 중에서 π1​이 더 나은 정책이라는 것은, 모든 상태 s에 대해 π1​이 π2​보다..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|- 다음과 같은 예시의 학습 상황 MDP 매트릭스를 그려보자.   - 다음과 같은 예시의 학습 상황 MDP 매트릭스를 그려보자. 1. 전이 확률 행렬 (P)  2. 보상 행렬 (R) - 여기서 기대보상과 가치함수를 구해보자.1. 기대 보상 (Expected Reward) 계산*특정 상태에서 하나의 액션을 수행했을 때 즉각적으로 얻는 보상의 기대값을 의미. -> 현재 상태에서 다음 상태로 넘어갈 때 받는 즉시 보상의 평균값을 계산  - R(집중학습)  - R(스트레스)   - R(스마트폰 사용)  2. 가치 함수 V(s) 계산 예제 (γ=0.9) * 가치 함수는 현재 상태에서 시작하여 미래에 얻게 될 총 보상의 기대값을 의미...

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|  1. 밸만 방정식 기본 정의 V(st​)는 상태 st​의 가치 함수.p(st+1∣st)는 상태 sts_t st​에서 st+1​로 전이할 확률.R(st​,st+1​)는 상태 st​에서 st+1​로 전이할 때 받는 보상.γ는 할인율.이 식은 현재 상태에서의 가치가 "다음 상태로의 전이 확률 × (즉각적인 보상 + 할인된 다음 상태의 가치)"의 합의 의미 2. 수식 분해하기  첫 번째 수식의 대괄호를 분배하여 두 부분으로 분리 -> 즉각적인 보상의 기대값 | 다음 상태의 할인된 가치의 기대값 Rˉ(st)는 상태 st​에서의 기대 보상으로, 모든 가능한 다음 상태로 전이할 확률과 각각의 보상을 곱한 합. V는 모든 상태의 가치를..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|-  강화학습에서 정책 π\piπ에 따른 상태-행동 가치 함수식 1. 기본 정의  Qπ(st​,at​): 정책 π에 따라 상태 st​에서 행동 at를 선택했을 때의 기대 누적 보상.Gt​: 시점 t부터 시작되는 누적 보상(Return).Eπ​: 정책 π에 따른 기대값.즉, 주어진 상태 st​와 행동 at​에서 시작해 정책 π를 따랐을 때 얻을 수 있는 누적 보상의 기대값을 의미. 2. 누적 보상의 정의로 전개  Rt+1​: 시점 t+1에서 받는 보상.γ(gamma): 할인율로, 미래 보상의 현재 가치에 대한 가중치를 조절합니다. 0≤γ≤10 Gt+1​: t+1 시점부터의 누적 보상. 3. 누적 보상의 정의를 다시 사용  Gt..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리| V(s0​): 초기 상태 s0s_0 s0​에서의 가치 함수(value function).∑s′\sum_{s'} ∑s′​: 모든 가능한 다음 상태 s′s' s′에 대한 합산을 의미.P(s′∣s0)P(s'|s_0) P(s′∣s0​): 초기 상태 s0s_0 s0​에서 다음 상태 s′s' s′로 전이될 확률.R(s0,s′)R(s_0, s') R(s0​,s′): 상태 s0s_0 s0​에서 s′s' s′로 전이될 때 얻는 보상(reward).γ\gamma γ: 감가율(discount factor)로, 미래 보상의 현재 가치를 조정.V(s′)V(s') V(s′): 다음 상태 s′s' s′에서의 가치 함수.  P(s0​∣s0​): 상태 ..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|6일 날 학습한 벨만 방정식과는 달리 MDP의 보상함수는 행동(action)을 명시적으로 고려하며, 정책 π(a_t|s_t)가 중요한 역할을 하게 된다. 이는 에이전트가 각 상태에서 어떤 행동을 선택할지에 대한 확률 분포로, 정책 기반 강화학습의 핵심이 된다.  정책 π\piπ: 현재 상태에서 어떤 행동을 선택할 확률전이 확률 ppp: 행동 이후 다음 상태로 전이될 확률보상 RRR: 상태와 행동, 전이된 상태에 따른 보상 정책이 이미 고정되어 있거나, 각 상태에서 단 하나의 행동만 가능하다고 가정했던 벨만 방정식에서 에이전트가 각 상태(state)에서 취할 수 있는 행동(action)들이 명확하게 정의된다.  |후기 및 확장..