dev-self 님의 블로그

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|기본 정의벨만 방정식: 현재 상태의 가치와 미래 상태의 가치 사이의 재귀적 관계를 표현하는 방정식MDP 문제를 해결하기 위한 핵심 방정식으로, 동적 프로그래밍의 기반종류상태 가치 함수(State Value Function)에 대한 벨만 방정식정의: V(s) = ∑_a π(a|s) ∑_s' P(s'|s,a)[R(s,a,s') + γV(s')]의미: 정책 π를 따를 때 상태 s의 가치는 가능한 모든 행동과 다음 상태에 대한 즉각적 보상과 할인된 미래 가치의 기대값행동 가치 함수(Action Value Function)에 대한 벨만 방정식정의: Q(s,a) = ∑_s' P(s'|s,a)[R(s,a,s') + γ ∑_a' π(a'|..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.  |내용 정리|기본 정의마코프 의사결정 과정: 튜플 ⟨S, A, P, R, γ⟩로 구성된 의사결정 프레임워크현재 상태만으로 미래 상태를 예측하는 마코프 속성을 기반으로 한 순차적 의사결정 모델구성 요소상태 공간(S): 에이전트가 놓일 수 있는 모든 상황의 집합행동 공간(A): 에이전트가 취할 수 있는 모든 행동의 집합전이 확률(P): 현재 상태와 행동이 주어졌을 때 다음 상태로 이동할 확률보상 함수(R): 상태 전이에 따른 즉각적 보상 값할인 인자(γ): 미래 보상의 현재 가치 반영 비율결정론적 환경의 특성특정 상태와 행동이 주어졌을 때 다음 상태가 100% 확정전이 확률이 0 또는 1로만 존재수식: P(S_{t+1} = s_{t+1}|..

**본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.  |내용 정리|1. 마르코프 속성(Markov property)마르코프 속성이란, 랜덤 변수의 순열 S₀, S₁, S₂, ... 이 아래의 조건을 만족하는 경우를 말함:P(St+1 = st+1|St = st,..., S0 = s0) = P(St+1 = st+1|St = st)이는 미래 정보를 예측하기 위해 모든 과거 상태가 다 필요하지 않고, 가장 최근의 상태만 있어도 충분하다는 의미St는 마르코프라고 표현함2. 마르코프 프로세스(Markov process)마르코프 속성을 만족하는 랜덤 변수의 순열을 말하며, S₀, S₁, S₂, ...⟨S, P⟩로 표기됨S: 유한 상태 공간(state의 집합)P: 전이 확률 모델(행렬), P(St+1..

**본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.  Return의 개념수학적 정의: 총 보상(Return)은 현재 시점(t) 이후 받게 될 모든 보상들의 합으로, 이때 미래의 보상은 할인 계수만큼 할인되어 계산. 즉, 다음 스텝의 보상에 할인 계수를 적용하지 않고, 그 다음 스텝의 보상에는 할인 계수를 한 번 적용하고, 그 다음은 할인 계수의 제곱을 적용하는 식으로 계산.할인 계수(γ, Discount factor): 0과 1 사이의 값으로, 미래 보상의 중요도를 결정. 이 값이 1에 가까울수록 미래 보상을 현재와 거의 동등하게 중요시하고, 0에 가까울수록 현재 보상만을 중요시 함.특징: 에이전트의 정책(policy)이나 환경의 전이(transition)가 확률적일 경우, 같은 상태에..

**본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 강화학습(Reinforcement Learning) 핵심개념강화학습은 에이전트(Agent)가 환경(Environment)과 상호작용하며 시행착오를 통해 최적의 행동 전략을 학습하는 기계학습 방법입니다.기본 구성 요소에이전트(Agent): 환경과 상호작용하며 학습하는 주체환경(Environment): 에이전트가 상호작용하는 대상으로, 상태 변화와 보상 제공상태(State, s_t): 특정 시점에서 환경의 상황을 나타내는 정보행동(Action, a_t): 에이전트가 상태를 기반으로 선택하는 동작보상(Reward, r_t+1): 행동 후 환경으로부터 받는 피드백전이(Transition): 현재 상태와 행동에 따라 다음 상태로 변화하는 현상전..

**본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. 강화학습(Reinforcement Learning)의 핵심 개념강화학습의 정의와 원리강화학습은 에이전트가 환경과의 지속적인 상호작용을 통해 최적의 행동 전략을 학습하는 인공지능 방법론입니다. 이 학습 방식은 생물학적 학습과 유사하게, 행동에 대한 보상이나 처벌을 통해 바람직한 행동 패턴을 강화합니다. 에이전트는 환경 속에서 행동을 취하고, 그 결과로 얻는 상태 변화와 보상 신호를 통해 어떤 행동이 유리한지 점진적으로 학습합니다.강화학습의 주요 특징시행착오 기반 학습: 에이전트는 환경과 상호작용하며 직접 경험을 통해 학습합니다지연된 보상: 즉각적인 보상보다 **장기적인 보상의 합(누적 보상)**이 중요합니다자율적 학습: 명시적인 교사 없..