*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
|내용 정리|
<마코프 의사결정 과정(MDP) 정리>
기본 정의
- 마코프 의사결정 과정: 튜플 ⟨S, A, P, R, γ⟩로 구성된 의사결정 프레임워크
- 현재 상태만으로 미래 상태를 예측하는 마코프 속성을 기반으로 한 순차적 의사결정 모델
구성 요소
- 상태 공간(S): 에이전트가 놓일 수 있는 모든 상황의 집합
- 행동 공간(A): 에이전트가 취할 수 있는 모든 행동의 집합
- 전이 확률(P): 현재 상태와 행동이 주어졌을 때 다음 상태로 이동할 확률
- 보상 함수(R): 상태 전이에 따른 즉각적 보상 값
- 할인 인자(γ): 미래 보상의 현재 가치 반영 비율
결정론적 환경의 특성
- 특정 상태와 행동이 주어졌을 때 다음 상태가 100% 확정
- 전이 확률이 0 또는 1로만 존재
- 수식: P(S_{t+1} = s_{t+1}|A_t = a_t, S_t = s_t) = 1.0
상태 전이와 정책의 관계
- 상태 전이 확률은 에이전트의 정책(policy)에 의해 결정
- 정책: 각 상태에서 어떤 행동을 선택할지 결정하는 전략
- 전이 확률과 정책의 관계: P(S_{t+1} = s'|S_t = s) = ∑ P(S_{t+1} = s'|A_t = a, S_t = s)π(a|s)
MDP의 중요성
- 강화학습의 기반: 대부분의 강화학습 알고리즘을 위한 수학적 기초
- 의사결정 모델링: 불확실성 하에서의 순차적 의사결정 문제 표현
- 최적 정책 도출: 장기적 보상을 최대화하는 행동 전략 수립
- 다양한 응용 분야: 로봇 제어, 게임 AI, 추천 시스템, 자율주행 등에 활용
구체적 응용 예
- 공부 계획: 공부 시작 → 집중 → 시험 통과로 이어지는 상태 전이 및 보상 체계
- 스마트폰 사용, 음주 등의 행동에 따른 다양한 결과와 보상 구조
- 각 행동별 전이 확률과 보상을 통한 최적 학습 전략 도출 가능성
|후기 및 확장|
오늘 정리했던 MDP를 사용해 의사결정 과정을 시뮬레이션하는 코드를 작성해보자. 현재 상태("공부시작")와 선택한 행동("공부")에서 가능한 다음 상태들과 전이 확률을 출력하고 확률에 따라 무작위로 다음 상태를 예측하는 코드이다. 마지막으로 전이 결과와 받은 보상, 마지막으로 누적 보상을 출력한다.
코드로 본 마코프 의사결정 과정(MDP) 모델이 암시하는 것은 매 순간 내리는 결정(행동)은 미래 상태에 확률적으로 영향을 미치며, 이는 연쇄적으로 이어지고 장기적 보상을 최대화하는 일관된 의사결정 전략(정책)이 존재할 수 있다는 것을 알려준다.
그렇다면 우리는 우리의 일 또는 삶에 대한 보상을 최대화하기 위해 어떤 의사결정은 사용하고 있을까?
------
|인증|
-------
패스트캠퍼스 링크