dev-self 님의 블로그

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|olicy Iteration 파이썬 코드 구현 4>그리드월드 환경 내 정책 반복 알고리즘 예제 디버깅25일차 그리드 월드의 디버깅을 통해서 정책에 따라 학습이 어떻게 진행되는지 알아보자(코드는 25일차 참조)출력의 구조와 의미1. 가치 함수 수렴 과정디버깅 출력의 첫 부분은 가치 함수가 반복적으로 수렴해가는 과정을 보여준다:value_vector: 모든 상태(총 16개 상태)의 가치를 일렬로 나열한 벡터이다.value_table: 동일한 가치 정보를 4x4 그리드 형태로 재구성한 것이다.각 반복에서 가치 함수는 점점 더 정확한 값으로 업데이트된다. 예를 들어, 첫 번째 행 첫 번째 셀의 가치가 1.43861737에서 시작해 ..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|olicy Iteration 파이썬 코드 구현 3>그리드월드 환경 내 정책 반복 알고리즘 예제 2아래 경로는 중앙의 장애물을 우회하면서 목표 지점들을 효율적으로 방문하는 방법을 보여주고 있다. 지금껏 배운 강화학습의 정책 반복(Policy Iteration) 알고리즘을 적용하여 최적 경로를 찾아보자.  환경 구성:4x4 그리드 환경에이전트 시작 위치(A): (0, 0) (좌측 상단)직장(W) 위치: (0, 3) (우측 상단)집(H) 위치: (3, 3) (우측 하단)장애물(Park) 영역: 중앙 2x2 영역 (1,1), (1,2), (2,1), (2,2)행동 공간:0: 위로 이동1: 오른쪽으로 이동2: 아래로 이동3: 왼쪽으로..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Policy Iteration 파이썬 코드 구현 2>그리드월드 환경 내 정책 반복 알고리즘 예제아래와 같이 파란색 영역(드리프트 영역)으로 이동하면 시작점(A)으로 돌아가는 환경에서의 정책 반복 알고리즘 구현하기 밑에 제시된 코드는 3x4 그리드월드 환경에서 정책 반복(Policy Iteration) 알고리즘을 사용하여 최적 정책과 가치 함수를 찾는 구현이다.1. 환경 설명그리드월드 구성크기: 3x4 격자 (행 3개, 열 4개)시작점(A): 좌측 상단 (0,0)목표점(G): 우측 상단 (0,3)파란색 영역(Drift Area): 상단 중앙 (0,1)과 (0,2) 위치중요: 이 영역으로 이동하면 자동으로 시작점(0,0)으로 돌..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Policy Iteration 파이썬 코드 구현>핵심코드 1 - 정책 평가 함수 (Policy Evaluation)코드설명함수 정의: 환경, 현재 가치 벡터, 정책을 입력으로 받는다.초기화: 변화량 임계값을 전역 수렴 기준 delta(1e-3)로 설정한다.카운터 초기화: 반복 횟수를 추적할 카운터를 시작합니다.수렴 루프: 값의 최대 변화가 임계값보다 작아질 때까지 계속한다.최대 변화량 초기화: 각 반복마다 최대 변화량을 0으로 재설정한다.새 가치 벡터 생성: 업데이트된 상태 가치를 저장할 벡터를 초기화한다.상태 루프: 환경의 각 상태와 그 인덱스를 반복한다.상태 가치 초기화: 현재 상태의 가치를 0으로 시작한다.행동 루프: ..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|Policy Iteration은 **정책 평가(Policy Evaluation)**와 **정책 개선(Policy Improvement)**을 반복하며 최적 정책을 찾는 강화학습 알고리즘을 말한다. 여기서 사용되는 주요 기호의 의미:π: 정책(policy)V: 가치 함수(value function)s, s': 상태(state)a: 행동(action)p(s'|s,a): 상태 s에서 행동 a를 취했을 때 상태 s'로 전이될 확률R(s,a,s'): 상태 s에서 행동 a를 취해 상태 s'로 이동했을 때 받는 보상γ: 감가율(discount factor)δ: 수렴 임계값(convergence threshold)Δ: 가치 함수 업데이트 ..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|1. Policy Improvement란?강화학습(RL)에서 Policy Improvement(정책 개선)은 주어진 정책 π를 더 나은 정책 π′로 개선하는 과정으로 즉, 기존 정책보다 더 높은 보상을 받을 수 있도록 행동을 조정하는 방법이다. 2. 정책 개선을 위한 업데이트 수식주어진 정책 π의 Action-Value Function Qπ(s,a)를 알고 있다면,이를 이용해 정책을 아래와 같이 개선할 수 있다. 3. 정책 개선의 조건정책이 개선되려면, 새로운 정책 π′가 기존 정책 π보다 더 높은 기대 보상을 가져야 한다. 즉, 아래 부등식이 성립해야 한다.이 부등식을 풀어보면,여기서 π′의 정의를 대입하면,이제 정리하면,..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|그리드 월드 환경을 통해 정책 평가(Policy Evaluation) 알고리즘 구현 - 3>그리드 월드 환경에 제약조건이 있다면 가치함수는 어떻게 구할 수 있을까? 다음과 같은 제약조건을 가정해서 가치함수를 구해보자.-드리프트와 장애물 영역에 대한 강화학습 개요:드리프트 영역은 에이전트가 진입 시 특정 위치(시작점)로 강제 이동되는 구역으로, 이동 경로 계획에 제약을 주는 요소이다.장애물 영역은 에이전트가 통과할 수 없는 공간으로, 이동 가능한 상태 공간을 제한하고 우회 경로를 필요한다.강화학습은 이러한 제약 환경에서 벨만 방정식을 반복적으로 적용해 각 상태의 가치를 계산하고, 최적 정책(목표 도달을 위한 최적 행동 순서)을..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|그리드 월드 환경을 통해 정책 평가(Policy Evaluation) 알고리즘 구현 - 2>18일 차 학습 내용에 나와있는 그리드 월드 환경 코드에 대한 간략한 정리와 학습 환경에서의 정책 평가 샘플도 코드로 구현하여 비교해 보도록 하자.그리드 월드 환경 (요약)3x4 고정 그리드 구조시작점(0,0), 목표점(0,3), 위험 지역(0,1-2)목표 도달 시 보상 +10, 나머지는 0결정론적 상태 전이적응형 학습 환경 (AdaptiveLearningEnv)적응형 학습환경 내 강화학습은 학습자가 최적의 난이도에서 학습할 때 가장 높은 보상을 받도록 설계되어, 지나치게 쉽거나 어려운 콘텐츠를 피하고 개인별 최적 학습 경로를 제공한다..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리|정책평가의 기본 코드의 전체적인 구조를 먼저 살펴보자. - 전체 알고리즘 함수 구조도 1. 환경초기화 -> 클래스 초기화 구조상태 공간 초기화: 4x4 그리드 설정에이전트 초기 위치를 (0,0)으로 설정목표 위치를 (3,3)으로 설정경계값 설정 (x, y 좌표의 최소/최대값)상태 배열 생성목표 위치에 -1 값 설정에이전트 위치에 1 값 설정상태 공간 리스트 생성모든 가능한 상태 조합 생성각 상태에서 목표와 에이전트 위치 표시행동 공간 정의0: 위1: 오른쪽2: 아래강화학습 환경의 기본 구성 요소를 잘 보여주고 있으며, 에이전트가 학습하고 탐색할 공간을 정의한다. 2. 정책1의 생성 -> 균등 확률정책1 생성 시작빈 정책 리스..

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다. |내용 정리| 수식 1 (벨만 기대 방정식)수식 2 (행렬 표현)수식 3 (반복 갱신)수식 4 (공간 및 수렴)  수렴 성질 - Tπ의 유일한 고정점은 Vπ임.  정의: 벨만 연산자 정의: 두 값 함수의 차이: 절대값 적용: 무한 노름으로 확장:반복 적용 시 수렴: 수식 설명밸만 연산자: 이 연산자는 현재 상태 𝑠에서의 값 함수를 업데이트하는 데 사용. 이는 모든 가능한 행동 𝑎와 다음 상태 𝑠′에 대해 보상과 할인된 미래 가치를 고려.수축성: 밸만 연산자가 수축적이라는 것은 두 값 함수의 차이가 연산자를 적용할 때마다 𝛾γ만큼 줄어든다는 것을 의미. 이는 𝛾일 때 보장.무한 노름: ∣∣⋅∣∣∞ 는 함수의 최대 절대값을 측정하는..