**본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.
<내용정리>
강화학습(Reinforcement Learning) 핵심개념
강화학습은 에이전트(Agent)가 환경(Environment)과 상호작용하며 시행착오를 통해 최적의 행동 전략을 학습하는 기계학습 방법입니다.
기본 구성 요소
- 에이전트(Agent): 환경과 상호작용하며 학습하는 주체
- 환경(Environment): 에이전트가 상호작용하는 대상으로, 상태 변화와 보상 제공
- 상태(State, s_t): 특정 시점에서 환경의 상황을 나타내는 정보
- 행동(Action, a_t): 에이전트가 상태를 기반으로 선택하는 동작
- 보상(Reward, r_t+1): 행동 후 환경으로부터 받는 피드백
- 전이(Transition): 현재 상태와 행동에 따라 다음 상태로 변화하는 현상
- 전이 튜플(s_t, a_t, r_t+1, s_t+1): 한 번의 상호작용 정보를 담은 데이터
정책(Policy) 유형
강화학습에서 정책은 에이전트가 각 상태에서 어떤 행동을 선택할지 결정하는 전략입니다.
- 이산 분포(Discrete Distribution)
- 유한한 수의 개별 행동 중에서 선택
- 각 행동에 선택 확률 할당 (예: 상하좌우 이동)
- 연속 분포(Continuous Distribution)
- 연속적인 범위에서 행동 값 선택
- 주로 확률 밀도 함수(가우시안 분포) 사용
- 예: 로봇 팔 각도 조절, 자율주행 차량 조향
환경의 전이 특성
환경은 전이 특성에 따라 결정론적이거나 확률적일 수 있습니다.
- 결정론적 환경(Deterministic Environment)
- 무작위성 없음: 같은 상태+행동 → 항상 같은 결과
- s_t+1 = f_T(s_t, a_t)
- 예: 체스 게임의 말 이동
- 확률적 환경(Stochastic Environment)
- 무작위성 존재: 같은 상태+행동 → 다른 결과 가능
- s_t+1 ~ P(·|s_t, a_t)
- 예: 포커 게임에서 카드 뽑기
-----
<후기>
일상 속에서 발견한 강화학습의 사회적 구성요소
강화학습 개념을 배우고 나니 이게 우리 사회 시스템 전체에 녹아있다는 점이 놀라웠다. 특히 사회의 기본 구성요소가 강화학습 프레임워크와 너무나 닮아있어서 신기했다.
우리 사회에서 에이전트는 개인, 기업, 정부 같은 의사결정자들이다. 매일 우리는 다양한 선택을 하고, 그 결과에 따라 학습하며 성장한다. 내가 취업 시장에 뛰어들어 이력서를 쓰고, 면접을 보고, 취업 전략을 수정해가는 과정 자체가 에이전트의 학습 과정과 똑같다.
환경은 우리를 둘러싼 사회, 경제, 문화적 상황이다. 코로나 팬데믹처럼 갑자기 환경이 바뀌면 우리의 행동 패턴도 완전히 달라져야 했다. 재택근무라는 새로운 '상태'가 등장했고, 우리는 화상회의라는 새로운 '행동'을 학습해야 했다.
매일의 상태는 내 현재 직업, 재정 상태, 건강 상태, 인간관계 등으로 볼 수 있다. 이런 상태를 기반으로 우리는 행동을 선택한다. 저축이 부족한 상태라면 과소비를 줄이는 행동을 선택하게 되는 식이다.
행동은 내가 직접 선택하는 모든 결정들이다. 대학 전공을 선택하거나, 이직을 결정하거나, 주식을 사거나 파는 모든 행위가 여기에 해당한다. 어떤 행동은 이산적(프로그래머냐 디자이너냐의 직업 선택)이고, 어떤 행동은 연속적(투자 금액이나 노력의 정도)이다.
보상은 내 행동의 결과로 얻는 급여, 성취감, 행복, 관계의 개선 같은 것들이다. 가장 재밌었던 건 사회에서의 보상이 즉각적인 것(월급)과 지연된 것(경력 개발)으로 나뉜다는 점이다. 당장의 높은 연봉과 미래의 커리어 성장 중 무엇을 선택할지는 내 개인적인 '감가 인자(γ)'에 달려있다.
전이는 내 선택이 미래 상태를 어떻게 바꾸는지를 보여준다. 대기업 취업이라는 행동을 선택하면 안정적인 재정 상태로 전이되지만, 스타트업 창업을 선택하면 더 불안정하지만 잠재적으로 더 큰 보상이 있는 상태로 전이된다.
어떤 선택들은 결정론적이다(저축하면 돈이 모인다), 하지만 많은 결정은 확률적이다(열심히 공부해도 합격이 보장되지 않는 시험). 이런 불확실성을 어떻게 다루느냐가 사회적 의사결정의 핵심이다.
결국 성공적인 삶이란 강화학습 알고리즘처럼 경험에서 배우고, 좋은 전략을 발전시키고, 장기적인 보상을 최대화하는 과정이 아닐까? 이제 사회 현상을 볼 때마다 "이건 어떤 보상 시스템에 의해 강화된 행동일까?"라고 생각하게 될 것 같다. 우리 모두가 이 거대한 사회라는 환경 속에서 학습하는 에이전트인 셈이다!
----
패스트캠퍼스 링크