강화학습의 기본 구조는 고리다. 정책이 행동을 고르고, 환경이 보상과 다음 상태를 돌려주고, 그 결과로 정책을 고친다. 궁금한 행동이 있으면 한 번 해 보면 된다.
실제 서비스에서 이 고리를 그대로 돌리기 어려운 자리가 많다. 추천 시스템에서 "해 본 적 없는 행동"이란 진짜 사용자에게 이상한 것을 보여 준다는 뜻이다. 가격 정책이라면 실제 매출이 걸리고, 의료나 물류 제어라면 안전이 걸린다. 그런데 그 시스템에는 지난 몇 년치 로그가 이미 쌓여 있다. 무엇을 보여 줬고 사용자가 어떻게 반응했는지가 수억 건이다.
오프라인 강화학습(offline RL)은 그 로그만 가지고, 환경을 한 번도 건드리지 않고 더 나은 정책을 만들어 내려는 시도다. 배치 강화학습이라고도 부른다. 로그를 만든 쪽, 곧 그 기록이 쌓이는 동안 실제로 행동을 고르던 정책을 행동 정책(behavior policy)이라 부르고, 우리가 새로 배우려는 정책과 구별한다. 이 글 전체가 그 두 정책 사이의 거리를 다루는 이야기다.
Q값의 부풀음
로그가 잔뜩 있으니 지도학습처럼 하면 될 것 같다. 왜 그렇게 끝나지 않는지부터 본다.
행동 복제의 상한
지도학습처럼 하는 방법이 실제로 있고 이름도 있다 — 행동 복제(behavior cloning)다. 로그에 있는 상태에서 로그가 골랐던 행동을 그대로 흉내 내도록 분류기를 학습하면 끝이다. 상태가 입력이고 그때 고른 행동이 정답 라벨이다.
문제는 이것이 행동 정책보다 잘할 수는 없다는 점이다. 흉내는 잘해 봐야 원본과 같다. 우리가 원하는 것은 흉내가 아니라 개선이다. "지난번에 A를 보여 줬을 때 반응이 이랬는데, B를 보여 줬으면 더 좋았을까"를 알고 싶다. 그리고 개선하려면 로그가 안 고른 행동이 얼마나 좋은지를 어떻게든 물어야 한다.
데이터 밖의 max
그 질문을 강화학습은 Q 함수로 한다. 는 상태 에서 행동 를 하고 그 뒤로 정책을 따랐을 때 얻을 보상의 합을 어림한 값이고, 신경망이 그 값을 낸다. 학습은 아래 식으로 목표값을 만들어 그쪽으로 Q를 옮기는 일이다.
여기 있는 는 모든 행동을 후보로 놓는다. 로그에 있는 행동만 보는 것이 아니다. 그리고 로그에 없는 행동의 Q값을 물으면, 신경망은 모른다고 답하지 않는다. 주변 값에서 어림해 아무 숫자나 내놓는다. 자기 값을 자기 값으로 갱신하는 이 구조를 부트스트랩이라 부르는데, 어림한 숫자가 그대로 다음 목표로 들어간다는 것이 이 이름이 가리키는 위험이다.
과대평가 고리
어림한 값이 실제보다 낮게 나오면 그 행동은 안 골리고 그걸로 끝이다. 실제보다 높게 나오면 이야기가 달라진다. 숫자로 한 바퀴 따라가 보자.
어떤 상태에서 로그에 있는 행동은 A 하나이고 실제 값은 5다. 로그에 없는 행동 B~K 열 개도 실제 값은 전부 5라고 하자. 신경망은 A는 자료가 있어 5로 정확히 맞추지만, 나머지 열 개는 자료가 없어 각자 표준편차 0.5쯤의 잡음이 낀 값을 낸다. 잡음이 평균 0이라 해도, 열 개 중 가장 큰 것의 기댓값은 5가 아니라 대략 5.77이다 — 정규분포 열 개의 최댓값은 평균 위로 표준편차의 1.5배쯤 떨어진 자리에 온다.
는 그 5.77을 집는다. 보상 , 할인율 라면 앞 상태의 목표값은 원래 5.5여야 하는데 6.19가 된다. 그 목표를 향해 학습하면 앞 상태의 Q값이 0.69만큼 올라가고, 신경망은 비슷한 상태들의 값도 함께 끌어올린다. 다음 바퀴에서는 이미 올라간 값 위에 또 잡음의 최댓값이 얹힌다. 한 번에 생기는 차이가 작아도 갱신이 수만 번 돌면 값은 실제와 상관없는 높이까지 간다.
끊기지 않는 고리
온라인 학습에서도 이 과대평가는 생긴다. 다만 거기서는 고리가 저절로 끊긴다. 부풀려진 행동을 정책이 실제로 해 보면 보상이 형편없이 돌아오고, 그 자료가 값을 끌어내린다. 오프라인에는 그 자료가 영영 안 온다. 학습을 오래 돌릴수록 값은 더 커지고, 정책은 확인해 본 적 없는 행동 쪽으로 더 깊이 끌려간다.
이것이 오프라인 강화학습의 중심 문제이고, 부르는 이름은 분포 이동(distributional shift)이다 — 학습된 정책이 고르는 행동의 분포가 행동 정책의 분포에서 벗어나는 것을 말한다. 벗어난 자리에서는 값을 믿을 근거가 없다. 증상이 특이해서 알아보기 쉽다. 학습 곡선의 Q값 평균이 계속 오르는데, 같은 정책을 실제로 돌려 보면 점수가 행동 복제보다 낮다.
누르는 네 갈래
대응은 결국 "데이터가 없는 자리를 조심하게 만든다"는 한 가지인데, 어디에 제약을 거는지가 다르다.
| 어디를 누르나 | 방식 | 성격 | |
|---|---|---|---|
| 정책 제약 | 정책 | 행동 정책에서 너무 멀어지지 않게 벌점을 준다 | 안전하지만 개선 폭이 제한된다 |
| 값 보수화 | Q 함수 | 데이터에 없는 행동의 Q값을 학습 중에 일부러 낮춘다 | 조절 값 하나가 성능을 크게 흔든다 |
| 데이터 안 부트스트랩 | 목표값 | 애초에 로그에 있는 행동으로만 목표를 만든다 | 데이터 밖을 아예 안 묻는다 |
| 열 모델링 | 문제 정의 | 상태 · 행동 · 보상의 나열을 시퀀스로 보고 다음 행동을 예측한다 | 가 없어 부풀음도 없다 |
정책 제약
가장 직관적인 쪽이다. 정책의 손실에 행동 복제 항을 섞어 "로그가 하던 것에서 크게 벗어나지 마라"고 잡아 둔다. 초기 연구인 BCQ·BEAR 계열은 행동 정책을 따로 흉내 내는 모델을 두고 그 근처의 행동만 후보로 남겼고, 나중에는 Q를 키우는 항과 행동 복제 항을 한 손실에 더하는 단순한 형태가 오히려 잘 버틴다는 결과가 나왔다.
두 항의 비율이 곧 개선과 안전의 교환이다. 행동 복제 쪽 무게를 키우면 정책은 로그를 그대로 따라 하고, 줄이면 Q를 따라 데이터 밖으로 나간다. 구현이 단순하고 잘 무너지지 않아 실무의 첫 시도로 쓸 만하다.
값 보수화
문제를 정면으로 다루는 쪽이고 대표가 CQL(Conservative Q-Learning)이다. 학습 목표에 항을 하나 더해서, 데이터에 있는 행동의 Q는 받쳐 두고 정책이 고를 법한 다른 행동들의 Q는 눌러 놓는다. 그러면 학습된 Q가 실제 값의 아래쪽 경계처럼 행동해서, 부풀려진 봉우리가 생길 자리가 없어진다.
대가는 누르는 세기를 정하는 계수 하나에 성능이 크게 흔들린다는 것이다. 너무 세게 누르면 데이터 밖의 모든 행동이 바닥에 깔려 사실상 행동 복제와 같아지고, 너무 약하면 부풀음이 새어 나온다. 좋은 값이 자료마다 다르고, 그 값을 고르려면 정책을 평가해야 하는데 그 평가가 아래에서 볼 가장 어려운 일이다.
데이터 안 부트스트랩
접근이 다르다. 대표가 IQL(Implicit Q-Learning)인데, 목표값을 만들 때 모든 행동에 대한 를 아예 계산하지 않는다. 대신 로그에 실제로 있는 행동들의 값 분포에서 위쪽, 이를테면 상위 30% 근처를 취해 를 대신한다. 평균을 구하는 회귀를 비대칭으로 비틀어 위쪽 분위로 끌어올리는 이 방법을 expectile 회귀라 부른다.
데이터 밖의 Q를 한 번도 묻지 않으므로 부풀음이 원천적으로 안 생긴다. 정책은 마지막에 "로그에 있는 행동 중 값이 높은 것에 더 큰 무게를 준 행동 복제"로 뽑는다. 튜닝할 것이 적고 학습이 안정적이라 다루기 편한 쪽이다. 대신 로그에 한 번도 없는 행동은 영영 고르지 않는다.
열 모델링
강화학습을 시퀀스 예측 문제로 바꿔 버린다. Decision Transformer가 대표인데, 상태·행동과 함께 "지금부터 끝까지 얻을 보상의 합"을 시퀀스에 끼워 넣고 다음 행동을 언어 모델처럼 예측한다. 이 남은 보상의 합을 return-to-go라 부른다. 추론할 때 높은 return-to-go를 조건으로 넣으면 "그만큼 잘했던 궤적이 하던 행동"이 나온다.
도 부트스트랩도 없어서 부풀음 문제 자체가 없다. 대신 로그에 통째로 들어 있던 좋은 궤적을 흉내 내는 데 가깝다. 앞부분은 궤적 1에서, 뒷부분은 궤적 2에서 잘했던 조각을 새로 이어 붙이는 일은 Q를 쓰는 방법들보다 약하다.
행동 복제 기준선
이 분야에서 가장 자주 되풀이되는 실수가 있다. 행동 복제를 기준선으로 안 두는 것이다. 새 알고리즘의 점수만 보고 "강화학습이 잘 됐다"고 하면, 그 점수가 흉내만으로도 나오는 값인지 알 길이 없다.
숙련자 로그
로그를 만든 것이 이미 잘 다듬어진 규칙 기반 시스템이거나 숙련된 사람이라면, 그 로그는 상당히 좋은 정책의 기록이다. 이런 자료에서는 복잡한 오프라인 강화학습 알고리즘이 단순한 행동 복제를 못 이기는 경우가 흔하다. 이유가 분명하다 — 이미 좋은 행동만 있는 로그에서는 개선할 여지가 작고, 강화학습은 그 작은 여지를 얻으려고 데이터 밖을 기웃거리다 잃는 것이 더 크다.
필터링 행동 복제
행동 복제에 한 겹만 얹어도 강해진다. 궤적마다 받은 보상의 합을 세어 상위 10%나 20%만 남기고, 그것만으로 행동 복제를 한다. 이를 필터링 행동 복제라 부른다. 구현은 정렬 한 번이 전부인데, 공개 벤치마크의 여러 자료에서 이 방법이 정교한 알고리즘과 비슷하거나 더 나은 점수를 낸다.
이 결과가 가르치는 것이 있다. 강화학습이 하는 일의 상당 부분은 "좋았던 궤적에 무게를 더 주는 것"이고, 그 일만 놓고 보면 보상으로 거르는 것으로도 된다. 강화학습만이 할 수 있는 일은 그다음, 곧 서로 다른 궤적의 좋은 조각을 이어 붙이는 일이다.
섞인 로그
거꾸로, 로그가 무작위에 가깝거나 여러 정책이 섞여 있으면 강화학습 쪽이 크게 이긴다. 미로로 예를 들면, 어떤 궤적은 입구에서 중간 지점까지 빨리 갔지만 그 뒤로 헤맸고, 다른 궤적은 중간 지점에서 출구까지 빨리 갔지만 앞부분에서 헤맸다. 둘 다 보상의 합으로는 하위권이라 필터링 행동 복제는 둘 다 버린다. Q를 쓰는 방법은 중간 지점의 값을 통해 두 반쪽을 잇고 처음부터 끝까지 빠른 경로를 만들어 낸다.
그러니 어느 방법이 이길지는 자료의 성격이 정한다. 기준선 셋을 늘 함께 돌린다 — 행동 복제, 필터링 행동 복제, 그리고 쓰려는 알고리즘. 앞의 둘과 차이가 안 나면 복잡한 쪽을 운영할 이유가 없다.
오프라인 정책 평가
알고리즘보다 실무에서 더 큰 벽은 평가다. 새 정책이 나왔는데 환경에 안 붙여 보고 얼마나 좋은지를 알아야 한다. 붙여 볼 수 있으면 애초에 오프라인으로 학습할 이유가 없었다. 이 문제를 오프라인 정책 평가(off-policy evaluation)라 부른다.
중요도 가중
로그의 각 기록에 "새 정책이라면 이 행동을 고를 확률 ÷ 행동 정책이 골랐던 확률"을 곱해 보정한다. 새 정책이 더 자주 고를 행동의 기록은 크게, 덜 고를 기록은 작게 센다. 편향이 없다는 좋은 성질이 있는데, 두 정책이 조금만 달라도 분산이 폭발한다.
숫자로 보면 얼마나 빠른지 보인다. 한 단계에서 행동 정책이 0.3의 확률로 고른 행동을 새 정책은 0.6으로 고른다면 그 기록의 가중치는 2다. 결정이 열 단계에 걸친 궤적이면 확률이 곱해져 가중치는 가 된다. 반대 방향으로 어긋난 단계가 섞이면 0.5씩 곱해져 거의 0이 된다. 로그 1만 건이 있어도 평가값은 가중치가 수백·수천인 몇 건이 사실상 혼자 정하고, 나머지 수천 건은 0 근처의 가중치로 무시된다. 실제로 쓸 수 있는 표본이 몇 건으로 줄어드는 것이다.
모델 기반 평가
다른 길은 보상을 예측하는 모델을 따로 학습해 새 정책이 고를 행동의 보상을 그 모델로 계산하는 것이다. 로그 전체를 고르게 쓰므로 분산은 작다. 대신 모델이 틀린 만큼 그대로 틀린다. 그리고 그 모델이 가장 틀리기 쉬운 자리가 하필 새 정책이 로그와 달리 고르는 행동, 곧 자료가 적은 자리다. 앞에서 본 Q의 부풀음과 같은 병이 평가 쪽에서 다시 나타난다.
이중 강건
둘을 섞은 것이 이중 강건(doubly robust) 방식이다. 보상 모델의 예측을 기본값으로 쓰고, 그 예측이 로그의 실제 결과와 어긋난 만큼만 중요도 가중으로 보정한다. 보상 모델이 맞으면 보정 항이 작아 분산이 줄고, 모델이 틀려도 중요도 가중이 편향을 잡아 준다. 둘 중 하나만 맞아도 버틴다는 뜻에서 붙은 이름이다.
실무에서는 셋을 함께 돌려 본다. 세 값이 비슷하면 어느 정도 믿을 만하고, 크게 갈리면 아직 아무것도 믿을 수 없다는 판정이다. 갈린다는 것 자체가 새 정책이 로그에서 너무 멀리 갔다는 신호이기도 하다.
로그 스키마
세 방법이 공통으로 요구하는 것이 하나 있다. 로그에 "그때 그 행동을 고를 확률"이 기록되어 있어야 한다. 이 값을 성향 점수(propensity score)라 부르는데, 중요도 가중의 분모가 바로 이것이다. 그런데 대부분의 서비스 로그에는 없다. 무엇을 보여 줬는지만 남기고 왜 그것이 뽑혔는지, 다른 후보가 뽑힐 확률이 얼마였는지는 안 남기기 때문이다.
그래서 오프라인 강화학습을 언젠가 하고 싶다면, 모델을 만들기 훨씬 전에 로깅부터 고쳐야 한다.
- 후보 집합과 각 후보의 선택 확률을 함께 남긴다
- 결정론적으로 1등만 내보내지 말고 아주 작은 비율이라도 무작위를 섞는다. 탐색이 0인 로그에서는 성향 점수가 1 아니면 0이라, 로그가 안 고른 행동은 어떤 방법으로도 평가할 수 없다
- 모델 버전과 실험 배정을 함께 남긴다. 나중에 어느 정책이 만든 기록인지 갈라야 한다
무작위를 1%만 섞어도 차이가 크다. 그 1%가 하루 수백만 건의 노출 위에 쌓이면 몇 달 뒤에는 모든 후보에 대해 수만 건의 기록이 생긴다. 이 세 줄이 없는 로그는 아무리 많아도 오프라인 강화학습의 자료가 되지 못한다. 양이 문제가 아니라 필요한 열이 없는 것이다.
선호 학습
이 이야기가 낯설지 않다면, 사람 선호로 언어 모델을 다듬는 과정이 같은 구조를 갖고 있기 때문이다. 사람이 매긴 선호 자료는 이미 수집이 끝난 고정된 자료이고, 그 위에서 정책을 옮기는 일은 그대로 오프라인 문제다.
오프라인 선호 최적화
선호 자료로 직접 최적화하는 방식은 보상 모델도 환경 상호작용도 없이 고정된 짝 자료만 쓴다. "이 프롬프트에 이 답이 저 답보다 낫다"는 짝을 모아 두고, 나은 답의 확률은 올리고 못한 답의 확률은 내린다. 학습하는 동안 모델이 새 답을 만들어 평가받는 일이 없으니 전형적인 오프라인 학습이다.
그래서 같은 병이 나타난다. 짝 자료는 어떤 기존 모델이 만든 답들이고, 그 모델이 여기서의 행동 정책이다. 학습된 모델이 그 분포에서 멀어질수록, 즉 자료에 없던 종류의 답을 내기 시작할수록 아무도 그 답을 평가한 적이 없다.
KL 벌점
이것을 막으려고 원래 모델에서 멀어지는 정도에 벌점을 건다. 두 확률 분포가 얼마나 다른지를 재는 KL 발산을 손실에 더하고, 그 계수가 얼마나 멀리 갈 수 있는지를 정한다. 앞의 정책 제약과 같은 처방이다. 계수를 너무 작게 두면 모델이 선호 자료의 빈틈을 파고들어 길이만 늘리거나 특정 말투를 과하게 쓰는 쪽으로 가고, 너무 크게 두면 원래 모델에서 거의 안 움직인다. 값 보수화의 계수와 같은 교환이다.
보상 모델의 부풀음
PPO 계열로 보상 모델을 두고 돌리는 구성은 온라인에 가깝다. 정책이 새 답을 만들고 보상 모델이 그 자리에서 점수를 매기기 때문이다. 대신 보상 모델 자체가 고정된 자료로 만들어졌으므로, 정책이 그 모델의 자신 있는 구간을 벗어나면 점수가 부풀어 오른다. 학습 곡선의 보상은 계속 오르는데 사람이 읽어 보면 답이 이상해지는 현상이 이것이다. 부풀음의 자리가 Q 함수에서 보상 모델로 옮겨 갔을 뿐 구조는 같다.
적용 판단
쓸 만한 자리
- 환경에서 탐색하는 비용이 크거나 위험하다
- 로그가 충분히 많고, 그 안에 행동의 다양성이 있다
- 행동 정책이 최적과 거리가 있다. 개선의 여지가 실제로 있어야 한다
- 성향 점수와 후보 집합이 로그에 남아 있거나, 지금부터 남길 수 있다
넷 중 둘째와 넷째는 같은 것을 다른 쪽에서 본 것이다. 다양성이 없는 로그는 성향 점수가 0과 1뿐이고, 그러면 학습도 평가도 로그가 하던 것 밖으로 한 발짝도 못 나간다.
쓰지 말아야 할 자리
- 로그가 결정론적 규칙 하나에서 나왔다. 대안이 기록에 없으니 배울 것도 잴 것도 없다
- 행동 정책이 이미 아주 좋다. 행동 복제가 더 낫고 더 단순하다
- 보상을 정의하기 어렵다. 클릭 같은 대리 지표를 보상으로 삼으면 그 지표만 부풀리는 정책이 나온다
- 온라인 실험을 값싸게 돌릴 수 있다. 그러면 그냥 그렇게 하는 편이 정확하다
대리 지표의 위험
셋째 줄은 온라인보다 오프라인에서 더 위험하다. 온라인에서는 클릭만 부풀리는 정책이 나와도 체류 시간이나 이탈률 같은 다른 지표가 곧 나빠져 누군가 알아챈다. 오프라인에서는 학습도 평가도 같은 로그 위에서 같은 대리 지표로 하므로, 이상해진 것을 알아챌 고리가 없다. 평가 숫자는 좋고 배포한 날에야 문제가 드러난다. 그래서 오프라인으로 만든 정책은 아무리 평가가 좋아도 작은 비율의 온라인 실험을 한 번 거친 뒤에 넓힌다.
정리
- 오프라인 강화학습은 이미 쌓인 로그만으로, 환경을 건드리지 않고 더 나은 정책을 만드는 일이다
- 지도학습처럼 안 되는 이유는 개선하려면 로그에 없는 행동의 값을 물어야 하기 때문이다
- 그 값은 모른다고 답하지 않고 어림된 숫자로 나온다. 가 부풀려진 쪽을 정확히 고르고, 오프라인에는 그것을 끌어내릴 자료가 오지 않는다
- 대응은 정책을 데이터에 묶거나, 데이터 밖 Q를 눌러 놓거나, 애초에 데이터 밖을 안 묻거나, 시퀀스 예측으로 바꾸는 넷이다
- 행동 복제와 필터링 행동 복제를 반드시 기준선에 둔다. 행동 정책이 이미 좋으면 복잡한 방법이 진다. 자료의 성격이 승자를 정한다
- 진짜 벽은 평가다. 오프라인 정책 평가는 중요도 가중 · 모델 기반 · 이중 강건 셋인데, 전부 로그에 선택 확률이 남아 있어야 성립한다
- 그래서 모델보다 로깅이 먼저다. 후보 집합과 선택 확률을 남기고, 아주 작은 비율이라도 무작위를 섞어 둔다. 탐색이 0인 로그는 양이 아무리 많아도 못 쓴다
- 선호 자료로 언어 모델을 다듬는 일도 같은 구조다. 원래 모델에서 멀어지는 데 벌점을 거는 처방이 정책 제약과 같은 것이다
읽어주셔서 감사합니다. 😊

