에이전트·RAG

AGENT / 68번째 글

에이전트는 어디서 어긋나기 시작하는가

에이전트가 이상한 답을 낼 때 증상은 마지막에 보이지만 어긋난 자리는 그보다 앞입니다. 한 걸음이 무너지는 여섯 자리를 나누고, 증상에서 원인을 거슬러 찾는 방법과 자리별 처방을 정리합니다.

PALDYN Team29 MIN READ

지난 글에서 트레이스를 남기는 이야기를 했다. 트레이스는 작업 하나가 밟은 걸음을 차례대로, 걸음마다 들어간 것과 나온 것까지 함께 남긴 기록이다. 기록이 갖춰지면 그다음에 하게 되는 일이 실패한 작업을 열어 보는 것인데, 여기서 대부분 같은 함정에 빠진다. 마지막 걸음부터 본다.

답이 이상하니 답을 만든 걸음을 보고, 거기서 프롬프트를 고친다. 그런데 대개 그 걸음은 자기가 받은 것을 성실하게 처리했을 뿐이다. 어긋난 자리는 세 걸음 앞이다. 이 글은 그 앞자리를 어떻게 나누어 부르고, 증상에서 어떻게 거슬러 찾아가며, 찾은 뒤 어디까지 되돌아가는지를 다룬다.

한 걸음의 여섯 자리

자리마다 하는 일

에이전트가 도구를 한 번 부르고 그 결과를 받아 다음으로 넘어가는 한 바퀴를 걸음이라고 부르면, 걸음 하나는 여섯 단계로 나뉘고 실패는 그중 한 자리에서 시작한다.

  1. 이해 — 요청이 무엇을 원하는지, 조건이 몇 개인지 읽는다
  2. 계획 — 그 조건을 채우려면 무엇을 어떤 차례로 해야 하는지 정한다
  3. 도구 선택 — 이번 걸음에 쓸 도구를 고른다
  4. 인자 채우기 — 고른 도구의 스키마에 맞춰 값을 넣는다
  5. 결과 해석 — 도구가 돌려준 것을 읽고 무엇을 알게 됐는지 정한다
  6. 종료 판단 — 다 됐는지, 한 걸음 더 갈지 정한다

앞의 둘은 작업 전체에 걸리고 나머지 넷은 걸음마다 되풀이된다. 이해가 틀리면 그 뒤의 모든 걸음이 틀린 문제를 풀고, 결과 해석이 틀리면 그 뒤의 걸음이 틀린 사실 위에 선다. 여섯이 나란한 칸이 아니라 앞자리가 뒷자리의 바닥이 되는 순서라는 점이 디버깅을 어렵게 만든다.

한 걸음은 여섯 자리 중 하나에서 어긋난다

자리마다 다른 처방

이 여섯을 구분하는 이유는 처방이 전부 다르기 때문이다. 도구 설명이 모호해서 난 문제에 프롬프트의 지시문을 더 붙여도 안 낫고, 종료 조건이 없어서 도는 문제에 도구를 더 붙이면 더 오래 돈다.

프롬프트를 고쳐서 낫는 것은 대체로 위쪽 둘, 이해와 계획뿐이다. 요청을 조건 목록으로 먼저 풀어 적게 하거나 계획에 완료 기준을 함께 쓰게 하는 것은 지시문으로 바뀐다. 도구 선택과 인자 채우기는 도구의 이름·설명·스키마를 고쳐야 낫고, 결과 해석은 도구가 돌려주는 값의 모양을 고쳐야 낫고, 종료 판단은 바깥에서 세는 장치가 있어야 낫는다. 실패를 보자마자 시스템 프롬프트를 여는 습관이 오래 안 고쳐지는 버그를 만드는 이유가 여기 있다.

마지막 걸음의 함정

실제 트레이스 하나를 따라가 보자. 요청은 「지난 분기 환불 요청 중 72시간 넘게 처리되지 않은 건을 담당자별로 정리해 달라」였다.

  • 걸음 1에서 에이전트는 환불 요청 조회, 처리 시간 계산, 담당자별 묶기의 세 항목으로 계획을 세웠다
  • 걸음 2에서 search_tickets에 status를 「환불」로 넣어 불렀고, 빈 배열이 성공 응답으로 돌아왔다
  • 걸음 3에서 그 결과를 「지난 분기에 환불 요청이 없었다」로 적었다
  • 걸음 4에서 「72시간을 넘긴 환불 건은 없습니다」라고 답했다

증상은 걸음 4에 보이지만 어긋난 자리는 걸음 2다

마지막 걸음만 보면 흠잡을 데가 없다. 받은 사실에서 정확히 결론을 냈다. 실제로는 그 시스템이 상태 값을 영문 코드로 저장하고 있어서 「환불」로는 아무것도 안 걸렸다. 어긋난 것은 걸음 2의 인자이고, 그것을 0건으로 읽어 넘긴 걸음 3의 결과 해석이다. 걸음 4의 프롬프트에 「확실하지 않으면 단정하지 말라」를 더해 봐야, 모델은 이미 확실하다고 믿고 있으니 아무것도 안 바뀐다.

증상에서 자리로

여섯 증상

실무에서 보는 것은 증상이고 고쳐야 하는 것은 자리다. 자주 나오는 증상과 그 뒤에 있는 자리를 정리하면 이렇다.

증상 대개 어긋난 자리 확인하는 법 처방
조건 하나가 무시된 답 1. 이해 첫 걸음의 계획에 그 조건이 적혀 있는가 요청을 조건 목록으로 먼저 풀어 적게 한다
같은 조회를 조금씩 바꿔 반복 2. 계획 도구 인자 로그를 걸음 순서로 나열해 본다 종료 조건 명시, 진척 지표, 걸음 상한
있는 기능인데 「할 수 없다」 3. 도구 선택 그 도구 설명과 이웃 도구 설명을 나란히 읽는다 이름·설명에서 겹치는 부분 제거
도구가 400을 계속 뱉음 4. 인자 채우기 실패한 호출의 인자를 스키마와 대조 스키마 단순화, 예시 추가, 오류를 사람 말로
근거 없이 단정한 답 5. 결과 해석 그 주장의 근거가 된 도구 결과를 열어 본다 빈 결과를 다르게 다루도록 명시
절반만 하고 끝냄 6. 종료 판단 계획의 항목과 실제 밟은 걸음을 대조 완료 조건을 점검 목록으로

확인하는 법 칸이 이 표의 핵심이다. 처방 칸은 자리가 맞을 때만 듣는다. 자리를 틀리게 짚고 처방을 넣으면 증상이 잠깐 줄었다가 다른 모양으로 돌아오고, 그동안 프롬프트에는 아무 일도 안 하는 지시문이 한 줄씩 쌓인다.

한 증상의 두 원인

같은 증상이 다른 자리에서 오는 경우가 흔하다. 가장 자주 헷갈리는 것이 「절반만 하고 끝냄」이다. 「서울·부산·대구 세 지역의 지난달 매출을 비교해 달라」에 두 지역만 다룬 답이 나왔다고 하자.

한 갈래는 계획에 처음부터 두 지역만 있었던 경우다. 요청을 읽는 자리에서 대구를 흘렸거나, 계획을 세우면서 빠뜨렸다. 이때는 종료 판단이 제 일을 한 것이다 — 계획의 항목을 다 밟았으니 끝냈다. 다른 갈래는 계획에 세 지역이 다 있었는데 두 지역을 조회한 뒤 「충분하다」고 판단하고 답을 쓴 경우다. 이쪽이 진짜 종료 판단의 실패다.

절반만 하고 끝냄의 두 갈래

두 갈래의 처방은 반대 방향이다. 앞쪽은 요청을 조건 목록으로 풀어 적게 하는 이해·계획 쪽 처방이 듣고, 뒤쪽은 계획의 항목을 점검 목록으로 두고 전부 완료로 바뀌기 전에는 답을 쓰지 못하게 하는 종료 쪽 처방이 듣는다. 앞쪽 실패에 점검 목록을 붙이면 두 항목짜리 목록을 성실하게 다 지우고 끝낸다.

확인 뒤 수정

그래서 순서를 정해 둔다. 증상을 보고 표에서 후보 자리를 고른 다음, 트레이스에서 그 자리의 기록을 실제로 열어 확인한다. 계획 문제라고 짐작했으면 첫 걸음의 계획 문장을 읽고, 인자 문제라고 짐작했으면 실패한 호출의 인자를 스키마 옆에 놓는다. 짐작이 맞았을 때만 처방을 넣고, 틀렸으면 표의 다음 후보로 간다.

이 순서가 번거로워 보이지만 실제로 드는 시간은 트레이스 두세 개를 여는 정도다. 반면 짐작으로 프롬프트를 고치면 고친 것이 들었는지 알 방법이 없다. 같은 작업을 다시 돌려 성공해도 그것이 수정 덕인지 이번에 운 좋게 다른 길로 간 것인지 구분이 안 된다. 이 문제는 아래 재현 절에서 다시 다룬다.

조용한 실패

빈 결과의 오독

여섯 중 5번이 유독 나쁘다. 오류가 안 나고 로그가 깨끗한데 답만 틀리기 때문이다. 오류도 경고도 없이 틀린 답이 정상 응답처럼 나가는 것을 조용한 실패라고 부르는데, 앞의 환불 트레이스가 정확히 그 모양이다.

전형적인 경로는 이렇다. 조회 도구가 결과 0건을 돌려준다. 에이전트가 그것을 「없는 것이 확인됨」으로 읽고 다음으로 넘어간다. 그런데 실제로는 검색어를 잘못 넣어서 0건이었다. 이후 걸음은 전부 「없다」는 잘못된 전제 위에 쌓이고, 최종 답은 자신 있게 틀린다. 걸음 수 분포도 정상이고 도구 실패율도 0이고 비용도 평소보다 적게 든다. 지난 글에서 다룬 지표 어디에도 안 걸린다. 사용자가 「그럴 리가 없는데」라고 말해 줄 때까지 아무도 모른다.

한 값에 담긴 두 상황

여기서 문제는 모델이 아니라 도구가 두 가지 다른 상황을 같은 값으로 돌려준다는 것이다. 「찾아봤고 정말 없다」와 「질의가 이상해서 못 찾았다」가 둘 다 빈 배열이다.

모델 처지에서 보면 이 둘을 가를 정보가 입력에 아예 없다. 빈 배열 하나만 보고 「상태 값이 영문 코드라서 안 걸렸을 수도 있다」를 떠올리려면 그 시스템의 저장 방식을 알아야 하는데, 그것은 도구 안쪽의 사정이다. 사람 개발자라도 쿼리 결과가 빈 집합으로만 오면 같은 실수를 한다. 그러니 모델에게 더 의심하라고 가르치는 것은 정보가 없는 자리에서 판단을 잘하라고 요구하는 셈이고, 실제로 그런 지시는 반대쪽 실패를 낳는다 — 진짜 0건에도 계속 다시 찾는다.

도구 쪽 처방

그래서 처방은 프롬프트가 아니라 도구 쪽에 있다.

  • 빈 결과에 이유를 함께 돌려준다 — 「조건에 맞는 항목 없음. 검색한 범위: 2026-01~08」
  • 성공과 실패를 값으로 구분한다 — 빈 배열과 오류를 같은 자리에 넣지 않는다
  • 결과의 신뢰도를 함께 준다 — 유사도 점수가 낮으면 「관련 있는 결과 없음」이라고 말해 준다

환불 사례라면 도구가 「status 값 '환불'은 허용 값이 아닙니다. 허용 값: refund, exchange, cancel」을 돌려주기만 해도 걸음 3이 달라진다. 허용 값 밖의 입력을 조용히 받아 빈 결과로 돌려준 것이 이 실패의 뿌리였다. 도구 스키마 설계에서 다룬 원칙이 여기서 다시 나온다. 도구의 반환값은 모델이 읽는 문장이므로, 애매하게 쓰면 애매하게 읽힌다.

진척 지표

오류 횟수의 한계

2번 자리의 실패, 곧 같은 일을 되풀이하며 끝나지 않는 루프도 흔하고 비싸다. 이것을 오류 횟수로 잡으려는 시도가 자주 있는데 안 된다. 루프는 오류 없이도 돈다. 검색을 조금씩 바꿔 가며 100번 하는 동안 모든 호출이 200을 돌려준다.

걸음 상한만으로도 부족하다. 상한은 끝없이 도는 것을 막아 주지만, 상한에 닿을 때까지의 비용은 그대로 쓴다. 상한이 30이고 루프가 다섯째 걸음에서 시작됐다면 스물다섯 걸음치 토큰이 아무것도 안 만든 채 나간다. 상한은 최후의 방어선이고, 그보다 앞에서 돌기 시작한 것을 알아채는 장치가 따로 있어야 한다.

루프의 세 신호

잡는 방법은 오류가 아니라 일이 앞으로 나아갔는지를 재는 것이다. 이렇게 잰 것을 진척 지표라고 부르자.

  • 최근 다섯 걸음 동안 작업 기록의 「어디까지」가 안 움직였으면 돌고 있는 것이다
  • 같은 도구를 비슷한 인자로 세 번 이상 불렀으면 신호다
  • 계획의 항목이 하나도 완료로 바뀌지 않은 채 걸음만 늘고 있으면 신호다

둘째 신호의 「비슷한」은 그대로 비교하면 안 잡힌다. 「환불 지연」, 「환불 지연 건」, 「환불지연」은 문자열로는 셋 다 다르다. 그래서 인자를 먼저 정규화한다 — 대소문자와 공백을 하나로 맞추고, 키 순서를 정렬하고, 의미 없는 꼬리 낱말을 걷어 낸 뒤 같은 모양으로 만든다. 그다음 어떤 값이든 짧은 고정 길이 값으로 바꾸는 함수인 해시에 넣으면 비교와 셈이 가벼워진다. 정규화한 인자의 해시를 도구 이름과 함께 세면, 같은 해시가 세 번 나온 순간이 곧 신호다.

빠져나올 기회

잡은 뒤의 처리도 정해 둔다. 그냥 멈추는 것보다 한 번은 스스로 빠져나올 기회를 주는 편이 낫다. 「같은 접근을 반복하고 있습니다. 다른 방법을 쓰거나, 못 하겠으면 지금까지 알아낸 것을 정리하고 끝내세요」를 문맥에 넣어 주면 상당수는 거기서 정리하고 나온다. 그래도 안 되면 멈춘다.

멈출 때도 빈손으로 끝내지 않는다. 그때까지 확인한 것과 못 한 것을 갈라 적은 부분 결과를 돌려주면, 사용자는 처음부터 다시 시키지 않고 남은 것만 이어서 맡길 수 있다. 그리고 루프로 멈춘 작업에는 표시를 남겨 둔다. 아래 실패 기록 절에서 이 표시를 센다.

회복의 다섯 단계

되돌아갈 자리

실패를 다루는 마지막 조각은 「어디까지 되돌릴 것인가」다. 대부분의 구현이 걸음 단위 재시도만 갖고 있는데, 그것으로 안 되는 실패가 있다.

무엇이 실패했나 어디로 돌아가나
도구 호출이 일시적으로 실패 그 호출만 다시
인자를 잘못 채움 그 걸음을 오류 내용과 함께 다시
도구 선택이 틀림 그 걸음 앞으로 돌아가 다른 도구를 고르게
계획이 틀림 계획 세우는 자리로 돌아가 다시 세우게
요청 이해가 틀림 사람에게 되묻는다

표를 위에서 아래로 읽으면 되돌아가는 거리가 점점 길어진다. 이 다섯이 앞 절의 여섯 자리와 짝을 이룬다는 점을 보면 쓰임이 분명해진다. 진단에서 자리를 찾았으면 회복도 그 자리까지 돌아가야 하고, 그보다 덜 돌아가면 같은 실패가 되풀이된다.

계획 재수립

아래 둘이 대개 빠져 있다. 계획이 틀렸는데 걸음 단위 재시도만 있으면, 에이전트는 틀린 계획의 다음 항목을 성실하게 계속 수행한다. 「계획을 다시 세운다」가 가능한 동작으로 들어 있어야 한다.

언제 다시 세울지도 정해 둔다. 도구 결과가 계획의 전제를 깨뜨렸을 때가 그 자리다 — 「세 지역의 매출 표가 한 곳에 있을 것」을 전제로 세운 계획인데 지역마다 시스템이 다르다는 것이 드러나면, 다음 항목으로 가는 것이 아니라 계획으로 돌아간다. 다시 세울 때는 그때까지 확인한 사실을 버리지 않고 넘긴다. 처음부터 다시 시작하면 이미 쓴 비용을 한 번 더 쓴다.

되묻는 자리

그리고 맨 아래 줄이 중요하다. 어떤 실패는 고칠 수 없고 되물어야 한다. 요청이 애매해서 생긴 실패를 에이전트 혼자 반복해서 푸는 것은 비용만 쓰고 답은 안 나오는 가장 나쁜 조합이다.

되묻는 자리는 실패가 난 뒤가 아니라 미리 정해 둔다. 「지난 분기」가 회계 분기인지 달력 분기인지처럼 해석이 둘로 갈리고 둘의 결과가 크게 다른 조건, 돈이나 권한이 걸린 조건, 요청에 대상이 비어 있는 경우가 대표적이다. 사람을 어디에 붙일지 정할 때 승인 게이트와 함께 이 되묻는 자리도 같은 목록에 넣는다.

실패 기록

자리 태그

실패한 작업을 하나씩 고치는 것만으로는 다음 실패를 줄이지 못한다. 고친 뒤에 그 작업에 어느 자리에서 어긋났는지를 표시로 남긴다. 이 표시를 자리 태그라고 부르자. 이해·계획·도구 선택·인자 채우기·결과 해석·종료 판단의 여섯 값 가운데 하나이고, 루프로 멈춘 작업에는 앞 절의 표시를 함께 붙인다.

태그를 붙이는 일은 앞의 진단 순서를 마친 사람이 한다. 진단 없이 증상만 보고 붙이면 표의 둘째 칸을 그대로 옮겨 적은 것이 되어 분포가 증상 분포와 같아진다. 「절반만 하고 끝냄」을 전부 종료 판단으로 세는 식이다.

분포의 변화

태그가 몇 주치 쌓이면 실패가 어느 자리에 몰려 있는지가 보인다. 이 분포의 쓸모는 절대값보다 변화에 있다. 인자 채우기 비중이 갑자기 늘었다면 도구 스키마가 바뀌었거나 모델 버전이 바뀐 것이고, 도구 선택이 늘었다면 비슷한 이름의 도구가 새로 들어온 것이다. 결과 해석이 늘었다면 바깥 데이터의 모양이 바뀌었을 가능성이 크다 — 환불 사례의 상태 코드처럼 저장 방식이 바뀌면 그 위의 조회가 조용히 0건을 내기 시작한다.

지난 글에서 지표의 알림을 변화에 걸었던 것과 같은 이유다. 분포의 변화는 무엇이 바뀌었는지를 가리키고, 그 가리킴을 따라 바뀐 것을 찾으면 진단할 자리가 좁혀진다.

회귀 시험 묶음

진단하고 고친 실패 작업은 버리지 않고 모아 둔다. 요청 원문과 그때의 도구 응답, 기대한 답을 한 벌로 묶어 두고, 프롬프트나 도구나 모델을 바꿀 때마다 그 묶음을 다시 돌린다. 한 번 고친 실패가 다른 수정 때문에 되살아나지 않았는지 확인하는 이 시험을 회귀 시험이라고 부른다.

묶음은 자리 태그를 따라 고르게 채운다. 결과 해석 실패가 실제로 많다고 그것만 모으면, 계획 쪽을 건드리는 수정이 들어왔을 때 묶음이 아무것도 못 잡는다.

고치기 전의 재현

재현에 필요한 셋

회귀 시험 묶음에 들어가려면 그 실패를 다시 만들 수 있어야 한다. 실패를 같은 조건에서 다시 일으키는 일이 재현이고, 그러려면 지난 글에서 말한 셋이 남아 있어야 한다. 요청 원문과 그때의 시스템 프롬프트·도구 정의인 시작 상태, 모델에 실제로 들어간 것과 나온 것인 걸음별 입출력, 그리고 도구가 돌려준 바깥 응답이다.

셋 가운데 가장 자주 빠지는 것이 바깥 응답이다. 환불 사례에서 다음 날 다시 돌리면 그사이 누군가 데이터를 고쳐 결과가 달라져 있을 수 있다. 바깥 응답을 기록에서 꺼내 그대로 다시 주입할 수 있어야 같은 실패가 같은 자리에서 다시 난다.

같은 자료로 확인

재현이 되면 수정의 효과를 잴 수 있다. 같은 시작 상태와 같은 바깥 응답을 주고 고친 쪽과 고치기 전 쪽을 여러 번씩 돌려, 실패가 났던 걸음에서 무엇이 달라졌는지를 본다. 에이전트는 같은 입력에도 다른 길로 가므로 한 번씩 돌려 비교하면 우연을 효과로 읽는다. 다섯 번이나 열 번씩 돌려 그 자리의 결과가 몇 번 바뀌었는지를 센다.

이렇게 해야 「확인 뒤 수정」의 마지막 단계가 닫힌다. 자리를 확인하고, 그 자리에 처방을 넣고, 같은 자료에서 그 자리가 바뀌었는지 본다. 바뀌지 않았으면 자리를 잘못 짚은 것이니 표의 다음 후보로 돌아간다.

설계와 진단의 경계

이 글이 다룬 것은 돌린 뒤에 찾는 쪽이다. 실패가 난 작업에서 자리를 짚고 거기까지 되돌아가는 일이다. 그런데 여기서 찾은 것 가운데 상당수는 짜기 전에 피할 수 있었던 것이다 — 허용 값 밖의 입력을 조용히 받는 도구, 종료 조건 없는 계획, 되묻는 자리가 없는 흐름이 그렇다. 그런 설계상의 흔한 실수는 에이전트 안티패턴에서 따로 정리했다.

두 쪽은 서로를 채운다. 설계에서 피하는 목록은 진단에서 쌓인 자리 태그로 늘어나고, 진단은 설계에서 이미 막아 둔 자리를 건너뛸 수 있다. 실패를 열 때마다 마지막 걸음이 아니라 여섯 자리부터 보는 습관이 그 둘을 잇는다.


읽어주셔서 감사합니다. 😊

LATEST

에이전트·RAG의 최신 글

에이전트·RAG2026.08.23

에이전트 비용은 걸음 수보다 빨리 늘어난다

걸음이 두 배면 비용은 두 배가 아니라 서너 배입니다. 왜 그렇게 되는지, 어디서 새는지, 상한을 몇 겹으로 어떻게 거는지와 실제로 효과가 큰 순서대로의 대응을 정리합니다.

13 MIN
에이전트·RAG2026.08.23

에이전트에 사람을 어디까지 붙일 것인가

승인 버튼을 걸음마다 두면 아무도 그 에이전트를 쓰지 않고, 하나도 안 두면 사고가 납니다. 게이트를 놓을 세 자리와 어느 걸음에 무엇을 걸지 정하는 순서를 정리합니다.

13 MIN
에이전트·RAG2026.08.22

몇 시간, 며칠씩 도는 에이전트를 어떻게 버티게 하는가

몇 분이면 끝나던 에이전트가 몇 시간짜리 일을 맡으면 전에 없던 문제가 생깁니다. 상태를 어디에 둘지, 체크포인트를 어디에 남길지, 같은 걸음을 두 번 밟아도 안전하게 만들려면 무엇이 필요한지 정리합니다.

14 MIN