지난 글에서 에이전트를 나눌 이유가 있는지 묻고, 나누면 문맥이 갈린다는 문제를 언급했다. 이 글은 그 자리를 다룬다. 에이전트 A가 하던 일을 B가 이어받을 때 무엇을 함께 넘기는가.
이렇게 일을 다른 에이전트나 사람에게 건네는 순간을 핸드오프라고 부른다. 여럿으로 나눈 구조에서는 대개 일을 쪼개 나눠 주는 에이전트가 하나 있고 그 조각을 받아 처리하는 에이전트가 여럿 있다. 이 글에서는 앞쪽을 관리자, 뒤쪽을 일꾼이라 부른다. 관리자가 일꾼에게 일감을 건네는 것이 첫 번째 핸드오프이고, 일꾼이 결과를 관리자에게 돌려주는 것이 두 번째 핸드오프다. 같은 말이 방향만 바꿔 두 번 일어난다.
이것이 별것 아닌 것처럼 보이는데, 여럿으로 나눈 구조가 기대만큼 못 하는 이유의 대부분이 여기 있다. 하나였을 때는 앞에서 알아낸 것이 그냥 문맥에 남아 있었다. 나누는 순간 그 「그냥 남아 있음」이 사라지고, 무엇을 넘길지 누군가 정해야 하는 일이 된다. 정하지 않으면 두 극단 중 하나로 간다 — 전부 넘기거나, 너무 적게 넘기거나. 아래에서는 두 극단이 각각 어떻게 무너지는지 먼저 보고, 그 사이를 잡는 서식을 세운 뒤, 그 서식을 누가 만들고 어떻게 되돌려 받고 사람에게는 어떻게 다르게 건네는지, 마지막으로 넘기고 되받는 일이 몇 번씩 되풀이될 때 무엇이 새는지를 차례로 본다.
통째 넘기기
가장 쉬운 구현은 지금까지의 대화 기록을 그대로 다음 에이전트에게 붙여 주는 것이다. 코드 한 줄이면 되고 아무것도 안 빠진다. 그래서 처음 만드는 시스템은 거의 다 이 모양에서 시작하고, 일꾼이 하나뿐일 때는 실제로 그럭저럭 돈다. 문제는 일꾼이 늘고 대화가 길어질 때 드러난다.
입력 토큰의 곱셈
숫자를 넣어 한 번 따라가 보자. 사용자와 관리자가 회사 조사를 두고 스무 번쯤 주고받았고, 그 사이 검색 도구가 결과 표를 몇 번 뱉어 대화 기록이 3만 토큰이 됐다. 관리자는 이 조사를 재무·인력·경쟁사 세 갈래로 나눠 일꾼 셋에게 맡기기로 한다. 기록을 통째로 붙이면 일꾼마다 입력이 3만 토큰이고, 셋을 합치면 9만 토큰이다. 관리자 자신이 이미 3만을 읽었으니 같은 내용을 네 번 읽은 셈이다.
여기서 끝나지 않는다. 일꾼은 한 번 호출로 끝나지 않고 도구를 부르며 여러 걸음을 도는데, 걸음마다 그 3만 토큰이 앞머리에 그대로 실린다. 일꾼 하나가 다섯 걸음을 돌면 15만, 셋이면 45만 토큰이다. 프롬프트 캐싱이 일부를 깎아 주긴 하지만 문맥 창은 깎아 주지 않는다. 지난 글에서 나눌 때의 값으로 「배경이 일꾼 수만큼 입력 토큰이 된다」를 들었는데, 통째 넘기기는 그 배경으로 대화 전체를 고른 것이라 그 값을 가장 크게 치르는 방식이다.
표시 없는 기록
값보다 더 나쁜 것이 무게의 문제다. 대화 기록에는 도구가 뱉은 표 전체와 중간에 틀렸다가 고친 흔적과 사용자의 곁가지 질문이 같은 무게로 들어 있다. 사람이 읽는 회의록이라면 「결론」이라는 소제목이 있겠지만, 대화 기록에는 그런 표시가 없다. 받는 쪽은 그 안에서 「내가 할 일」을 스스로 찾아야 하고, 그 찾기가 틀리면 엉뚱한 것을 만들어 온다.
인력 갈래를 맡은 일꾼을 예로 들면, 기록 중간에 사용자가 「참고로 작년 매출도 궁금하네요」라고 지나가듯 한 말이 있다. 일꾼은 그 말을 자기 일감의 일부로 읽고 매출을 조사해 오고, 재무 갈래 일꾼도 같은 매출을 조사해 온다. 아무도 틀린 일을 하지 않았는데 같은 일이 두 번 일어났다.
앞선 오류의 잔존
셋째 문제는 앞의 실수가 따라간다는 것이다. A가 중간에 잘못 판단한 문장이 기록에 남아 있으면 B는 그것을 이미 확인된 사실로 읽는다. 긴 문맥의 현실에서 본 대로 모델은 긴 문맥의 중간을 고르게 보지 않으므로, 뒤에 붙은 정정보다 앞에 있는 오류가 더 강하게 남기도 한다. 「직원 수는 1,200명」이라고 썼다가 열 번 뒤에 「아니, 연결 자회사를 빼면 800명」이라고 고쳤다면, 일꾼의 보고서에는 어느 숫자가 들어갈지 장담할 수 없다. 사람이라면 고친 쪽이 맞다는 것을 알지만, 기록 안에는 「이쪽이 최종」이라는 표시가 없다.
한 줄 넘기기
반대쪽 극단도 있다. 「이 회사 조사해 줘」 한 줄만 넘기는 것이다. 값은 싸지만 B는 A가 이미 확인한 것을 다시 확인하고, A가 피하기로 한 것을 다시 시도한다. 관리자가 앞에서 「이 회사의 공시 사이트는 로그인이 필요해서 막힌다」를 알아냈다면, 그 한 줄이 빠진 일꾼은 그 사이트부터 다시 두드린다. 통째 넘기기가 너무 많이 넘겨서 무너진다면, 한 줄 넘기기는 앞의 노력을 버려서 무너진다. 두 극단은 같은 질문에 답을 안 한 것이다 — 이 일을 이어받는 데 정말 필요한 것이 무엇인가.
봉투의 다섯 칸
가운데를 잡는 방법은 넘기는 것의 모양을 정해 두는 것이다. 이 글에서는 그 정해 둔 모양을 봉투라 부른다. 대화를 그대로 건네는 대신, 정해 둔 칸에 필요한 것만 옮겨 적어 건네는 서식이다. 봉투는 대화 기록에서 뽑아낸 요약이 아니라 받는 쪽이 일을 시작하는 데 필요한 것의 목록이라는 점이 다르다. 다섯 칸이면 대체로 충분하다.
| 칸 | 무엇을 적는가 | 빠지면 |
|---|---|---|
| 해낼 것 | 한 문장짜리 일감. 「됐다」의 조건까지 | 받는 쪽이 목표를 다시 추측한다 |
| 이미 알아낸 것 | 확인된 사실만 | 같은 조사를 다시 한다 |
| 확실하지 않은 것 | 넘기는 쪽이 자신 없는 자리 | 받는 쪽이 그것을 사실로 믿는다 |
| 하면 안 되는 것 | 건드리지 말 것, 쓰지 말 도구, 예산 상한 | 이미 실패한 길로 다시 간다 |
| 돌려줄 모양 | 결과의 형식. 필드 이름까지 | 자유 서술이 돌아와 관리자가 다시 해석한다 |
앞의 계산에 대 보면 차이가 크다. 재무 갈래 일꾼에게 가는 봉투는 일감 한 줄, 확인된 사실 몇 줄, 미심쩍은 자리 두어 줄, 금지 사항 몇 줄, 결과 서식 하나로 대개 1,000~2,000토큰 안에 든다. 셋에게 보내도 수천 토큰이고, 3만 토큰을 셋에게 붙이던 9만과는 자릿수가 다르다.
해낼 것과 완료 조건
첫 칸은 일감을 한 문장으로 적되 「됐다」의 조건까지 적는다. 「경쟁사를 조사한다」는 끝이 없는 일감이다. 일꾼은 다섯 곳을 찾고 멈출 수도, 서른 곳을 훑을 수도 있고, 어느 쪽이든 자기 기준에서는 다 한 것이다. 「매출 기준 상위 다섯 곳의 이름과 2025년 매출을 찾으면 끝」이라고 적으면 멈출 자리가 생긴다. 완료 조건은 일꾼이 스스로 멈추게 하는 장치이고, 관리자가 돌아온 결과를 판정하는 잣대이기도 하다. 그래서 이 한 줄은 넘기는 쪽과 받는 쪽이 같은 문장을 보고 「다 했다」를 판단하게 만든다.
알아낸 것과 확실하지 않은 것
둘째와 셋째 칸은 짝이다. 앞 칸에는 확인된 사실만 적고, 뒤 칸에는 넘기는 쪽이 자신 없는 자리를 적는다. 「매출은 공시에서 확인했다」는 앞 칸이고, 「그 매출이 연결 기준인지 별도 기준인지는 모른다」는 뒤 칸이다. 두 칸으로 가르는 이유는 받는 쪽이 앞 칸을 통째로 믿게 하려는 것이다. 칸이 하나뿐이면 추측과 사실이 같은 줄에 섞이고, 받는 쪽은 둘을 가를 근거가 없어 전부를 사실로 읽는다.
뒤 칸은 자주 빠지는데, 넣어 두면 이상한 결과의 원인을 나중에 찾기가 훨씬 쉽다. 일꾼의 보고서에 매출이 두 배로 적혀 있을 때, 봉투에 「연결·별도 기준 미확인」이 있었다면 원인을 찾는 데 몇 분이면 되고, 없었다면 대화 기록과 일꾼의 걸음을 전부 거슬러 올라가야 한다.
금지와 예산
넷째 칸에는 건드릴 수 없는 대상, 쓰지 말 도구, 예산 상한을 적는다. 이 칸이 하는 일은 앞에서 알아낸 「실패」를 넘기는 것이다. 로그인이 막힌 사이트, 결과가 엉망이던 검색어, 고객 데이터베이스처럼 읽기만 해야 하는 대상이 여기 들어간다. 예산 상한도 같은 칸이다 — 「도구 호출 열 번, 토큰 2만 안」처럼 적어 두면 일꾼이 막다른 길에서 혼자 계속 도는 일을 끊을 수 있다. 상한이 없는 일꾼은 못 찾으면 더 찾고, 그 더 찾는 값은 관리자에게 아무 신호 없이 쌓인다.
돌려줄 모양
다섯째 칸이 특히 값을 한다. 일꾼의 출력 형식을 미리 못박아 두면 관리자가 결과를 파싱하려고 다시 모델을 부를 일이 없어진다 — 구조화 출력과 JSON 스키마로 모양 정하기가 그대로 쓰이는 자리다. 필드 이름까지 적어야 하는 이유는 일꾼이 셋일 때 드러난다. 한 일꾼은 revenue, 다른 일꾼은 sales, 또 다른 일꾼은 「매출액」으로 돌려주면 관리자가 셋을 합치는 데 다시 해석이 필요하다. 모양이 같으면 합치는 일은 코드 몇 줄이다.
봉투 만들기
칸을 정했으면 그 칸을 누가 채우는지를 정해야 한다. 봉투의 칸은 고정이지만 칸에 들어갈 내용은 일감마다 다르고, 그 내용은 결국 대화 기록에서 나온다. 그래서 「기록을 봉투로 옮겨 적는 일」을 맡는 쪽이 있어야 한다.
코드와 모델의 분담
갈림은 둘이다. 관리자가 봉투를 코드로 짜는 방식과 모델에게 짜게 하는 방식이다. 코드로 짜는 쪽은 예산 상한·쓰지 말 도구·돌려줄 모양처럼 일감마다 거의 같은 칸에 맞는다. 이런 칸은 설정 값에서 그대로 옮기면 되고, 모델이 끼면 오히려 빠뜨리거나 바꿔 적는다. 모델에게 짜게 하는 쪽은 해낼 것·알아낸 것·확실하지 않은 것처럼 대화를 읽어야 채울 수 있는 칸에 맞는다. 실무에서는 섞는 것이 보통이다. 고정 칸은 코드가 채우고, 읽어야 하는 칸만 관리자 모델에게 「이 서식대로 채우라」고 시킨다. 이렇게 가르면 모델이 틀릴 수 있는 자리가 세 칸으로 줄어든다.
스키마 고정
봉투를 자유 서술로 두지 않고 스키마로 고정해 두면 빠진 칸이 실행 전에 걸린다. 관리자 모델이 「확실하지 않은 것」 칸을 비워 둔 채 봉투를 냈다면, 그 사실은 일꾼이 엉뚱한 결과를 가져온 뒤가 아니라 봉투를 보내기 전에 코드가 잡는다. 비어 있는 것이 정말 「없음」인지 빠뜨린 것인지 가르려면 칸을 필수로 두고 「없음」을 명시적으로 적게 한다. 빈 문자열과 「없음」이 같은 뜻이면 검사가 빠뜨림을 못 잡는다.
봉투 길이 상한
봉투에도 길이 상한을 둔다. 관리자 모델에게 봉투를 짜게 하면, 안전하게 하려고 알아낸 것 칸에 대화의 거의 전부를 옮겨 적는 일이 생긴다. 봉투가 원래 대화 기록만큼 길어지면 나눈 이유가 사라진다 — 통째 넘기기가 서식만 입고 돌아온 것이다. 상한을 넘으면 봉투를 억지로 줄이는 것이 아니라 일감 쪼개기를 다시 본다. 봉투가 길다는 것은 그 일감이 앞의 맥락을 너무 많이 기대고 있다는 뜻이고, 그런 일은 나누지 않고 관리자가 직접 하는 편이 맞을 수 있다.
돌아오는 봉투
핸드오프를 한 방향으로만 설계하면 관리자가 결과를 믿을 근거가 없다. 일꾼에게 보낸 봉투만큼 일꾼이 돌려주는 봉투도 모양이 정해져 있어야 한다.
네 칸
돌려받는 쪽에 있어야 하는 것은 넷이다.
- 결과 — 넘길 때 정해 둔 모양 그대로
- 못 한 것과 그 이유 — 다 했으면 「없음」이라고 적힌 채로
- 확신이 낮은 자리 — 어디를 다시 봐야 하는지
- 쓴 값 — 호출 수·토큰·걸린 시간
넘기는 봉투와 견주면 짝이 보인다. 넘길 때의 「해낼 것」에는 결과와 못 한 것이, 「확실하지 않은 것」에는 확신이 낮은 자리가, 「예산 상한」에는 쓴 값이 대응한다. 관리자는 보낸 봉투와 받은 봉투를 칸끼리 맞대어 보는 것만으로 무엇이 됐고 무엇이 비었는지 판정할 수 있다.
빈칸과 이유
두 번째 칸이 핵심이다. 「못 했다」가 돌아올 자리를 만들어 두지 않으면 일꾼은 못 한 것을 지어내서라도 채워 온다. 「이 다섯 개를 찾아와」라고 시켰는데 셋만 찾았을 때, 돌려줄 서식에 다섯 칸만 있으면 나머지 둘은 그럴듯한 값으로 채워진다. 모델은 서식을 지키라는 지시를 강하게 따르므로, 비워 두는 것이 서식 위반처럼 보이면 비우지 않는다. 빈칸을 허용하고 그 옆에 이유를 적게 하면 그 자리가 사라진다. 「네 번째 회사는 비상장이라 매출 공시가 없음」 같은 한 줄이 지어낸 숫자보다 관리자에게 훨씬 쓸모 있다 — 관리자는 그 줄을 보고 다른 출처를 시킬지, 그대로 빈칸으로 보고할지 정할 수 있다.
쓴 값
네 번째는 밖에서 따로 재는 것보다 봉투에 실어 걷는 편이 쉽다. 일꾼이 자기가 쓴 값을 돌려주면 관리자가 남은 예산으로 다음 일감을 정할 수 있고, LLM 비용 추적에서 본 집계와도 같은 축으로 붙는다. 예를 들어 전체 예산 10만 토큰 중 세 일꾼이 4만을 썼다면 관리자는 남은 6만으로 빈칸 두 개를 다시 찾게 할지, 바로 보고서를 쓸지 고를 수 있다. 쓴 값이 봉투에 없으면 이 판단은 일이 다 끝난 뒤 청구서를 보고서야 가능하다.
사람에게 넘기기
에이전트끼리만 넘기는 것이 아니다. 상담 에이전트가 사람 상담원에게 넘기는 경우가 실무에서는 더 흔하고, 여기서는 서식이 더 중요해진다. 사람은 3만 토큰짜리 대화 기록을 읽지 않기 때문이다. 상담원 화면에 대화 전체가 떠 있어도 고객이 기다리는 동안 그것을 위에서부터 읽을 시간은 없다. 담는 것은 에이전트끼리 넘길 때와 같고 표현만 다르다 — 칸 이름 대신 상담원이 한눈에 읽는 문장이 된다.
넘긴 이유와 요구
먼저 적는 것은 왜 넘겼는가다. 갈래는 대개 셋이다 — 에이전트가 답을 모르는 질문, 권한이 없는 요청(환불 승인, 계약 변경), 고객이 사람을 직접 요구한 경우. 갈래에 따라 상담원이 첫마디를 다르게 꺼낸다. 모르는 질문이면 답을 찾아 주면 되고, 권한 문제면 처리를 바로 시작하면 되고, 사람을 요구한 경우면 먼저 고객의 불만을 받아야 한다. 그다음 고객이 원하는 것을 한 문장으로 적는다. 「3월 12일 주문의 부분 환불을 원함」처럼 적으면 상담원은 대화를 열지 않고도 일을 시작할 수 있다. 에이전트끼리의 「해낼 것」 칸이 여기서는 이 한 문장이다.
시도한 것과 확인된 정보
다음 두 칸이 자주 빠진다. 하나는 이미 시도한 것, 곧 에이전트가 안내한 내용과 그에 대한 고객의 반응이다. 「환불 정책 페이지를 안내했으나 고객이 이미 읽었다고 함」이 있으면 상담원은 같은 안내를 다시 하지 않는다. 같은 안내를 두 번 받는 것이 고객이 가장 싫어하는 일이다. 다른 하나는 확인된 정보, 곧 주문 번호·계정·본인 확인 여부처럼 다시 묻지 않아도 되는 것이다. 에이전트끼리의 「이미 알아낸 것」 칸에 해당하고, 빠지면 상담원이 고객에게 주문 번호를 또 묻는다.
다시 말하기 비용
이 서식이 없으면 사람 쪽에서 「처음부터 다시 말씀해 주시겠어요」가 나오고, 그 한마디가 에이전트를 도입해 얻은 것을 대부분 상쇄한다. 고객 입장에서는 에이전트와 보낸 시간이 통째로 버려진 것이 되고, 에이전트가 없었을 때보다 오히려 길게 기다린 셈이 된다. 상담원 입장에서도 고객의 설명을 처음부터 듣는 데 몇 분이 들고, 그 몇 분이 넘어오는 건마다 쌓인다. 상담 응대 서비스 만들기에서 다룬 이야기다. 사람에게 넘기는 봉투는 에이전트끼리의 봉투보다 짧고 문장에 가까워야 하지만, 칸을 건너뛰어도 되는 것은 아니다.
왕복과 추적
봉투를 한 번 보내고 한 번 받는 것으로 끝나는 일은 드물다. 일꾼이 되묻고, 관리자가 다시 시키고, 실패한 일감이 돌아온다. 핸드오프가 여러 번 되풀이되면 한 번일 때는 안 보이던 사고가 생긴다.
왕복 상한
A가 B에게 넘기고 B가 다시 A에게 묻는 왕복이 세 번을 넘으면 대개 일감이 잘못 쪼개진 것이다. B가 자꾸 묻는다는 것은 봉투에 일을 끝낼 만큼의 맥락이 없다는 뜻이고, 그 맥락을 왕복으로 조금씩 실어 나르면 결국 대화 기록을 나눠서 넘기는 것과 같아진다. 횟수에 상한을 두고 넘으면 사람에게 올리거나, 그 일감을 관리자가 직접 맡는다. 상한이 없으면 두 에이전트가 서로에게 확인을 구하며 끝없이 도는 일도 생긴다.
재시도 봉투
되돌아온 것을 그대로 다시 넘기면 같은 자리에서 다시 막힌다. 실패한 일감을 손대지 않고 재시도하는 것은 모델의 무작위성에 기대는 것이고, 막힌 원인이 봉투에 있었다면 몇 번을 돌려도 같은 결과가 나온다. 다시 넘길 때는 무엇이 달라졌는지 봉투에 적는다. 「앞서 공시 사이트가 막혔으니 이번에는 뉴스 기사에서 찾을 것」처럼, 돌아온 봉투의 「못 한 것과 그 이유」가 다음 봉투의 「하면 안 되는 것」 칸으로 옮겨 간다. 두 봉투가 서로 이어지는 자리가 여기다.
시간 상한
넘기고 끝내는 것도 흔한 사고다. 넘긴 뒤 일꾼이 응답하지 않는 경우, 곧 모델 호출이 멈추거나 도구가 끝없이 기다리는 경우를 다루지 않으면 관리자가 영원히 기다린다. 시간 상한과 「응답 없음」 경로를 둔다. 상한을 넘기면 관리자는 그 일감을 실패로 치고, 돌아온 봉투가 있었다면 넣었을 「못 한 것」 칸을 스스로 「시간 초과」로 채워 다음 판단으로 간다.
작업 아이디와 결과 검사
마지막은 추적이다. 봉투마다 작업 아이디를 붙여 두면 어느 갈래에서 틀렸는지 한 줄로 따라갈 수 있다. 관리자가 일꾼 셋에게 넘기고 그중 하나가 다시 일꾼 둘에게 넘기는 구조에서, 최종 보고서의 틀린 숫자 하나를 거슬러 올라가려면 그 숫자가 어느 봉투에서 왔는지 알아야 한다. 나중에 붙이려면 봉투 서식과 기록 코드를 전부 고쳐야 하므로 첫날에 넣는다. 그리고 되받은 결과는 코드로 검사한다. 정해 둔 모양대로 왔는지, 필수 칸이 다 있는지 본다. 모델의 출력은 형식을 지키다가도 어느 날 안 지키고, 그날 검사가 없으면 깨진 결과가 관리자의 다음 판단에 그대로 섞인다.
정리
- 나눈 구조가 잘 안 도는 이유는 대개 넘기는 자리에 있다
- 대화를 통째로 넘기면 값이 곱해지고, 중요한 것의 표시가 없고, 앞의 실수가 따라간다
- 한 줄만 넘기면 이미 한 조사를 다시 하고 이미 실패한 길로 다시 간다
- 봉투에 다섯 칸을 정해 둔다 — 해낼 것, 이미 알아낸 것, 확실하지 않은 것, 하면 안 되는 것, 돌려줄 모양
- 고정 칸은 코드가, 읽어야 하는 칸은 모델이 채우고, 봉투에도 길이 상한을 둔다
- 돌아오는 쪽도 봉투다. 결과·못 한 것·확신이 낮은 자리·쓴 값 넷을 받는다
- 「못 했다」가 돌아올 자리가 없으면 지어내서 채워 온다. 빈칸과 이유를 허용한다
- 사람에게 넘길 때는 왜 넘겼는지, 이미 시도한 것, 확인된 정보를 반드시 담는다
- 왕복 횟수와 시간에 상한을 두고, 재시도 봉투에는 달라진 것을 적고, 봉투마다 작업 아이디를 붙인다
여기까지는 넘기고 되받는 일이 몇 분 안에 끝난다고 가정했다. 다음 글에서는 일이 몇 시간에서 며칠로 길어져 그 사이에 프로세스가 죽고 서버가 재시작될 때, 어디까지 했는지를 대화 기록 밖에 어떻게 남겨 두는지를 다룬다.
읽어주셔서 감사합니다. 😊

