모델 운영

MLOPS / 32번째 글

LLMOps 개요: LLM 운영의 새로운 과제

MLOps와 LLMOps를 버전 대상·평가·비용·지연·실패 양상으로 가르고, 프롬프트·모델·인덱스가 다른 주기로 바뀔 때 무엇을 버전 관리하고 어떻게 되돌리는지, 팀에 처음 들일 때의 순서까지 정리합니다.

PALDYN Team30 MIN READ

지난 글에서 데이터 수집부터 모델 등록까지를 하나의 자동화된 흐름으로 묶었다. 그 파이프라인의 끝에는 늘 「학습된 가중치」가 있었다. LLM을 쓰는 서비스에서는 그 자리가 비어 있는 경우가 많다. 가중치는 API 너머에 있고 우리가 고치는 것은 프롬프트와 검색 인덱스와 도구 정의다. LLMOps는 이렇게 학습 대신 조립으로 동작이 정해지는 시스템을 운영하는 방법을 묶어 부르는 이름이다.

전통 ML에서는 배포한 가중치가 곧 모델의 행동이었다. 입력의 형태가 고정되어 있고 출력도 숫자 하나나 클래스 하나라서, 맞았는지 틀렸는지를 기계가 바로 셀 수 있었다. LLM은 자연어를 받아 자연어를 내고, 같은 입력에도 다른 답을 낼 수 있으며, 그 답이 좋은지 판단하는 일부터가 어렵다. 이 글은 그 차이가 운영의 어느 자리를 바꾸는지를 다섯 축으로 가르고, 무엇을 버전 관리하고 어떻게 되돌리는지, 팀에 처음 들일 때 무엇부터 세우는지를 차례로 본다.

MLOps와의 차이

축 MLOps LLMOps
버전 대상 학습된 가중치, 피처 정의 프롬프트, 도구 정의, 인덱스, 모델 별칭
평가 방식 정답과 비교하는 지표(정확도, RMSE) 루브릭·LLM 판정·사람 검토의 혼합
비용 구조 학습 비용이 크고 추론은 싸다 요청마다 토큰 단위로 청구된다
지연 특성 수 ms의 고정 지연 출력 길이에 비례해 수 초까지 늘어난다
실패 양상 예측 오차, 분포 이동 환각, 형식 깨짐, 탈옥, 도구 오작동

버전 대상

MLOps에서 버전을 매기는 것은 가중치 파일과 그것을 만든 데이터·코드였다. LLMOps에서는 가중치를 남이 들고 있는 경우가 많으므로, 우리 쪽에서 바뀌는 것은 가중치를 둘러싼 조립품이다. 같은 모델이라도 시스템 프롬프트 한 문장, 도구 설명 한 줄, 검색 인덱스에 들어간 문서 한 묶음이 바뀌면 사용자가 받는 답이 달라진다. 이 조립품 전체가 사실상의 「모델」이고, 그래서 프롬프트가 코드라는 말이 나온다. 학습 없이 한 줄을 고쳐 바로 배포할 수 있다는 것이 장점이면서, 리뷰와 테스트 없이 배포되기 쉽다는 위험이기도 하다.

평가 방식

분류 모델은 정답 레이블과 예측을 견주면 끝난다. 요약이나 상담 응답에는 정답이 하나가 아니다. 그래서 LLMOps의 평가는 여러 겹을 섞는다. 형식이 맞는지 같은 기계적 검사, 채점 기준표인 루브릭을 주고 다른 LLM에게 점수를 매기게 하는 LLM 판정(LLM-as-a-Judge), 그리고 판정 모델 자체가 믿을 만한지 확인하는 사람 검토다. 판정 모델도 틀리므로, 사람이 매긴 점수와 얼마나 맞는지를 주기적으로 재어 두지 않으면 평가가 평가를 속인다.

비용과 지연

전통 ML에서 큰 돈은 학습에 들었고 추론 한 번은 거의 공짜였다. LLM은 반대로 요청 하나하나가 입력 토큰과 출력 토큰 수에 따라 청구된다. 사용자가 늘면 비용이 정비례로 늘고, 프롬프트에 예시 하나를 더 넣는 결정이 월 청구서에 곧바로 찍힌다. 지연도 비슷하다. 출력 토큰을 하나씩 만들어 내므로 답이 길수록 늦고, 첫 토큰까지의 시간과 전체 완료 시간을 따로 재야 사용자가 느끼는 속도가 보인다.

실패 양상

분류 모델의 실패는 틀린 클래스 하나다. LLM의 실패는 그럴듯하게 틀린다. 근거에 없는 사실을 자신 있게 말하는 환각, JSON을 기대한 자리에 설명 문장을 붙여 파서를 깨는 형식 오류, 사용자가 시스템 프롬프트를 우회하게 만드는 탈옥, 에이전트가 잘못된 인자로 도구를 부르는 오작동이 모두 정상 응답과 같은 모양으로 섞여 나온다. 에러 로그에 안 찍히는 실패라서, 따로 표본을 뽑아 검사하지 않으면 존재조차 모른다.

실패를 잡는 장치도 실패의 종류마다 다르다. 형식 오류는 파서가 즉시 알려 주므로 재시도나 구조화 출력으로 막을 수 있다. 탈옥과 유해 출력은 입력과 출력에 거는 필터가 맡는다. 환각과 도구 오작동은 응답만 보아서는 안 보이고, 근거 문서나 도구 호출 기록과 맞대어야 드러난다. 그래서 LLMOps의 모니터링은 HTTP 상태 코드와 지연만 보는 서비스 모니터링 위에, 응답의 내용을 따로 채점하는 층을 하나 더 얹는다.

변경 주기

세 가지 시계

프롬프트·인덱스·모델이 다른 주기로 바뀌고 요청 로그가 셋의 버전을 함께 남기는 구조 LLM 서비스에는 서로 다른 속도로 도는 시계가 셋 있다. 프롬프트는 하루에도 몇 번씩 바뀐다. 검색 인덱스는 원본 문서가 갱신되는 주기를 따라 매일이나 매주 다시 만들어진다. 모델은 공급사가 새 버전을 내거나 옛 버전을 폐기할 때 바뀌는데, 이것은 우리가 정하는 주기가 아니다.

문제는 세 시계가 서로를 모른 채 돈다는 데 있다. 프롬프트를 고칠 때 기준으로 삼은 평가는 지난주 인덱스와 지난달 모델 위에서 잰 것이다. 이번 주에 인덱스가 다시 만들어지고 모델 별칭이 새 스냅숏을 가리키게 되면, 아무도 프롬프트를 건드리지 않았는데도 답이 달라진다.

어긋남의 추적

그래서 사고가 났을 때 첫 질문은 「무엇이 바뀌었나」인데, 시계가 셋이면 답할 후보도 셋이다. 요청 하나마다 그때 쓴 프롬프트 버전, 인덱스 스냅숏, 실제로 응답한 모델 이름을 함께 기록해 두지 않으면 이 질문에 답할 수 없다. 반대로 셋을 기록해 두면, 품질이 떨어진 날짜를 기준으로 세 시계 중 어느 것이 그날 움직였는지를 보고 원인을 금방 좁힌다. 아래 절들의 버전 관리와 롤백은 결국 이 기록을 남기는 방법이다.

공급사의 시계

세 시계 중 모델의 시계는 우리 손에 없다는 점이 특히 까다롭다. 공급사는 새 모델을 내면서 옛 모델에 폐기 날짜를 붙이고, 그 날짜가 지나면 같은 이름으로 부른 요청이 에러를 낸다. 폐기 공지는 대개 몇 달 앞서 나오지만, 그 공지를 읽는 사람이 팀에 따로 정해져 있지 않으면 마지막 주에야 알게 된다.

그래서 운영 중인 모델 이름마다 폐기 예정일을 적어 두는 표를 하나 두고, 새 모델이 나오면 그 표의 후보 칸에 올린다. 후보는 골든셋으로 먼저 재고, 통과하면 일부 트래픽에 내보내고, 문제가 없으면 넘긴다. 옮겨 가는 데 걸리는 시간은 평가와 점진 배포를 합쳐 몇 주인데, 폐기 공지에서 폐기일까지의 여유가 그보다 짧으면 평가를 건너뛰고 넘어가는 수밖에 없다. 모델 교체를 공지가 나올 때마다 하는 비상 작업이 아니라 분기마다 도는 정기 작업으로 만들어 두는 것이 이 시계를 다루는 방법이다.

스택 구성

LLMOps 스택 전체 구조

게이트웨이와 라우터

모든 LLM 요청이 지나는 관문이 게이트웨이다. 인증, 속도 제한, 로깅, 캐싱을 한자리에서 처리하고, 여러 공급사의 API를 하나의 인터페이스로 감싼다. LiteLLM 같은 프록시가 이 자리에 선다. 그 뒤에 라우터를 두면 요청의 난이도와 비용 한도에 따라 작은 모델과 큰 모델 중 하나로 보낸다. 게이트웨이가 한곳에 있다는 사실 자체가 중요하다. 비용 집계도, 공급사 장애 시 다른 모델로 넘기는 폴백도, 나중에 공급사를 바꾸는 일도 전부 이 한 자리에서 이뤄진다.

프롬프트 레지스트리

프롬프트 원문을 애플리케이션 코드에 박아 두지 않고, 이름과 버전으로 꺼내 쓰는 저장소가 프롬프트 레지스트리다. 코드는 「customer-support의 production 판」을 요청하고, 어느 버전이 production인지는 레지스트리가 정한다. 이렇게 갈라 두면 프롬프트를 바꿀 때 애플리케이션을 다시 배포하지 않아도 되고, 되돌릴 때도 라벨 하나만 옮기면 된다.

관측성

요청 하나가 게이트웨이, 검색, 모델 호출, 도구 호출을 거치는 동안 각 단계의 입력과 출력, 토큰 수, 지연을 한 줄기로 묶어 기록한 것이 트레이스다. 관측성 도구는 이 트레이스를 쌓아 두고 비용·지연·품질 점수의 추세를 대시보드로 보여 준다. 전통 서비스의 로그와 다른 점은 프롬프트 원문과 응답 원문이 그대로 남는다는 것이다. 그래서 개인정보를 가리는 처리와 보관 기한을 처음부터 함께 정해야 한다.

버전 관리 대상

프롬프트와 도구 정의

버전을 매길 첫 대상은 프롬프트다. 템플릿 원문만이 아니라 그 프롬프트와 함께 쓰는 모델 이름, 온도 같은 생성 설정까지 한 묶음으로 둔다. 같은 문장도 온도가 0.3일 때와 1.0일 때 다른 프롬프트처럼 동작하기 때문이다. 에이전트라면 도구 정의도 같은 급이다. 모델은 도구의 이름과 설명 문장을 읽고 언제 부를지 정하므로, 설명 한 줄을 고치는 것이 프롬프트를 고치는 것과 같은 효과를 낸다.

from langfuse import Langfuse
import anthropic

lf = Langfuse()
client = anthropic.Anthropic()

lf.create_prompt(
    name="customer-support",
    prompt="당신은 고객 지원 담당자입니다. 질문: {{user_question}}",
    config={"model": "claude-sonnet-4-6", "temperature": 0.3},
    labels=["production"],
)

prompt = lf.get_prompt("customer-support", label="production")
compiled = prompt.compile(user_question="환불 정책이 궁금합니다")

response = client.messages.create(
    model=prompt.config["model"],
    max_tokens=1024,
    temperature=prompt.config["temperature"],
    messages=[{"role": "user", "content": compiled}],
)

log_request(
    prompt_name=prompt.name,
    prompt_version=prompt.version,
    model=response.model,
    input_tokens=response.usage.input_tokens,
    output_tokens=response.usage.output_tokens,
)

코드에서 볼 곳은 마지막 호출이다. 응답을 받은 뒤 그 응답을 만든 프롬프트의 이름과 버전, 실제로 응답한 모델 이름을 같이 남긴다. 앞 절의 「무엇이 바뀌었나」에 답하는 재료가 이 한 줄에서 쌓인다.

인덱스 스냅숏

RAG를 쓰는 서비스라면 검색 인덱스도 버전 대상이다. 인덱스는 원본 문서, 문서를 자르는 규칙, 임베딩 모델 세 가지로 정해지는데, 그중 하나만 바뀌어도 같은 질문에 다른 문서가 돌아온다. 인덱스를 제자리에서 덮어쓰지 않고 날짜나 해시를 붙인 스냅숏으로 새로 만들어 두면, 새 스냅숏으로 바꾼 뒤 품질이 떨어졌을 때 이전 스냅숏으로 별칭만 돌려 즉시 되돌릴 수 있다. 덮어쓰는 방식은 되돌리려면 인덱스를 처음부터 다시 만들어야 해서 몇 시간이 걸린다.

모델 별칭

공급사 API의 모델 이름에는 두 종류가 있다. 날짜가 박힌 스냅숏 이름은 언제 불러도 같은 가중치를 가리키고, 날짜 없는 별칭은 공급사가 새 스냅숏을 내면 그쪽으로 옮겨 간다. 별칭을 쓰면 개선을 저절로 받지만, 우리가 모르는 날 동작이 바뀐다. 운영에서는 스냅숏 이름을 못 박아 두고, 새 스냅숏이 나오면 평가를 돌려 통과했을 때 우리 손으로 옮기는 편이 안전하다. 우리 쪽 설정에 「support-default → 특정 스냅숏」 같은 자체 별칭을 하나 두면, 공급사 이름이 바뀌어도 애플리케이션 코드는 그대로 둘 수 있다.

배포와 롤백

LLM 운영 라이프사이클

프롬프트 배포

배포 단위가 컨테이너가 아니라 프롬프트 버전 하나일 때, 배포는 레지스트리에서 production 라벨을 새 버전으로 옮기는 일이다. 빠른 만큼 거르는 단계가 따로 있어야 한다. 새 버전은 먼저 골든셋 평가를 통과해야 하고, 통과하면 트래픽의 일부에만 내보내 실제 사용자 반응과 비용을 본 뒤 전체로 넓힌다. 이 순서를 지키지 않으면 오타 하나 고치려던 변경이 응답 길이를 두 배로 늘려 그달 비용을 두 배로 만드는 일이 생긴다.

일부 트래픽에 먼저 내보내는 단계를 얼마나 오래 둘지는 보려는 지표가 정한다. 비용과 지연은 수백 건이면 차이가 드러나므로, 하루 10만 건 서비스라면 5%만 내보내도 한 시간 안에 판단할 수 있다. 사용자의 재질문 비율이나 만족도 클릭처럼 드물게 생기는 신호는 며칠을 모아야 우연과 구별된다. 그래서 점진 배포는 두 번에 나눠 판단한다 — 비용·지연·형식 오류는 첫 시간에, 사용자 반응은 며칠 뒤에.

롤백 절차

되돌리는 절차는 시계마다 다르다. 프롬프트는 라벨을 이전 버전으로 옮기면 되고, 레지스트리의 캐시가 만료되는 수십 초 안에 반영된다. 인덱스는 별칭을 이전 스냅숏으로 돌린다. 모델은 자체 별칭이 가리키는 스냅숏을 이전 것으로 바꾼다. 셋 다 「새로 만들기」가 아니라 「가리키는 곳 바꾸기」라는 점이 같고, 그래서 롤백은 몇 분 안에 끝날 수 있어야 한다.

롤백 자체보다 어려운 것은 롤백할지 정하는 일이다. 품질 지표가 떨어졌을 때 세 시계 중 어느 것이 원인인지 모르면 셋을 다 되돌리게 되고, 그러면 같이 들어간 좋은 변경까지 잃는다. 요청마다 버전 셋을 기록해 두었다면, 지표가 떨어지기 시작한 시점에 움직인 것 하나만 되돌린다.

온라인 품질 감시

배포가 끝난 뒤의 품질은 표본으로 본다. 운영 트래픽에서 일정 비율을 뽑아 판정 모델에게 근거와 답이 맞는지를 묻고, 그 비율을 시계열로 쌓는다.

def check_grounded(question: str, answer: str, context: str) -> dict:
    judge_prompt = f"""
    아래 답변이 주어진 근거 문서만으로 뒷받침되는지 판정하세요.
    질문: {question}
    근거: {context}
    답변: {answer}

    JSON으로만 답하세요: {{"grounded": true 또는 false, "reason": "..."}}
    """
    return parse_json(judge.generate(judge_prompt))

for request in sample(production_logs, n=100):
    verdict = check_grounded(**request)
    log_metric("ungrounded_rate", 0 if verdict["grounded"] else 1)

표본 100건의 비율은 오차가 크다. 근거 없는 답 비율이 5%라면 100건 표본에서 실제로 세어지는 값은 1~9% 사이에서 흔들린다. 하루하루의 값보다 일주일 이동 평균과 그 추세를 보고, 경보 임계값도 그 흔들림보다 넓게 잡아야 경보가 늑대 소년이 되지 않는다.

도입 순서

트레이스

처음 들일 것은 트레이스다. 무엇을 고칠지는 무엇이 일어나는지 본 다음에야 정할 수 있다. 게이트웨이나 SDK에 관측성 도구를 붙여 모든 요청의 입력·출력·토큰·지연·버전을 남기는 것만으로, 어떤 질문이 많이 들어오고 어디서 느려지고 무엇이 비싼지가 드러난다. 이 단계에는 평가도 대시보드도 필요 없다.

트레이스 한 건에 무엇을 남길지는 처음에 정해 두는 편이 낫다. 나중에 더하면 그 이전 기록과 견줄 수가 없다. 최소한 요청 시각, 사용자나 기능을 가르는 식별자, 프롬프트 이름과 버전, 요청한 모델 이름과 실제 응답한 모델 이름, 입력·출력 토큰 수, 첫 토큰까지의 시간과 전체 시간, 그리고 검색을 했다면 돌아온 문서의 식별자다. 응답 원문은 디버깅에 가장 쓸모 있지만 개인정보가 섞이므로, 원문은 짧게 보관하고 숫자 필드는 길게 보관하는 식으로 보관 기한을 둘로 나눈다.

골든셋

트레이스가 쌓이면 거기서 대표적인 질문과 까다로운 질문을 골라 기대 답이나 채점 기준을 붙인다. 이것이 골든셋이다. 처음에는 50~100문제로 충분하고, 사고가 날 때마다 그 사고를 일으킨 질문을 하나씩 보탠다. 골든셋이 생기면 프롬프트를 바꿀 때마다 「이전보다 나아졌나, 깨진 것은 없나」를 숫자로 말할 수 있다.

골든셋을 고를 때 흔한 실수는 쉬운 질문만 모으는 것이다. 트레이스에서 많이 들어온 순서로 고르면 대부분이 이미 잘 답하는 질문이라 점수가 늘 95%쯤에 붙어 있고, 변경이 무엇을 망가뜨려도 점수가 1~2점밖에 안 움직인다. 자주 오는 질문과 함께, 사용자가 불만을 남긴 질문, 답이 「모르겠다」여야 하는 질문, 형식이 까다로운 질문을 일부러 섞는다. 그래야 점수가 변경에 반응한다. 문제 수가 적을수록 점수 차이가 우연인지 아닌지도 따져야 하는데, 100문제에서 2점 차이는 대개 우연과 구별되지 않는다.

비용 대시보드

세 번째는 돈이다. 트레이스에 이미 토큰 수가 있으므로 단가를 곱하면 요청별 비용이 나온다.

PRICES = {  # 100만 토큰당 달러 — 예시 값이다. 실제 단가는 공급사 요금표를 따른다
    "model-large": {"input": 3.0, "output": 15.0},
    "model-small": {"input": 1.0, "output": 5.0},
}

def request_cost(model: str, input_tokens: int, output_tokens: int) -> float:
    p = PRICES[model]
    return (input_tokens * p["input"] + output_tokens * p["output"]) / 1_000_000

예시 단가로 따라가 보면, 입력 2,000토큰·출력 500토큰짜리 요청 하나가 큰 모델에서 0.0135달러다. 하루 10만 건이면 1,350달러, 한 달이면 4만 달러를 넘는다. 같은 요청을 작은 모델로 보내면 0.0045달러로 3분의 1이 된다. 이 계산이 기능별·고객별로 나뉘어 보이기 시작하면, 캐싱과 라우팅 중 무엇부터 할지가 숫자로 정해진다.

승격 게이트

마지막이 승격 게이트다. 프롬프트나 모델을 바꾸는 변경이 production 라벨을 받기 전에 골든셋 점수, 요청당 비용, 지연의 상한을 자동으로 확인하고, 하나라도 넘으면 막는다. 앞의 셋이 없으면 이 게이트는 잴 것이 없어서 세울 수 없다. 순서를 뒤집어 게이트부터 만들면 기준값을 지어내게 되고, 지어낸 기준은 첫 주에 누군가 꺼 버린다.

게이트의 조건은 절대값보다 현재 운영 판과의 비교로 적는 편이 오래간다. 예를 들면 「골든셋 점수가 운영 판보다 2점 넘게 떨어지지 않는다, 요청당 평균 비용이 운영 판의 1.2배를 넘지 않는다, 95번째 백분위 지연이 운영 판보다 30% 넘게 늘지 않는다」 같은 식이다. 절대값으로 「점수 80점 이상」을 걸어 두면 골든셋에 어려운 문제를 보탤 때마다 기준을 다시 손봐야 한다. 그리고 게이트를 통과하지 못했을 때 사람이 사유를 적고 넘길 수 있는 문을 하나 남겨 둔다. 그 문이 없으면 급할 때 게이트 자체를 끄게 되고, 문이 있으면 넘긴 기록이 남는다.

도구 생태계

도구 지형

영역 도구 예
게이트웨이·라우팅 LiteLLM, Portkey
프롬프트 레지스트리 Langfuse, PromptLayer, LangSmith
관측성 Langfuse, Helicone, Arize Phoenix
평가 RAGAS, DeepEval, Braintrust

이 영역의 도구는 해마다 지형이 바뀐다. 새로 생긴 제품이 많고, 한 제품이 옆 영역으로 넓혀 오며, 인수되거나 가격 정책이 바뀌는 일도 잦다. 표의 이름은 지금 자리를 보여 주는 예시이고, 고를 때는 그 제품이 어느 영역을 맡는지를 먼저 본다. 한 제품이 여러 영역을 함께 맡으면 붙이기는 편하지만, 그 제품을 바꿀 때 여러 자리가 한꺼번에 흔들린다는 점도 같이 셈에 넣는다.

갈아타기 쉬운 구조

도구가 자주 바뀐다는 사실을 전제로 하면, 처음부터 갈아탈 수 있게 붙이는 것이 남는 장사다. 방법은 경계에 표준을 두는 것이다. 모델 호출은 여러 공급사가 따르는 OpenAI 호환 인터페이스나 자체 게이트웨이 뒤로 감추고, 트레이스는 OpenTelemetry 형식으로 내보내면 받는 쪽 도구를 바꿔도 애플리케이션 코드는 그대로다. 프롬프트도 레지스트리 제품의 SDK를 코드 곳곳에서 부르지 말고 얇은 함수 하나를 거치게 하면, 그 함수만 고쳐 다른 저장소로 옮길 수 있다.

그리고 가장 오래 남는 자산은 도구가 아니라 데이터다. 골든셋, 판정 루브릭, 쌓인 트레이스는 어느 도구로 옮겨 가도 쓸 수 있도록 내보낼 수 있는 형식으로 따로 보관한다. 다음 글에서는 이 스택의 첫 부품인 프롬프트 레지스트리를 버전·A/B·회귀 스위트로 나눠 자세히 본다.


읽어주셔서 감사합니다. 😊

LATEST

모델 운영의 최신 글

모델 운영2026.09.04

KV 캐시 양자화 — 가중치보다 이쪽이 먼저 넘친다

긴 문맥에서 GPU 메모리를 실제로 잡아먹는 것은 가중치가 아니라 KV 캐시입니다. 캐시 크기를 계산하는 법, K와 V를 다르게 다뤄야 하는 이유, 어디까지 줄여도 되는지를 정리합니다.

16 MIN
모델 운영2026.09.04

양자화 보정 — 데이터 128개가 모델 품질을 정한다

양자화에서 스케일을 정하는 절차가 보정입니다. 무엇을 재는지, 데이터를 어디서 몇 개 뽑아야 하는지, 자르는 지점을 어떻게 고르는지, 그리고 잘못된 보정이 어떤 모양으로 드러나는지를 정리합니다.

21 MIN
모델 운영2026.09.03

과제 특화 증류 — 큰 모델의 답을 작은 모델에 옮긴다

범용 성능이 아니라 우리 과제 하나만 잘하는 작은 모델을 만드는 방법입니다. 교사에게 무엇을 받아야 하는지, 데이터를 어떻게 모으고 거르는지, 손익 분기가 어디인지를 정리합니다.

15 MIN