LLM·트랜스포머

LLM / 33번째 글

LLM 벤치마크 완전 해부: MMLU, HumanEval, LMSYS Chatbot Arena

MMLU·HumanEval·SWE-bench·LMSYS Chatbot Arena 등 주요 LLM 벤치마크의 측정 방법, 한계, 벤치마크 해킹 문제, 그리고 실무에서 모델을 올바르게 비교하는 방법을 한국어로 완전 해설한다.

PALDYN Team30 MIN READ

지난 글에서 한국 LLM의 생태계를 살펴봤다. 모델을 소개할 때마다 「MMLU 90.0%」, 「HumanEval pass@1 82%」, 「Arena 점수 1350」 같은 숫자가 따라 나온다. 이 숫자들은 무엇을 재고, 어떻게 측정되며, 어디까지 믿을 수 있을까? 벤치마크는 미리 정해 둔 문제 묶음과 채점 규칙으로 여러 모델을 같은 조건에서 재는 시험이다. 이 글은 벤치마크 점수 하나에 어떤 조건이 뭉쳐 있는지부터 풀고, 지식·코딩·사람 선호를 재는 대표 벤치마크들을 차례로 본 뒤, 점수가 오염되는 경로와 그것을 넘어 자기 업무로 모델을 고르는 평가 묶음을 만드는 법까지 다룬다.

벤치마크가 답하는 것

세 평가 방식

LLM 성능을 비교하는 방법은 크게 세 가지다. 첫째는 주관적 평가다. 「나는 이 모델이 저 모델보다 낫던데」 같은 인상으로, 빠르고 비용이 들지 않지만 같은 결론을 다른 사람이 다시 얻을 수 없다. 둘째는 태스크 특화 테스트다. 「우리 서비스의 프롬프트로 100번 돌렸더니 A가 더 잘했다」처럼 자기 업무에서 직접 재는 것으로, 그 업무에는 가장 정확하지만 다른 업무로 옮겨지지 않는다. 셋째가 표준 벤치마크다. 공개된 문제 묶음에 모든 모델을 같은 조건으로 넣으므로 누구나 다시 잴 수 있고 모델끼리 비교할 수 있다.

방식 재현성 비용 우리 업무와의 거리
주관적 평가 낮음 거의 없음 가깝지만 흐림
태스크 특화 테스트 중간 중간 가장 가까움
표준 벤치마크 높음 공개 결과는 무료 멂

벤치마크의 가치는 표준화와 재현 가능성이다. 그리고 바로 그 표준화 때문에 우리 업무와는 멀다. 이 글의 결론을 먼저 말하면, 표준 벤치마크는 후보를 줄이는 데 쓰고 마지막 결정은 태스크 특화 테스트로 한다.

점수에 든 조건

「MMLU 88%」라는 숫자 하나에는 여러 조건이 뭉쳐 있다. 어느 문항 묶음을 썼는가(전체인지, 일부 과목인지, 오류를 걷어 낸 개정판인지), 예시를 몇 개 보여 줬는가(0-shot인지 5-shot인지), 풀이 과정을 쓰게 했는가, 답을 어떻게 뽑았는가(첫 글자를 읽었는지, 선택지별 확률을 비교했는지), 몇 번 시도해 어떻게 합쳤는가. 이 중 하나만 달라도 점수가 몇 포인트씩 움직인다.

그래서 발표 자료의 점수를 볼 때는 각주부터 읽는다. 같은 표에 놓인 두 모델이 다른 조건으로 잰 점수인 경우가 드물지 않다. 한쪽은 풀이 과정을 쓰게 하고 여러 번 시도한 결과이고 다른 쪽은 한 번에 답만 낸 결과라면, 그 차이는 모델의 차이가 아니라 조건의 차이다.

재현의 폭

같은 벤치마크를 자기 손으로 돌려 보면 발표된 점수와 몇 포인트씩 어긋나는 일이 흔하다. 프롬프트의 문장 하나, 선택지 앞의 기호가 A.인지 (A)인지, 답을 읽는 정규식이 조금만 달라도 그렇다. 오픈 모델은 평가 도구마다 기본 설정이 달라 같은 모델의 점수가 도구마다 다르게 나오기도 한다.

이 폭을 알면 해석이 달라진다. 두 모델의 점수 차이가 1~2포인트라면 그것은 재현의 폭 안에 있어서 우열을 말할 근거가 못 된다. 차이를 말하려면 같은 도구와 같은 설정으로 둘을 직접 돌리고, 가능하면 여러 번 돌려 흔들리는 폭까지 확인해야 한다.

지식 벤치마크

MMLU

MMLU(Massive Multitask Language Understanding)는 2021년 Hendrycks 등이 발표한 벤치마크로, 오랫동안 LLM 평가의 사실상 표준이었다. 역사·수학·법률·의학·물리학·컴퓨터 과학 등 57개 분야에서 모은 4지선다 문제 약 1만 6천 개로 이뤄지고, 수준은 고등학교 과목부터 전문 자격시험까지 넓다.

# MMLU 스타일 평가 (단순화된 예시)
import anthropic

client = anthropic.Anthropic()

def evaluate_mmlu_question(question: str, choices: list, correct: str) -> bool:
    """MMLU 스타일 문제를 LLM으로 평가"""
    choices_text = "\n".join([f"{chr(65+i)}. {c}" for i, c in enumerate(choices)])
    
    prompt = f"""다음 문제에서 정답을 A, B, C, D 중 하나로만 답하세요.

문제: {question}
{choices_text}

정답 (알파벳 하나만):"""
    
    response = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=5,
        messages=[{"role": "user", "content": prompt}]
    )
    
    predicted = response.content[0].text.strip().upper()[0]
    return predicted == correct.upper()

# 예시 실행
question = "Which sorting algorithm has the best average-case time complexity?"
choices = ["Bubble Sort", "Merge Sort", "Insertion Sort", "Selection Sort"]
result = evaluate_mmlu_question(question, choices, "B")
print(f"정답 여부: {result}")

점수를 읽는 기준점이 몇 개 있다. 선택지가 넷이므로 아무렇게나 찍으면 25%다. 원 논문은 해당 분야 전문가 수준을 대략 90% 언저리로 어림했다. 2023년 GPT-4 기술 보고서가 86.4%를 보고했고, 이후 상위 모델들의 발표 점수가 80% 후반에서 90% 안팎으로 몰렸다. 점수가 이 구간에 모이면서 MMLU는 모델을 가르는 힘을 잃었다.

LLM 벤치마크 유형 분류

후속 벤치마크

MMLU가 한계에 닿자 무엇이 문제였는지를 하나씩 고친 후속 벤치마크들이 나왔다. 첫째 갈래는 오답 정제다. 문항을 다시 검토한 연구들이 정답 표시가 틀렸거나 문제 자체가 모호한 문항이 적지 않게 섞여 있음을 보였고, 그런 문항을 고치거나 뺀 개정판이 만들어졌다. 정답이 틀린 문항이 있으면 그 이상의 점수는 의미가 없어지므로, 90% 근처에서의 차이는 이 잡음에 묻힌다.

둘째 갈래는 난도 상향이다. MMLU-Pro는 선택지를 넷에서 열로 늘리고 단순 암기보다 추론이 필요한 문항을 늘렸다. 찍어서 맞힐 확률이 10%로 떨어지고, 모델 간 점수 차이가 다시 벌어졌다. GPQA는 박사 과정 수준의 과학 문제를, 검색해도 쉽게 답을 찾을 수 없도록 전문가들이 만든 것이다. 셋째 갈래는 객관식에서 벗어나는 것으로, 답을 직접 쓰게 하고 정답과 대조하거나 풀이 과정까지 채점하는 방식이다. 선택지가 있으면 소거법으로 맞히는 길이 열리는데, 이를 막는다.

포화

벤치마크의 상위 모델 점수가 위쪽 끝에 몰려 더는 모델을 가르지 못하는 상태를 포화라 한다. 포화된 벤치마크에서 0.5포인트 앞섰다는 발표는 문항 잡음과 재현의 폭 안의 차이일 가능성이 크다. MMLU가 그렇게 됐고, 후속 벤치마크들도 몇 년 안에 같은 길을 가고 있다.

포화를 알아보는 신호는 단순하다. 상위 모델 여럿의 점수가 몇 포인트 안에 붙어 있고, 새 모델이 나와도 그 폭이 안 벌어지며, 남은 오답이 주로 문항 오류나 모호한 문제다. 이 셋이 보이면 그 벤치마크는 후보를 거르는 최소 기준으로만 쓰고, 우열은 다른 벤치마크에서 본다.

코딩 벤치마크

HumanEval과 pass@k

HumanEval은 OpenAI가 2021년 Codex 논문과 함께 공개한 코딩 벤치마크다. 164개의 Python 문제로 되어 있고, 각 문제는 함수 시그니처와 설명(docstring), 그리고 숨겨진 단위 테스트를 갖는다. 모델이 함수 본문을 채우면 테스트를 돌려 통과 여부를 본다.

# HumanEval 스타일 문제 예시
def has_close_elements(numbers: list, threshold: float) -> bool:
    """
    숫자 리스트에서 두 수의 차이가 threshold 이하인 쌍이 있는지 확인한다.
    
    >>> has_close_elements([1.0, 2.0, 3.0], 0.5)
    False
    >>> has_close_elements([1.0, 2.8, 3.0, 4.0, 5.0, 2.0], 0.3)
    True
    """
    # LLM이 이 부분을 채워야 함
    for i in range(len(numbers)):
        for j in range(i + 1, len(numbers)):
            if abs(numbers[i] - numbers[j]) <= threshold:
                return True
    return False

채점 지표는 pass@k다. k번 생성해 그중 하나라도 모든 테스트를 통과하면 성공으로 친다. pass@1은 한 번에 맞힐 확률이고, pass@10은 열 번 중 한 번이라도 맞힐 확률이다. 실제로는 문제마다 n개(k보다 많이)를 생성해 그중 c개가 통과했을 때, 다음의 불편 추정량으로 계산한다.

pass@k=E[1−(n−ck)(nk)]\text{pass@}k = \mathbb{E}\left[1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}\right]

이 식을 알면 k가 다른 표를 섞어 비교하면 안 되는 이유가 보인다. 한 번에 30%를 맞히는 모델이라도 열 번 기회를 주면 훨씬 높게 나온다. 같은 모델의 pass@1과 pass@10은 전혀 다른 숫자이므로, 표의 열 이름에 k가 적혀 있지 않으면 그 점수는 비교에 쓰지 않는다.

HumanEval의 한계도 분명하다. 164개는 통계적으로 넉넉하지 않아 한 문제가 0.6포인트다. 문제들이 비교적 짧은 함수 구현 중심이라 실제 소프트웨어 작업 — 큰 코드베이스를 읽고 버그를 고치는 일 — 과는 거리가 멀다. 그리고 공개된 지 오래되어 상위 모델들이 거의 다 맞히는 포화 상태다.

SWE-bench

그 거리를 좁히려고 나온 것이 SWE-bench다. Jimenez 등이 2023년에 발표했고, 인기 있는 Python 저장소 열두 곳에서 실제로 올라온 이슈와 그것을 해결한 PR 2,294쌍을 모았다. 모델은 이슈 설명을 보고 저장소를 탐색해 고친 코드를 내야 하고, 채점은 그 PR이 추가한 테스트가 통과하는지로 한다. 함수 하나가 아니라 코드베이스 이해, 원인 분석, 수정 구현까지 묶어서 재므로 실제 개발 업무에 가장 가까운 벤치마크로 꼽힌다.

원본 SWE-bench에는 이슈 설명만으로는 풀 수 없거나 테스트가 지나치게 까다로운 문항이 섞여 있었다. 2024년에 OpenAI가 사람이 검토해 풀 수 있는 것으로 확인한 500문항을 SWE-bench Verified로 묶었고, 이후 많은 발표가 이 판을 쓴다. 발표 당시 수치로는 2024년 8월 OpenAI가 GPT-4o를 33% 안팎으로, 같은 해 10월 Anthropic이 개선된 Claude 3.5 Sonnet을 49%로 보고했다. 지금 세대 모델의 점수는 이보다 훨씬 높고 몇 달 단위로 바뀌므로, 숫자는 그때그때 공식 리더보드와 각 회사의 발표에서 측정 조건과 함께 확인해야 한다. 특히 SWE-bench 점수는 모델만이 아니라 모델을 감싼 에이전트 틀(어떤 도구를 주고 몇 번 시도하게 했는지)에 크게 좌우되므로, 틀이 다른 점수끼리는 견주지 않는다.

사람 선호와 LLM 심사

Chatbot Arena

Chatbot Arena는 LMSYS가 2023년에 연 공개 평가 플랫폼이다(2025년에 LMArena라는 이름으로 독립했다). 사용자가 아무 질문이나 입력하면 이름을 가린 두 모델이 각각 답하고, 사용자는 더 나은 쪽을 고르거나 비김을 표시한다. 수많은 대결 결과를 모아 모델마다 점수를 매겨 순위를 낸다.

LMSYS Chatbot Arena ELO 레이팅 구조

점수는 체스의 Elo 레이팅에서 온 생각을 따른다. 두 모델의 점수 차이가 승률을 정한다는 모형이다. A의 점수가 RAR_A, B가 RBR_B 일 때 A가 이길 기대 확률은 다음과 같다.

EA=11+10(RB−RA)/400E_A = \frac{1}{1 + 10^{(R_B - R_A)/400}}

점수가 100 차이 나면 높은 쪽의 기대 승률은 약 64%, 400 차이면 약 91%다. Arena는 초기에 대결이 들어올 때마다 점수를 고치는 방식을 썼다가, 대결 순서에 따라 결과가 흔들리는 문제 때문에 전체 대결을 한꺼번에 맞추는 Bradley-Terry 모형으로 옮겼다. 그리고 점수마다 신뢰구간을 함께 낸다. 대결 수가 적은 모델은 구간이 넓고, 구간이 겹치는 모델끼리는 순위가 사실상 같다. 1위와 3위의 구간이 겹친다면 「1위」라는 말은 큰 의미가 없다.

스타일 편향

Arena의 강점은 학술 벤치마크가 놓치는 것, 곧 사람들이 실제로 원하는 방식으로 답하는지를 직접 잰다는 데 있다. 약점은 사람의 투표가 내용만이 아니라 겉모습에도 끌린다는 것이다. 길고 자세한 답, 제목과 목록으로 꾸민 답이 같은 내용의 짧은 답보다 더 자주 이긴다는 분석이 나왔다.

그래서 Arena는 답의 길이와 마크다운 서식 같은 스타일 요인을 모형에 함께 넣어 그 효과를 빼낸 스타일 보정 순위를 따로 낸다. 보정 전과 후의 순위가 갈리는 모델이 있다는 것 자체가 신호다. 보정 후에 순위가 크게 내려가는 모델은 내용보다 꾸밈으로 표를 얻고 있었다는 뜻이다. 그 밖에도 질문을 던지는 사용자 층이 영어권과 일반 질문에 치우쳐 있어 전문 분야나 한국어 성능을 그대로 대변하지 못한다. 분야별·언어별 순위가 따로 있으면 그쪽을 본다.

LLM-as-Judge

사람 투표는 비싸고 느리다. 그 대신 강한 모델을 심사위원으로 쓰는 방식이 LLM-as-Judge다. 2023년 Zheng 등이 Chatbot Arena와 함께 발표한 MT-Bench가 대표적이다. 추론·수학·코딩·글쓰기·정보 추출·역할극·STEM·인문학 8개 범주에서 범주당 10개씩, 두 턴으로 이어지는 질문 80개를 쓰고, GPT-4가 각 답을 1~10점으로 채점한다. 저자들은 GPT-4 심사와 사람 심사의 일치율이 사람끼리의 일치율과 비슷한 80% 남짓이라고 보고했다.

# LLM-as-Judge 구현 예시
import anthropic

client = anthropic.Anthropic()

def llm_judge(question: str, response_a: str, response_b: str) -> dict:
    """두 LLM 응답을 GPT-4/Claude로 평가"""
    judge_prompt = f"""다음 질문에 대한 두 AI의 답변을 평가해주세요.

질문: {question}

[답변 A]
{response_a}

[답변 B]
{response_b}

평가 기준:
1. 정확성 (사실적 오류 없음)
2. 도움이 되는 정도
3. 명확성과 구조
4. 완결성

각 답변에 1-10점을 부여하고 이유를 설명하세요.
형식: {{"A": 점수, "B": 점수, "winner": "A" or "B" or "tie", "reason": "설명"}}"""
    
    response = client.messages.create(
        model="claude-sonnet-4-6",
        max_tokens=1024,
        messages=[{"role": "user", "content": judge_prompt}]
    )
    return response.content[0].text

같은 논문이 심사 모델의 편향도 정리했다. 먼저 제시된 답을 더 좋게 보는 위치 편향, 긴 답을 더 좋게 보는 장황함 편향, 자기 계열 모델의 답을 더 좋게 보는 자기 편애다. 완화책도 단순하다. 두 답의 순서를 바꿔 한 번 더 심사하고 두 결과가 엇갈리면 비김으로 처리한다. 심사 모델을 둘 이상 쓰고, 평가 대상과 다른 계열의 모델을 심사위원으로 고른다. 그리고 심사 결과의 일부를 사람이 다시 채점해 일치율을 주기적으로 잰다. 일치율을 모르는 채로 쓰는 심사 모델은 숫자를 내기는 하지만 그 숫자가 무엇을 재는지 알 수 없다.

점수 오염

오염 경로

벤치마크를 해석할 때 반드시 알아야 할 위험이 오염이다. 평가 문항이나 그 해설이 학습 데이터에 섞여 들어가면 모델은 문제를 푸는 대신 기억해 낸 답을 쓰게 되고, 점수는 실제 능력보다 높게 나온다. 시험 족보를 외운 것과 같다.

경로는 대개 이렇게 흐른다. 벤치마크가 공개되면 문항이 논문 부록과 저장소에 올라간다. 사람들이 블로그와 포럼에서 문항을 인용하고 풀이를 단다. 웹 크롤러가 그 페이지들을 긁어 가고, 그 크롤링 데이터가 다음 세대 모델의 사전 학습 데이터에 들어간다. 누구도 일부러 넣지 않았어도 문항은 들어간다. 일부러 넣는 경우, 곧 평가 문항과 비슷한 형식의 데이터로 파인튜닝해 점수를 끌어올리는 경우는 벤치마크 해킹이라 부른다. 두 경우 모두 결과는 같다. 점수가 오른 만큼 실제 능력이 오르지 않는다.

문항이 학습 데이터로 들어가는 길

오염과 포화의 구분

오염을 알아보는 방법은 문항을 바꿔 보는 것이다. 공개 문항과 같은 형식, 같은 난도로 새 문항을 만들어 두 묶음의 점수를 견준다. 2024년 Scale AI의 GSM1k 연구가 초등 수학 문장제 벤치마크 GSM8K를 이렇게 새로 만들어 보니, 일부 모델 계열은 새 문항에서 점수가 크게 떨어졌고 상위 모델들은 거의 떨어지지 않았다. 떨어진 폭이 곧 외운 몫의 어림이다.

오염과 포화는 둘 다 점수가 위에 몰리는 모양이라 헷갈리지만 신호가 다르다. 포화는 새 문항에서도 점수가 그대로이고 남은 오답이 문항 자체의 문제다. 오염은 새 문항에서 점수가 떨어지고, 특히 모델이 문항의 원문을 줄줄 이어 쓰거나 선택지 기호까지 외우고 있는 흔적이 보인다. 문항의 앞부분을 주고 뒷부분을 이어 쓰게 해서 원문과 거의 같게 나오면 그 문항은 학습 데이터에 있었을 가능성이 크다.

벤치마크 수명

벤치마크에는 수명이 있다. 공개 직후에는 모델들을 잘 가르다가, 점수가 오르고 문항이 퍼지면서 포화와 오염이 함께 진행된다. 그래서 새 벤치마크가 계속 등장하고, 문항 일부를 공개하지 않거나 일정 기간마다 새 문항으로 갈아 끼우는 벤치마크도 늘었다. 학습 데이터 기준일 이후에 나온 문제만 모아 재는 방식도 같은 생각이다.

버릴 시점의 기준을 두면 판단이 쉬워진다. 상위 모델들의 점수가 재현의 폭 안에 붙었거나, 새로 만든 대조 문항과 점수가 눈에 띄게 갈리거나, 점수와 실제 사용 경험이 거꾸로 가는 사례가 쌓이면 그 벤치마크는 의사 결정 표에서 내린다. 최소 기준으로 남겨 둘 수는 있지만, 그 숫자로 우열을 정하지는 않는다.

자체 평가 묶음

골든 데이터셋

공개 벤치마크는 출발점이지 최종 결정 기준이 아니다. 실무에서 모델을 고를 때는 자기 업무를 재는 평가 묶음, 곧 골든 데이터셋을 만든다. 실제 입력과 그에 대한 기대 출력(또는 채점 기준)의 쌍을 모은 것이다.

먼저 태스크를 구체적으로 정의한다. 「고객 지원 이메일 초안 작성」, 「Python 코드 버그 탐지」, 「계약서 요약」처럼 한 문장으로 적을 수 있어야 한다. 그다음 실제 로그에서 입력 50~100건을 뽑는다. 무작위로만 뽑으면 흔한 요청만 모이므로, 요청 유형별로 나눠 각 유형에서 고르게 뽑고 과거에 문제가 됐던 어려운 사례를 따로 더한다. 개인정보는 뽑을 때 걷어 낸다. 처음부터 수백 건을 만들 필요는 없고, 50건으로 시작해 운영하면서 늘려 가는 편이 현실적이다.

채점 방식

정답이 분명한 태스크는 자동으로 채점한다. 분류, 정보 추출, 코드처럼 정답과 대조하거나 테스트를 돌릴 수 있는 것들이다. 정답이 하나가 아닌 태스크, 이를테면 요약이나 글쓰기는 채점 기준서를 만들어 사람이나 LLM 심사가 채점한다. 기준서에는 항목마다 0~2점의 구체적인 기준과 예시 답을 적어 둔다. 「명확한가」 같은 막연한 항목은 채점자마다 다르게 읽는다.

자동 채점과 사람 채점을 섞는 비율은 예산과 위험으로 정한다. 대부분을 LLM 심사로 채점하되, 그중 10~20%를 사람이 다시 채점해 심사 모델과의 일치율을 잰다. 일치율이 충분히 높으면 심사 모델을 믿고, 낮은 항목이 있으면 그 항목만 사람에게 돌린다. 앞 절에서 본 위치 편향 완화는 여기서도 그대로 쓴다.

결정표

평가 결과는 정확도 하나가 아니라 결정에 필요한 숫자를 한 표에 모아 둔다.

후보 정확도 형식 준수율 p95 지연 1,000건당 비용
모델 A 0.86 99% 4.1초 높음
모델 B 0.84 97% 1.8초 중간
모델 C 0.78 99% 0.9초 낮음

표의 숫자는 예시다. 이런 표가 있으면 판단이 질문으로 바뀐다. A와 B의 정확도 차이 2포인트가 평가 셋 크기에서 의미 있는 차이인가, 그 차이가 지연 두 배와 비용 차이를 감수할 만한가. 성능이 비슷하다면 비용과 지연이 선택의 핵심 기준이 된다. 형식 준수율처럼 정확도에 안 잡히는 실패를 따로 적는 것도 중요하다. 답은 맞는데 JSON이 깨지면 운영에서는 실패다.

모델 교체 운영

새 모델이 나올 때마다 이 묶음을 다시 돌린다. 평가 묶음과 실행 스크립트가 준비되어 있으면 반나절이면 답이 나온다. 같은 설정으로 새 모델을 돌리고, 결정표에 한 줄을 더하고, 기존 모델보다 나빠진 문항을 골라 읽어 본다. 평균이 올랐어도 특정 유형에서 크게 나빠졌다면 그 유형은 기존 모델에 남겨 두는 판단도 할 수 있다.

평가 묶음은 코드처럼 버전으로 관리한다. 운영 중에 발견한 실패 사례를 계속 더하되, 어느 버전으로 잰 점수인지를 결과마다 적는다. 버전이 바뀐 묶음의 점수를 이전 점수와 그대로 견주면 모델이 아니라 시험이 바뀐 것을 모델의 변화로 읽게 된다. 공개 벤치마크를 인용할 때도 같은 습관을 들인다. 측정일, 문항 묶음의 판, 프롬프트와 시도 횟수, 다시 돌리는 명령을 함께 적어 두면 반년 뒤에도 그 숫자가 무엇이었는지 알 수 있다. 벤치마크 점수는 모델의 성질이 아니라 그 모델을 어떤 조건에서 잰 기록이라는 점이 이 글 전체의 결론이다.


읽어주셔서 감사합니다. 😊

LATEST

LLM·트랜스포머의 최신 글

LLM·트랜스포머2026.08.14

작은 모델을 우리 일에 맞추는 법

파인튜닝이 실제로 고치는 것은 지식이 아니라 행동입니다. 데이터 몇 건이 필요한지, LoRA가 무엇을 바꾸는지, 학습 전에 무엇을 먼저 만들어야 하는지를 정리합니다.

15 MIN
LLM·트랜스포머2026.08.13

작은 모델로 내려도 되는지 판단하는 법

비용·지연·품질은 같은 방향으로 움직이지 않습니다. 폴백을 붙였을 때의 손익분기, 격차가 벌어지는 작업 유형, 그리고 내리기 전에 통과해야 할 네 관문을 정리합니다.

28 MIN
LLM·트랜스포머2026.08.13

작은 모델이 다시 쓸 만해진 이유

10억에서 100억 파라미터 사이의 모델이 다시 실무에 들어오고 있습니다. 무엇이 달라졌는지, 메모리는 어떻게 계산하는지, 무엇을 잘하고 무엇을 못하는지 정리합니다.

32 MIN