AWS GenAI Developer – Professional

AWS GenAI Developer – Professional 시험 노트개념 정리16 MIN

쿼리 확장·분해와 MCP 검색 연결

Bedrock으로 질문을 넓히는 쿼리 확장, Lambda로 겹질문을 쪼개는 쿼리 분해, Step Functions로 엮는 쿼리 변환 파이프라인, 그리고 함수 호출·MCP 클라이언트·표준화된 API로 벡터 검색을 여러 곳에서 같은 모양으로 부르는 법을 정리합니다.

앞 노트는 저장소와 검색 방식을 골랐습니다. 그런데 검색은 넣은 질문만큼만 잘합니다. 사용자는 「그거 언제까지 돼요?」처럼 짧게 묻기도 하고, 「작년 대비 환불 정책이 어떻게 바뀌었고 해외 주문에도 적용되나요?」처럼 두 가지를 한꺼번에 묻기도 합니다. 이 노트는 질문을 검색하기 좋은 꼴로 고치는 쿼리 처리와, 그렇게 만든 검색을 애플리케이션·에이전트·도구 여러 곳에서 같은 방법으로 부르게 하는 연결을 다룹니다. Task 1.5의 나머지 두 기술입니다.

쿼리 확장

다시 쓰기와 동의어

쿼리 확장은 사용자의 질문 하나를 뜻이 같거나 가까운 질문 여럿으로 넓혀 검색하는 기법입니다. 문서가 「반품」이라 적었는데 사용자가 「환불」로 물으면 벡터 검색도 거리가 벌어질 수 있습니다. Bedrock의 FM에 「이 질문을 검색용으로 세 가지로 다시 쓰라」고 시키면 「환불 기한」, 「반품 가능 기간」, 「구매 취소 마감일」 같은 변형이 나옵니다. 변형마다 검색한 뒤 결과를 합치고 중복을 걷어 내면 놓치는 문서가 줄어듭니다.

대가도 분명합니다. 질문 하나에 FM 호출 한 번과 검색 호출 세 번이 더 붙어 지연과 비용이 늘고, 변형이 원래 뜻에서 벗어나면 엉뚱한 문서가 섞입니다. 그래서 확장 결과는 리랭커와 짝을 이루는 경우가 많습니다 — 넓게 모으고 좁게 고르는 것입니다.

가상 문서 임베딩

질문을 넓히는 또 하나의 방법은 질문 대신 답처럼 생긴 글을 임베딩하는 것입니다. FM에게 질문에 대한 짧은 가상 답변을 쓰게 하고, 그 답변을 임베딩해 검색합니다. 이 방식을 HyDE(Hypothetical Document Embeddings)라 부릅니다. 질문은 짧고 물음꼴이지만 문서는 길고 서술꼴이라 둘의 벡터가 멀어지기 쉬운데, 가상 답변은 문서와 같은 꼴이라 거리가 가까워집니다. 가상 답변의 사실은 틀려도 괜찮습니다 — 그 글은 찾는 데만 쓰고 모델에 근거로 넘기지 않습니다.

쿼리 분해

하위 질문

쿼리 분해는 여러 물음이 섞인 질문을 하나씩 답할 수 있는 하위 질문으로 쪼개는 기법입니다. 「작년 대비 환불 정책이 어떻게 바뀌었고 해외 주문에도 적용되나요?」는 「올해 환불 정책」, 「작년 환불 정책」, 「해외 주문 환불 적용」 셋으로 나뉩니다. 겹질문을 그대로 임베딩하면 벡터가 세 주제의 평균 어딘가에 놓여 어느 문서와도 확실히 가깝지 않습니다. 쪼개면 하위 질문마다 맞는 문서를 따로 찾을 수 있습니다.

확장과 분해는 방향이 반대입니다.

쿼리 확장 쿼리 분해
바꾸는 방향 같은 뜻을 여러 말로 여러 뜻을 하나씩
푸는 문제 낱말이 달라 못 찾음 주제가 섞여 흐려짐
결과 합치기 합집합 후 중복 제거 하위 답을 모아 종합

Lambda 분해 함수

분해를 애플리케이션이 직접 제어하고 싶으면 Lambda에 둡니다. 함수는 FM에게 하위 질문 목록을 JSON으로 달라고 하고, 그 결과를 검증한 뒤 돌려줍니다.

import json, boto3

brt = boto3.client("bedrock-runtime")

def handler(event, context):
    prompt = ("다음 질문을 독립적으로 검색할 수 있는 하위 질문으로 나눠 "
              'JSON 배열로만 답하라: ' + event["question"])
    resp = brt.converse(
        modelId="anthropic.claude-3-haiku-20240307-v1:0",
        messages=[{"role": "user", "content": [{"text": prompt}]}],
        inferenceConfig={"maxTokens": 300, "temperature": 0},
    )
    subs = json.loads(resp["output"]["message"]["content"][0]["text"])
    return {"subQuestions": subs[:5]}

temperature를 0으로 두는 것은 같은 질문이면 같은 분해가 나오게 하려는 것이고, 다섯 개로 자르는 것은 분해가 폭주해 검색 호출이 끝없이 늘어나는 것을 막는 안전장치입니다. JSON 파싱이 실패하면 원래 질문 하나로 검색하도록 되돌리는 처리도 넣습니다.

Knowledge Bases의 내장 분해

코드를 쓰지 않아도 되는 길도 있습니다. Knowledge Bases의 retrieve_and_generate는 오케스트레이션 설정에서 쿼리 변환 형식으로 QUERY_DECOMPOSITION을 받아, 서비스가 질문을 나눠 검색하고 답을 종합합니다. 분해 규칙을 손볼 필요가 없으면 이쪽이 운영할 것이 적고, 하위 질문 개수를 제한하거나 분해 결과를 따로 기록해야 하면 Lambda가 맞습니다.

쿼리 변환 파이프라인

Step Functions 상태 구성

확장·분해·검색·합치기를 이어 붙이면 단계가 넷을 넘습니다. 단계마다 재시도와 시간 제한이 다르고, 어느 단계에서 실패했는지 봐야 합니다. 이런 흐름은 Step Functions 상태 머신으로 짭니다. 쿼리 변환은 질문을 검색 전에 고쳐 쓰는 모든 처리 — 확장·분해·맞춤법 정리·필터 추출 — 를 묶어 부르는 말이고, Step Functions는 그 처리들을 상태로 나눠 차례와 분기를 정합니다.

  1. Choice 상태가 질문 길이와 접속사를 보고 분해가 필요한지 가른다.
  2. Task 상태가 분해 Lambda를 부른다.
  3. Map 상태가 하위 질문마다 검색을 돌린다.
  4. Task 상태가 결과를 합치고 리랭커에 넘긴다.

Map 상태의 병렬 검색

Map 상태는 배열의 원소마다 같은 하위 흐름을 돌리고, MaxConcurrency로 동시에 몇 개를 돌릴지 정합니다.

{
  "Retrieve": {
    "Type": "Map",
    "ItemsPath": "$.subQuestions",
    "MaxConcurrency": 5,
    "ItemProcessor": {
      "StartAt": "KbRetrieve",
      "States": {
        "KbRetrieve": {
          "Type": "Task",
          "Resource": "arn:aws:states:::aws-sdk:bedrockagentruntime:retrieve",
          "Parameters": {
            "KnowledgeBaseId": "KB12345678",
            "RetrievalQuery": { "Text.$": "$" }
          },
          "End": true
        }
      }
    },
    "Next": "Merge"
  }
}

하위 질문 셋의 검색이 각각 400ms라면 차례로 돌 때 1,200ms, 병렬이면 가장 느린 하나만큼인 400ms 안팎입니다. 분해 Lambda가 FM을 부르는 데 700ms가 든다면 전체는 병렬일 때 약 1,100ms, 차례일 때 약 1,900ms입니다. 분해가 지연을 늘리는 만큼을 병렬 검색이 일부 되찾는 셈입니다.

함수 호출 인터페이스

도구 명세

검색을 언제 할지 모델이 정하게 할 수도 있습니다. 함수 호출(도구 사용)은 애플리케이션이 쓸 수 있는 함수의 이름·설명·입력 스키마를 모델에 알려 주고, 모델이 필요하다고 판단하면 그 함수를 어떤 인자로 부를지 답하게 하는 방식입니다. Bedrock Converse API에서는 toolConfig에 도구를 적습니다.

tool = {
    "toolSpec": {
        "name": "search_docs",
        "description": "사내 정책 문서를 벡터 검색한다",
        "inputSchema": {"json": {
            "type": "object",
            "properties": {
                "query": {"type": "string"},
                "doc_type": {"type": "string", "enum": ["policy", "manual"]},
            },
            "required": ["query"],
        }},
    }
}

설명과 스키마가 곧 인터페이스입니다. doc_type을 열거형으로 묶어 두면 모델이 없는 값을 지어내 필터에 넣는 일을 막습니다.

toolUse와 toolResult 왕복

모델이 검색이 필요하다고 보면 응답의 stopReason이 tool_use가 되고, 내용에 toolUse 블록(도구 이름·입력·toolUseId)이 담깁니다. 애플리케이션이 그 입력으로 Knowledge Bases retrieve를 부른 뒤, 결과를 같은 toolUseId를 단 toolResult 블록으로 대화에 붙여 다시 보냅니다. 모델은 그 결과를 근거로 답을 씁니다. 검색을 실제로 실행하는 것은 언제나 애플리케이션이고, 모델은 부를지와 무엇으로 부를지만 정합니다.

MCP 검색 연결

MCP 서버와 클라이언트

함수 호출은 도구 명세를 애플리케이션마다 따로 적습니다. 같은 벡터 검색을 챗봇·IDE 도우미·에이전트 셋이 쓴다면 같은 명세가 세 벌 생깁니다. MCP(Model Context Protocol)는 도구를 서버 쪽에 한 번 정의하고 여러 클라이언트가 같은 방식으로 찾아 부르게 하는 공개 프로토콜입니다. 메시지는 JSON-RPC 2.0 꼴이고, MCP 클라이언트는 서버에 tools/list로 쓸 수 있는 도구와 스키마를 묻고 tools/call로 도구를 실행합니다. 벡터 검색을 MCP 서버로 감싸 두면 클라이언트는 그 뒤가 OpenSearch인지 Knowledge Bases인지 몰라도 됩니다. AWS도 Knowledge Bases 검색을 MCP 서버로 감싼 공개 구현을 내놓고 있습니다.

표준화된 검색 API

MCP를 쓰지 않는 서비스 사이에서도 원리는 같습니다. 검색을 API Gateway와 Lambda 뒤에 두고, 요청은 query·filters·topK, 응답은 청크마다 text·source·score로 고정한 하나의 계약을 정합니다. 저장소를 OpenSearch에서 Aurora로 옮겨도 계약이 그대로면 부르는 쪽은 고칠 것이 없습니다. 인증·사용량 제한·로그도 그 한곳에 걸립니다. 시험 가이드는 Task 1.5에 쿼리 확장·분해·변환과 함수 호출·MCP 클라이언트·표준화된 API 패턴을 함께 적고 있어, 상황이 요구하는 것이 「질문을 고치는 일」인지 「검색을 여러 곳에서 똑같이 부르는 일」인지 먼저 가르는 꼴로 물을 수 있습니다.

연습 문제

  1. 「작년과 올해 출장비 규정의 차이와 해외 출장 일비 기준」을 물으면 검색 결과가 어느 주제에도 정확히 맞지 않습니다. 알맞은 조치는?
    ① 쿼리 확장으로 같은 질문을 다섯 가지로 다시 쓴다
    ② 쿼리 분해로 하위 질문을 나눠 각각 검색한다
    ③ 임베딩 차원을 늘린다
    ④ 리랭커의 남길 결과 수를 늘린다
    ②. 주제가 섞여 벡터가 흐려진 경우이므로 하위 질문으로 나눕니다. ①은 같은 뜻을 넓힐 뿐 섞인 주제를 가르지 못합니다.
  2. 분해 Lambda가 FM 호출에 600ms를 쓰고, 하위 질문 넷의 검색이 각각 350ms입니다. Map 상태로 넷을 병렬 처리할 때와 MaxConcurrency를 1로 둘 때 분해부터 검색 끝까지의 지연은?
    병렬은 600+350=950600 + 350 = 950 ms 안팎, MaxConcurrency 1이면 600+4×350=2000600 + 4 \times 350 = 2000 ms입니다.
  3. Converse API에서 모델 응답의 stopReason이 tool_use입니다. 애플리케이션이 다음에 할 일은?
    toolUse 블록의 입력으로 검색을 실제로 실행하고, 그 결과를 같은 toolUseId를 단 toolResult 블록으로 대화에 붙여 모델을 다시 부릅니다.
  4. 다음 가운데 MCP로 벡터 검색을 제공할 때의 특징으로 옳은 것을 둘 고르시오.
    ① 클라이언트가 tools/list로 쓸 수 있는 도구와 입력 스키마를 알아낸다
    ② 도구 명세를 클라이언트마다 따로 적어야 한다
    ③ 클라이언트는 서버 뒤의 저장소 종류를 몰라도 된다
    ④ 모델이 벡터 저장소에 직접 접속해 질의를 실행한다
    ⑤ Bedrock Knowledge Bases 안에서만 쓸 수 있다
    ①과 ③. 도구는 서버에 한 번 정의되고, 실행은 서버가 합니다.
  5. 사용자는 「환불」로 묻는데 문서는 「반품」·「구매 취소」로 적혀 있어 검색이 문서를 놓칩니다. 이 문제를 겨냥한 기법 둘을 적으시오.
    쿼리 확장(FM으로 동의어·다른 표현의 질문을 만들어 함께 검색)과 HyDE(가상 답변을 임베딩해 문서와 같은 꼴로 검색)입니다. 키워드 쪽이라면 하이브리드 검색에 동의어 사전을 거는 방법도 있습니다.
  6. 챗봇·사내 포털·에이전트 세 서비스가 같은 문서 검색을 쓰는데, 다음 분기에 저장소를 OpenSearch에서 Aurora pgvector로 옮길 계획입니다. 세 서비스를 고치지 않으려면?
    검색을 API Gateway와 Lambda(또는 MCP 서버) 뒤에 두고 요청·응답 계약을 고정합니다. 저장소 교체는 그 뒤에서만 일어납니다.
AWS GenAI Developer – Professional 시험 노트 전체 보기