AWS GenAI Developer – Professional

AWS GenAI Developer – Professional 시험 노트개념 정리15 MIN

벡터 저장소 구조와 메타데이터 설계

Bedrock Knowledge Bases의 층 구성, OpenSearch Neural 플러그인과 Bedrock 연동, RDS·S3·DynamoDB에 둘 것의 갈림, S3 메타데이터와 태그, 샤딩과 도메인별 멀티 인덱스까지 벡터 저장소 설계를 정리합니다.

RAG에서 검색이 틀리면 모델이 아무리 좋아도 답이 틀립니다. 그리고 검색이 틀리는 원인은 대개 임베딩 모델보다 저장소의 짜임새에 있습니다 — 무엇을 어디에 두었는지, 조각마다 어떤 꼬리표를 달았는지, 인덱스를 어떻게 나눴는지입니다. 이 노트는 Task 1.4(벡터 저장소 설계와 구현) 가운데 구조와 메타데이터를 다룹니다. 원본 시스템과의 동기화는 다음 노트가 이어받습니다.

Knowledge Bases 구성

층 구성

Amazon Bedrock Knowledge Bases는 문서를 받아 조각으로 자르고, 임베딩해 벡터 저장소에 넣고, 질문이 오면 비슷한 조각을 찾아 주는 관리형 RAG 기능입니다. 안쪽은 층으로 서 있습니다. 맨 위에 지식 기반 하나가 있고, 그 아래 데이터 소스가 여럿 붙습니다. 데이터 소스는 문서를 가져오는 연결 하나이고(S3 버킷의 한 접두사, 웹 크롤러 하나), 데이터 소스마다 문서가 있고, 문서마다 청크가 있습니다. 청크는 임베딩과 검색의 단위가 되는 문서 조각입니다.

이 층이 설계에서 쓸모가 있는 까닭은 층마다 바꿀 수 있는 것이 다르기 때문입니다. 임베딩 모델과 벡터 저장소는 지식 기반에 매이고, 청킹 방식과 파싱 방식은 데이터 소스마다 따로 고릅니다. 그래서 법무 문서와 고객 FAQ처럼 성격이 다른 문서를 한 지식 기반에 두되 데이터 소스를 갈라 청킹만 다르게 할 수 있습니다.

저장소 선택

벡터를 실제로 들고 있는 곳은 따로 고릅니다. Knowledge Bases가 붙는 저장소에는 OpenSearch Serverless, Aurora PostgreSQL(pgvector), Neptune Analytics, Amazon S3 Vectors와 몇몇 외부 저장소가 있습니다. 콘솔에서 「빠른 생성」을 고르면 OpenSearch Serverless 컬렉션을 대신 만들어 주고, 이미 Aurora에 업무 데이터가 있으면 같은 데이터베이스에 벡터 열을 두는 쪽이 운영할 것을 하나 줄입니다. 가르는 질문은 「이미 운영 중인 것이 있는가, 검색 외에 SQL 조인이 필요한가, 검색 규모가 얼마인가」입니다.

OpenSearch와 Bedrock 연동

Neural 플러그인

Knowledge Bases를 거치지 않고 OpenSearch Service를 직접 벡터 저장소로 쓰면 임베딩을 누가 만드는지가 문제가 됩니다. Neural 플러그인(neural search)은 그 일을 OpenSearch 안으로 들여옵니다. ML Commons에 Bedrock 임베딩 모델을 부르는 커넥터를 등록하고, 수집 파이프라인에 text_embedding 프로세서를 걸면 문서를 넣을 때 OpenSearch가 Bedrock을 불러 벡터를 채웁니다. 검색할 때도 neural 쿼리에 질문 문자열만 주면 같은 모델로 질문을 임베딩해 찾습니다.

PUT _ingest/pipeline/bedrock-embed
{
  "processors": [
    { "text_embedding": { "model_id": "<등록한 모델 id>",
                          "field_map": { "body": "body_vector" } } }
  ]
}

애플리케이션 코드가 임베딩 API를 따로 부르지 않으므로, 넣을 때와 찾을 때 서로 다른 모델을 쓰는 실수가 구조적으로 막힙니다.

키워드와 벡터의 공존

OpenSearch를 고르는 또 하나의 까닭은 한 인덱스에 텍스트 필드와 벡터 필드를 함께 둘 수 있다는 것입니다. 제품 코드나 오류 번호처럼 철자가 정확히 맞아야 하는 질문은 키워드 검색이, 표현이 달라도 뜻이 같은 질문은 벡터 검색이 잘 찾습니다. 둘을 섞는 하이브리드 검색은 검색 메커니즘 노트에서 다루고, 여기서는 그것이 가능하려면 저장 단계에서 원문 필드를 버리지 말아야 한다는 점만 기억합니다.

문서와 메타데이터 저장소

RDS와 S3

벡터 저장소가 모든 것을 들 필요는 없습니다. 원본 문서는 S3에 두는 것이 기본입니다. 크기 제한이 사실상 없고, 버전 관리와 수명주기 규칙이 있고, Knowledge Bases의 데이터 소스가 그대로 읽습니다. 문서마다 붙는 정형 속성 — 소속 부서, 승인 상태, 계약 번호 — 은 관계형 데이터베이스인 Amazon RDS에 두면 다른 업무 테이블과 조인할 수 있습니다. 벡터 저장소에는 청크와 벡터, 그리고 검색 필터에 쓸 최소한의 메타데이터만 둡니다.

DynamoDB의 자리

DynamoDB는 키로 한 건을 빠르게 꺼내는 저장소입니다. 문서 id를 키로 메타데이터를 두거나, 청크 id를 키로 미리 계산한 임베딩을 캐시해 두는 데 맞습니다. 다만 DynamoDB에는 벡터 유사도 검색이 없습니다. 「비슷한 것을 찾는다」가 요구에 있으면 DynamoDB는 메타데이터와 임베딩을 보관하는 곁 저장소이지 검색 저장소가 아닙니다.

저장소 두는 것 이유
S3 원본 문서 데이터 소스가 직접 읽음, 버전·수명주기
RDS 정형 속성 다른 업무 테이블과 조인
DynamoDB 키별 메타데이터·임베딩 캐시 키 조회가 빠름, 유사도 검색 없음
벡터 저장소 청크·벡터·필터 속성 유사도 검색

메타데이터 설계

S3 메타데이터와 태그

S3 객체에는 꼬리표를 다는 자리가 셋 있습니다. 시스템 메타데이터의 Last-Modified는 S3가 스스로 적는 타임스탬프이고, 사용자 지정 메타데이터는 올릴 때 x-amz-meta-author처럼 적는 키-값입니다. 객체 태그는 객체마다 열 개까지 붙는 키-값으로, 메타데이터와 달리 객체를 다시 올리지 않고도 바꿀 수 있고 IAM 정책과 수명주기 규칙의 조건으로 쓸 수 있습니다. 「domain=legal」 같은 도메인 분류는 태그로 두면 접근 제어와 보관 정책까지 한 꼬리표로 묶입니다.

필터용 메타데이터

Knowledge Bases는 이 정보를 직접 읽지 않고, 문서 옆에 같은 이름에 .metadata.json을 붙인 파일을 둘 때 그 안의 속성을 청크마다 붙입니다.

{
  "metadataAttributes": {
    "author": "kim.legal",
    "domain": "legal",
    "updated_at": 20261012
  }
}

검색할 때 Retrieve 요청에 필터를 넣으면 이 속성으로 후보를 먼저 좁힌 뒤 유사도를 잽니다. 「법무 문서 가운데 2026년 이후에 고친 것」처럼 뜻만으로는 못 가르는 조건이 여기서 풀립니다. 날짜를 정수로 둔 것은 크기 비교 필터를 쓰기 위해서입니다. 메타데이터를 설계한다는 것은 결국 「사용자가 어떤 조건으로 범위를 좁히고 싶어 하는가」를 미리 속성으로 적어 두는 일입니다.

인덱스 설계

샤딩 전략

OpenSearch 인덱스는 샤드로 쪼개져 노드에 퍼집니다. 프라이머리 샤드 수는 인덱스를 만들 때 정하고 나중에 바꾸려면 다시 색인하거나 분할 작업을 거쳐야 하며, 레플리카 수는 언제든 바꿀 수 있습니다. AWS 지침은 검색 위주 작업에서 샤드 하나를 10~30GiB로 맞추라고 권합니다. 너무 크면 장애 복구가 느리고, 너무 작으면 샤드마다 드는 고정 비용이 쌓입니다.

벡터 인덱스는 메모리도 따로 셉니다. HNSW 그래프를 쓰는 k-NN 인덱스는 벡터 하나에 대략 1.1×(4d+8M)1.1 \times (4d + 8M) 바이트가 필요합니다. 여기서 dd 는 차원 수, MM 은 그래프에서 노드마다 잇는 이웃 수입니다. 차원이 1,024이고 M=16M = 16 이면 벡터 하나에 4,646.4바이트, 100만 개면 약 4.65GB가 메모리에 올라가야 합니다.

멀티 인덱스와 계층적 인덱싱

의료·법무·제품 문서를 한 인덱스에 섞으면 같은 낱말이 도메인마다 다른 뜻이라 검색이 흐려집니다. 도메인마다 인덱스를 따로 두면 필드 매핑과 분석기를 도메인에 맞게 고르고, 질문을 분류해 맞는 인덱스로만 보낼 수 있습니다. 계층적 인덱싱은 같은 생각을 세로로 적용한 것입니다. 문서 요약만 담은 위 인덱스에서 관련 문서를 먼저 고르고, 그 문서들의 세부 청크만 담은 아래 인덱스에서 다시 찾습니다. 문서 수가 많을 때 처음부터 모든 청크를 뒤지는 비용을 줄입니다. 시험 가이드가 이 skill에 적은 것은 도메인별 멀티 인덱스와 계층적 인덱싱 둘이고, 서술 속 조건이 「도메인마다 용어가 다르다」면 앞쪽, 「문서가 많아 한 번에 찾기 무겁다」면 뒤쪽을 가리킵니다.

연습 문제

  1. 검색 위주 OpenSearch 인덱스의 예상 크기가 360GiB입니다. 샤드 하나를 30GiB로 맞추고 레플리카를 1로 두면 프라이머리 샤드 수와 전체 샤드 수는?
    프라이머리 12개, 전체 24개. 360/30=12360 / 30 = 12 이고 레플리카 1이면 프라이머리마다 사본이 하나씩 더해져 12×2=2412 \times 2 = 24 입니다.
  2. 차원 512, M=16M = 16 인 HNSW 벡터 200만 개를 OpenSearch에 올립니다. 필요한 메모리를 어림하면?
    ① 약 1.2GB
    ② 약 4.8GB
    ③ 약 9.3GB
    ④ 약 18.6GB
    ②. 벡터 하나에 1.1×(4×512+8×16)=1.1×2176=2393.61.1 \times (4 \times 512 + 8 \times 16) = 1.1 \times 2176 = 2393.6 바이트이고, 200만 개면 2393.6×2,000,000≈4.79×1092393.6 \times 2{,}000{,}000 \approx 4.79 \times 10^9 바이트입니다.
  3. 객체를 다시 올리지 않고 도메인 분류를 바꾸고, 같은 꼬리표로 IAM 접근 제어까지 걸고 싶습니다. 알맞은 것은?
    ① 사용자 지정 메타데이터 x-amz-meta-domain
    ② S3 객체 태그
    ③ 시스템 메타데이터 Last-Modified
    ④ 객체 키의 접두사
    ②. 태그는 객체를 다시 올리지 않고 바꿀 수 있고 IAM 정책 조건에 쓸 수 있습니다. 사용자 지정 메타데이터는 바꾸려면 객체를 복사해 다시 써야 합니다.
  4. 다음 가운데 문서를 넣을 때와 질문할 때 같은 Bedrock 임베딩 모델을 OpenSearch가 스스로 부르게 하는 구성 요소를 둘 고르시오.
    ① ML Commons에 등록한 Bedrock 커넥터와 모델
    ② 수집 파이프라인의 text_embedding 프로세서
    ③ DynamoDB Streams
    ④ S3 수명주기 규칙
    ⑤ Amazon Comprehend 사용자 지정 분류기
    ①과 ②. 커넥터로 모델을 등록하고, 수집 파이프라인이 그 모델로 벡터를 채웁니다. 검색 쪽은 neural 쿼리가 같은 모델을 씁니다.
  5. 문서 메타데이터와 미리 계산한 임베딩을 문서 id로 빠르게 꺼내야 하고, 유사도 검색은 다른 저장소가 맡습니다. 곁 저장소로 알맞은 것은?
    ① Amazon DynamoDB
    ② Amazon S3 Glacier
    ③ Amazon Kinesis
    ④ AWS Glue Data Catalog
    ①. 키 조회가 빠르고, 유사도 검색이 없어도 되는 자리입니다.
  6. 법무·의료·제품 문서를 한 인덱스에 두었더니 「처방」이 도메인마다 다른 문서를 끌어옵니다. 구조로 푸는 방법을 한 문장으로 쓰시오.
    도메인마다 인덱스를 따로 두고 질문을 분류해 맞는 인덱스로만 보냅니다. 도메인마다 분석기와 매핑도 따로 고를 수 있습니다.
AWS GenAI Developer – Professional 시험 노트 전체 보기