AWS GenAI Developer – Professional

AWS GenAI Developer – Professional 시험 노트개념 정리17 MIN

외부 문서 연결과 벡터 저장소 동기화

사내 위키·문서 관리 시스템을 Bedrock Knowledge Bases에 잇는 연결, 증분 동기화와 변경 감지, EventBridge·Step Functions로 짜는 자동·예약 동기화, 벡터 저장소의 최신성을 재고 지키는 법을 정리합니다.

앞 노트에서 벡터 저장소의 짜임새를 정했다면, 이 노트는 그 저장소가 어제의 문서로 답하지 않게 하는 일입니다. 사내 위키에서 규정이 바뀌었는데 벡터 저장소에는 옛 조각이 남아 있으면, 모델은 출처까지 붙여 가며 틀린 규정을 자신 있게 말합니다. 환각처럼 보이지만 원인은 모델이 아니라 동기화입니다. Task 1.4 가운데 원본 시스템과의 연결과 최신성 유지를 다룹니다.

원본 연결

데이터 소스 커넥터

Bedrock Knowledge Bases의 데이터 소스는 문서를 어디서 가져오는지를 정합니다. 가장 기본이 S3이고, 그 밖에 웹 크롤러와 Confluence·SharePoint·Salesforce 같은 SaaS 커넥터가 있습니다. 커넥터는 원본 시스템의 인증 정보와 범위를 받아 문서를 목록으로 읽어 오는 연결 구성 요소이고, 인증 정보는 코드에 적지 않고 AWS Secrets Manager의 비밀로 넘깁니다. 위키 페이지의 첨부 파일과 댓글을 포함할지, 어느 공간만 읽을지 같은 범위도 커넥터 설정에 적습니다. 범위는 넓을수록 좋은 것이 아닙니다. 초안 공간이나 개인 메모까지 읽어 오면 확정되지 않은 내용이 근거로 서고, 원본에서 일부 사람만 보던 문서가 모든 사용자의 답에 섞입니다. 커넥터의 포함·제외 필터로 읽을 공간과 파일 종류를 먼저 좁히는 것이 연결 설계의 첫 단계입니다.

커넥터 밖의 원본

커넥터가 없는 사내 시스템은 두 길로 잇습니다. 하나는 그 시스템에서 문서를 꺼내 S3에 내려놓는 작은 수집기를 두고, S3를 데이터 소스로 삼는 것입니다. Lambda가 시스템 API를 불러 바뀐 문서를 S3에 쓰고, 문서 옆에 메타데이터 파일을 함께 둡니다. 다른 하나는 사용자 지정 데이터 소스에 IngestKnowledgeBaseDocuments API로 문서를 직접 밀어 넣는 것입니다. 이 길은 S3를 거치지 않고 문서 몇 건을 바로 반영하므로 변경이 생길 때마다 그 문서만 넣는 실시간 경로에 맞습니다. 앞쪽은 원본 사본이 S3에 남아 재처리가 쉽고, 뒤쪽은 지연이 짧습니다.

증분 업데이트

동기화 작업

데이터 소스의 내용을 벡터 저장소에 반영하는 일을 Bedrock에서는 동기화라고 부르고, API로는 StartIngestionJob입니다. 이 작업은 증분으로 돕니다 — 지난 동기화 이후 새로 생기거나 바뀌거나 지워진 문서만 골라 처리합니다. 문서 10만 건 가운데 300건이 바뀌었다면 300건만 다시 자르고 임베딩합니다. 임베딩 호출이 비용의 큰 몫이므로, 매번 전체를 다시 넣는 설계는 같은 결과에 수백 배 비용을 냅니다.

import boto3

agent = boto3.client("bedrock-agent")
job = agent.start_ingestion_job(knowledgeBaseId=kb_id, dataSourceId=ds_id)
job_id = job["ingestionJob"]["ingestionJobId"]
status = agent.get_ingestion_job(
    knowledgeBaseId=kb_id, dataSourceId=ds_id, ingestionJobId=job_id
)["ingestionJob"]["status"]

작업 결과에는 새로 색인한 문서·바뀐 문서·지운 문서·실패한 문서의 수가 따로 나옵니다. 실패 수가 0이 아니면 그 문서들은 옛 상태로 남아 있다는 뜻이므로, 상태를 확인하는 단계가 동기화의 일부입니다.

증분이 통하지 않는 변경도 있습니다. 청킹 방식이나 임베딩 모델을 바꾸면 문서 내용은 그대로여도 이미 들어간 청크와 벡터가 전부 옛 방식으로 만들어진 것이 됩니다. 이때는 바뀐 문서만 골라서는 안 되고, 새 데이터 소스나 새 지식 기반을 만들어 전체를 다시 넣은 뒤 애플리케이션이 부르는 대상을 바꿉니다. 옛 쪽은 새 쪽의 검색 품질을 확인할 때까지 남겨 두면 되돌릴 자리가 됩니다. 「내용이 바뀌었는가」와 「처리 방식이 바뀌었는가」는 다른 질문이고, 증분 동기화가 답하는 것은 앞쪽뿐입니다.

삭제의 반영

증분에서 가장 놓치기 쉬운 것이 삭제입니다. 원본에서 문서를 지웠는데 벡터 저장소에서 지우지 않으면, 폐지된 규정이 검색 결과에 계속 섭니다. S3 데이터 소스는 객체가 사라진 것을 다음 동기화에서 보고 청크를 지웁니다. 직접 만든 수집기라면 원본의 삭제를 S3 객체 삭제로 옮겨 적어야 하고, 사용자 지정 데이터 소스라면 DeleteKnowledgeBaseDocuments를 따로 불러야 합니다. 「추가와 수정만 반영된다」는 서술이 보이면 삭제 경로가 빠진 설계를 묻는 것입니다.

변경 감지와 자동 동기화

실시간 변경 감지

언제 동기화할지를 정하는 것이 변경 감지입니다. S3에 문서가 놓이면 S3 이벤트 알림이 EventBridge로 가고, 규칙이 Lambda를 깨워 동기화를 시작합니다. 데이터베이스가 원본이면 DynamoDB Streams가 바뀐 행을 흘려보내고, SaaS 원본이면 그 시스템의 웹후크를 API Gateway로 받습니다. 어느 쪽이든 「바뀌었다」는 신호가 사람 손을 거치지 않고 파이프라인에 들어오게 하는 것이 요점입니다.

문서 1,000건이 한꺼번에 올라오면 이벤트도 1,000개가 납니다. 이벤트마다 동기화 작업을 시작하면 작업끼리 부딪히고 같은 일을 여러 번 합니다. 그래서 이벤트를 Amazon SQS 대기열에 모아 두고 몇 분에 한 번 묶어서 작업 하나로 처리합니다. 이렇게 짧은 간격의 신호를 하나로 합치는 처리를 디바운싱이라고 부릅니다.

동기화 워크플로

시작·대기·확인·알림이 이어지는 일은 AWS Step Functions 상태 머신으로 짭니다. 상태 머신은 동기화 작업을 시작하고, 상태가 끝날 때까지 기다렸다가 다시 묻고, 실패한 문서가 있으면 재시도하거나 Amazon SNS로 알립니다. 이미 돌고 있는 작업이 있으면 끝날 때까지 기다리는 분기도 여기에 둡니다. Lambda 하나에 이 모두를 넣으면 실행 시간 한도에 걸리고 실패 지점이 안 보입니다.

  1. EventBridge 규칙이나 스케줄이 상태 머신을 시작한다
  2. 진행 중인 동기화 작업이 있으면 기다린다
  3. StartIngestionJob을 부르고 작업 id를 받는다
  4. 상태가 끝날 때까지 간격을 두고 묻는다
  5. 실패 문서 수를 확인해 재시도하거나 알린다
  6. 마지막 성공 시각을 지표로 남긴다

예약된 새로 고침

스케줄 기반 파이프라인

모든 원본이 변경 신호를 내지는 않습니다. 웹후크가 없는 오래된 문서 관리 시스템이나 바깥 웹 사이트는 정해진 시각에 다시 읽는 수밖에 없습니다. Amazon EventBridge Scheduler는 cron 식이나 일정 간격으로 대상을 부르는 서비스이고, 위의 상태 머신을 대상으로 걸면 예약된 새로 고침 파이프라인이 됩니다. 이벤트 기반과 예약을 함께 두는 구성도 흔한 설계입니다 — 변경 신호로 빠르게 반영하고, 밤마다 한 번 전체를 다시 훑어 신호가 빠진 변경을 잡습니다.

주기 정하기

주기는 「얼마나 늦어도 되는가」와 「한 번 돌 때 얼마가 드는가」의 맞교환입니다. 요금표가 바뀌면 그날 안에 반영돼야 하는 고객 응대라면 짧게, 분기마다 바뀌는 사내 정책 문서라면 하루 한 번이면 됩니다. 증분 동기화는 바뀐 것만 처리하므로 주기를 짧게 해도 비용이 문서 전체에 비례해 늘지는 않지만, 원본 시스템을 읽는 호출은 주기마다 듭니다. 원본 API에 호출 한도가 있으면 그것이 주기의 하한이 됩니다.

최신성과 정확성

최신성 지표

최신성은 재지 않으면 지킬 수 없습니다. 가장 단순한 지표는 동기화 지연, 곧 지금 시각에서 마지막으로 성공한 동기화 시각을 뺀 값입니다. 워크플로 마지막 단계가 성공 시각을 CloudWatch 지표로 올리면, 지연이 기준을 넘을 때 경보를 걸 수 있습니다. 문서 단위로는 원본의 수정 시각과 벡터 저장소에 붙은 updated_at 메타데이터를 견주어, 원본이 더 새로운 문서 수를 셉니다. 이 수가 0이 아니면 동기화가 무언가를 놓친 것입니다. 같은 메타데이터를 검색 결과와 함께 모델에 넘기면, 답 끝에 「2026-10-12 개정본 기준」처럼 근거 문서의 시점을 밝히게 할 수도 있습니다. 사용자는 답이 언제의 문서에 기댄 것인지 알게 되고, 오래된 문서가 근거로 섰을 때 그 사실이 화면에 드러납니다.

정확성 점검

최신이라고 정확한 것은 아닙니다. 파싱이 표를 깨뜨렸거나, 청크가 문장 한가운데서 잘렸거나, 실패한 문서가 조용히 빠졌을 수 있습니다. 그래서 질문과 기대 문서를 짝지은 작은 평가 묶음을 두고, 동기화가 끝날 때마다 그 질문들로 검색해 기대 문서가 상위에 오는지 확인합니다. 원본 문서의 내용 해시를 메타데이터에 함께 저장해 두면, 같은 문서가 두 번 들어갔는지나 내용이 실제로 바뀌었는지도 가를 수 있습니다. 최신성은 시각으로, 정확성은 검색 결과로 잽니다.

연습 문제

  1. 마지막으로 성공한 동기화가 06:40에 끝났고 지금은 10:10입니다. 동기화 지연 경보 기준이 3시간이면 경보가 울리는가?
    울립니다. 지연은 3시간 30분(210분)이라 기준 180분을 넘습니다.
  2. 문서 8만 건 가운데 지난 동기화 이후 240건이 바뀌었습니다. Bedrock Knowledge Bases 동기화가 다시 임베딩하는 문서 수와 전체 대비 비율은?
    ① 240건, 0.3%
    ② 240건, 3%
    ③ 8만 건, 100%
    ④ 2,400건, 3%
    ①. 동기화는 증분이라 바뀐 문서만 처리하고, 240/80000=0.003240 / 80000 = 0.003 입니다.
  3. S3에 문서 1,000건이 한꺼번에 올라와 동기화 작업이 서로 부딪힙니다. 알맞은 고침은?
    ① 객체마다 StartIngestionJob을 즉시 부른다
    ② 이벤트를 SQS에 모았다가 몇 분마다 묶어 작업 하나로 처리한다
    ③ 데이터 소스를 문서마다 하나씩 만든다
    ④ S3 이벤트 알림을 끈다
    ②. 짧은 간격의 신호를 하나로 합쳐 작업 수를 줄입니다.
  4. 다음 가운데 원본에서 지운 문서가 검색 결과에서 사라지게 하는 데 필요한 것을 둘 고르시오.
    ① 직접 만든 수집기가 원본의 삭제를 S3 객체 삭제로 옮겨 적는다
    ② 사용자 지정 데이터 소스에서는 DeleteKnowledgeBaseDocuments를 부른다
    ③ 임베딩 모델의 차원을 줄인다
    ④ 벡터 저장소의 레플리카를 늘린다
    ⑤ 동기화 주기를 하루로 늘린다
    ①과 ②. 삭제가 벡터 저장소까지 전해지는 경로가 있어야 합니다. 나머지는 삭제와 상관이 없습니다.
  5. 웹후크가 없는 오래된 문서 관리 시스템을 원본으로 둡니다. 동기화를 시작하는 방법으로 알맞은 것은?
    ① DynamoDB Streams
    ② EventBridge Scheduler로 상태 머신을 정해진 시각에 시작
    ③ S3 이벤트 알림
    ④ CloudTrail 데이터 이벤트
    ②. 변경 신호가 없으므로 예약된 새로 고침으로 다시 읽습니다.
  6. 동기화 작업은 성공으로 끝났는데 일부 질문에서 표 안의 수치를 못 찾습니다. 시각 지표로는 안 보이는 이 문제를 잡는 장치는?
    질문과 기대 문서를 짝지은 평가 묶음으로 동기화 뒤마다 검색을 돌려 기대 문서가 상위에 오는지 보는 점검입니다. 최신성은 시각으로, 정확성은 검색 결과로 잽니다.
AWS GenAI Developer – Professional 시험 노트 전체 보기