Microsoft AI-300 시험 노트개념 정리13 MIN
관리형 온라인 엔드포인트와 롤아웃
AI-300 「모델 수명 주기·운영」에서 모델을 실시간 추론으로 내보내는 노트입니다. 온라인 엔드포인트와 배포, 관리형 추론과 인스턴스 유형, 블루-그린 트래픽 분할, 미러링 검증, 안전한 롤백을 정리합니다.
지난 노트에서 평가를 통과한 모델을 이제 요청에 바로 답하는 서비스로 내보냅니다. 앱이 고객 한 명의 정보를 보내면 몇백 밀리초 안에 이탈 확률을 돌려받아야 하는 자리입니다. Azure ML에서 그 서비스는 엔드포인트와 배포 두 층으로 섭니다.
엔드포인트와 배포
두 층
온라인 엔드포인트는 요청을 받는 HTTPS 주소와 인증 방식을 가진 자원입니다. 배포는 그 엔드포인트 뒤에서 실제로 모델을 돌리는 단위로, 모델 버전·환경·점수 스크립트·VM 크기·인스턴스 수를 듭니다. 엔드포인트 하나 뒤에 배포 여럿을 둘 수 있고, 엔드포인트가 들어온 요청을 배포들에 어떤 비율로 나눌지 정합니다. 클라이언트는 엔드포인트 주소만 알기 때문에 뒤의 배포를 바꿔도 앱을 고칠 필요가 없습니다. 이 분리가 다음 절들의 롤아웃을 가능하게 합니다.
인증
엔드포인트의 auth_mode는 셋 가운데 하나입니다. key는 만료되지 않는 키로, aml_token은 Azure ML이 발급하는 만료되는 토큰으로, aad_token은 Microsoft Entra ID 토큰으로 인증합니다. 키는 다시 생성해야 바뀌므로, 유출 위험을 줄이려면 만료되는 토큰 쪽을 고릅니다.
from azure.ai.ml.entities import ManagedOnlineEndpoint
endpoint = ManagedOnlineEndpoint(name="churn-online", auth_mode="key")
ml_client.online_endpoints.begin_create_or_update(endpoint).result()
엔드포인트가 서면 호출 주소는 scoring_uri 속성에, 키나 토큰은 ml_client.online_endpoints.get_keys(name="churn-online")로 받습니다. 클라이언트는 그 값을 Authorization: Bearer 헤더에 넣어 JSON 본문을 POST합니다. 엔드포인트 이름은 지역 안에서 고유해야 하는데, 주소의 일부가 되기 때문입니다. 그래서 개발·운영 작업 영역이 같은 지역에 있으면 이름에 환경을 붙여(churn-online-dev) 겹치지 않게 합니다.
관리형 추론
관리형과 Kubernetes
관리형 온라인 엔드포인트는 Azure가 VM을 띄우고 OS 패치·노드 복구·모니터링 연결까지 맡는 방식입니다. 사용자는 VM 크기와 인스턴스 수만 고릅니다. Kubernetes 온라인 엔드포인트는 둘째 노트에서 연결한 AKS나 Arc 클러스터 위에 배포하는 방식으로, 클러스터 운영은 사용자 몫이지만 기존 클러스터와 네트워크를 그대로 씁니다.
| 구분 | 관리형 | Kubernetes |
|---|---|---|
| 인프라 관리 | Azure | 사용자 |
| 컴퓨팅 | 배포마다 VM 크기 지정 | 연결된 클러스터의 인스턴스 유형 |
| 맞는 곳 | 운영 부담을 줄이고 싶을 때 | 이미 클러스터를 운영할 때 |
인스턴스 유형과 할당량
배포는 instance_type(예: Standard_DS3_v2)과 instance_count를 정합니다. 관리형 배포는 구독의 VM 계열 코어 할당량을 쓰고, 업그레이드할 때 새 인스턴스를 먼저 띄운 뒤 옛 인스턴스를 내리므로 Microsoft 문서는 실제로 쓰는 양보다 20%가량 더 여유를 두라고 권합니다. 4코어 VM 5대를 쓰는 배포라면 코어에 20%를 더한 24코어를 확보해 두는 셈입니다. 부하가 오르내리면 Azure Monitor 자동 크기 조정 규칙으로 인스턴스 수를 바꿉니다.
from azure.ai.ml.entities import ManagedOnlineDeployment
blue = ManagedOnlineDeployment(
name="blue",
endpoint_name="churn-online",
model="azureml:churn-model:3",
instance_type="Standard_DS3_v2",
instance_count=2,
)
ml_client.online_deployments.begin_create_or_update(blue).result()
MLflow 모델은 위처럼 모델만 주면 됩니다. custom_model이면 code_configuration에 점수 스크립트(init()과 run())를, environment에 환경을 함께 줍니다.
트래픽 분할
블루-그린 배포
블루-그린 배포는 지금 운영 중인 배포(블루) 옆에 새 모델의 배포(그린)를 따로 세우고, 엔드포인트의 트래픽 비율을 옮겨 전환하는 방식입니다. 그린을 만들 때는 트래픽 0%로 세우므로 고객 요청은 하나도 가지 않고, 그 상태에서 그린을 직접 호출해 시험합니다. 배포를 지정해 호출하면 트래픽 비율과 상관없이 그 배포로 갑니다.
az ml online-endpoint invoke --name churn-online \
--deployment-name green --request-file sample.json
점진적 롤아웃
시험이 끝나면 비율을 조금씩 옮깁니다. 트래픽 비율의 합은 100이어야 합니다.
endpoint = ml_client.online_endpoints.get("churn-online")
endpoint.traffic = {"blue": 90, "green": 10}
ml_client.online_endpoints.begin_create_or_update(endpoint).result()
10%에서 지연 시간과 오류율을 보고 문제가 없으면 50%, 100%로 올리고, 그린이 100%가 된 뒤 블루를 지웁니다. 분당 2,000건이 들어오는 엔드포인트에서 블루 90·그린 10이면 그린은 분당 건을 받습니다. 그린이 받은 요청의 응답은 실제로 고객에게 돌아가므로, 이 단계에서 그린의 오류는 곧 고객이 겪는 오류입니다.
미러링 트래픽
섀도 검증
미러링 트래픽은 실제 요청의 사본을 새 배포에 보내되, 그 응답을 클라이언트에 돌려주지 않는 방식입니다. 고객은 여전히 블루의 응답만 받으므로, 그린이 틀리거나 느려도 고객은 모릅니다. 실제 운영 트래픽의 모양으로 새 배포의 지연 시간·오류율·자원 사용을 미리 재는 자리입니다.
endpoint.traffic = {"blue": 100}
endpoint.mirror_traffic = {"green": 10}
ml_client.online_endpoints.begin_create_or_update(endpoint).result()
제약
미러링은 몇 가지 제약을 안고 있습니다. 미러링 비율은 50%를 넘을 수 없고, 미러링을 받는 배포는 실제 트래픽을 받지 않는 상태여야 합니다. 그리고 미러링은 배포를 지정하지 않은 요청에만 걸립니다. 위 설정에서 분당 2,000건이면 블루는 2,000건 전부에 답하고, 그린은 그 사본 200건을 받아 처리하지만 결과는 버려집니다.
| 방식 | 그린이 받는 것 | 그린 응답이 고객에게 | 쓰는 단계 |
|---|---|---|---|
| 트래픽 0% + 직접 호출 | 시험 요청만 | 시험자에게만 | 기능 확인 |
| 미러링 | 실제 요청의 사본 | 가지 않는다 | 운영 부하 검증 |
| 트래픽 분할 | 실제 요청의 일부 | 간다 | 점진적 전환 |
롤백
비율 되돌리기
롤아웃 도중 그린에 문제가 보이면 롤백은 트래픽 비율을 블루 100으로 되돌리는 것 하나입니다. 블루를 지우지 않고 남겨 둔 것이 이 순간을 위한 것이라, 새 배포를 만들거나 이미지를 다시 빌드하지 않아도 몇 분 안에 원래 상태로 돌아갑니다. 롤아웃을 마친 뒤 블루를 바로 지우지 않고 한동안 인스턴스를 줄여 남겨 두는 것도 같은 이유입니다.
endpoint.traffic = {"blue": 100, "green": 0}
ml_client.online_endpoints.begin_create_or_update(endpoint).result()
ml_client.online_deployments.begin_delete(name="green", endpoint_name="churn-online").result()
롤백 판단
롤백을 언제 할지는 미리 숫자로 정해 둡니다. 엔드포인트 지표는 Azure Monitor에 배포 단위로 쌓이므로 그린의 요청 지연·5xx 비율을 블루와 나란히 볼 수 있고, 경고 규칙을 걸어 문턱을 넘으면 알리게 합니다. 이 절은 「고객에게 영향 없이 운영 트래픽으로 검증」, 「문제가 생기면 즉시 되돌림」 같은 요구를 주고 트래픽 분할·미러링·직접 호출 가운데 하나를 고르게 하는 꼴로 물을 수 있습니다.
연습 문제
엔드포인트에 분당 3,000건이 들어오고 트래픽이
{"blue": 70, "green": 30}입니다. 그린이 분당 처리하고 그 응답이 고객에게 가는 요청 수는?
① 300
② 900
③ 2,100
④ 3,000②. 건입니다. 트래픽 분할의 응답은 고객에게 갑니다.트래픽
{"blue": 100}, 미러링{"green": 20}이고 분당 1,500건이 들어옵니다. 고객이 받는 응답 가운데 그린이 만든 것은?
① 0건
② 300건
③ 1,200건
④ 1,500건①. 그린은 사본 건을 처리하지만 미러링 응답은 고객에게 돌아가지 않습니다.새 배포를 고객 영향 없이 실제 운영 트래픽 모양으로 부하 검증하려 합니다. 알맞은 것은?
① 그린에 트래픽 10%를 준다
② 그린에 미러링 트래픽을 건다
③ 블루를 지우고 그린을 100%로 둔다
④ 엔드포인트의 인증 방식을aml_token으로 바꾼다②. ①은 그린의 응답이 실제 고객에게 갑니다.그린을 30%로 올린 뒤 5xx 오류율이 급등했습니다. 가장 빠르고 안전한 대응은?
① 블루를 지우고 그린의 인스턴스를 늘린다
② 트래픽을 블루 100으로 되돌린다
③ 새 엔드포인트를 만들어 앱의 주소를 바꾼다
④ 미러링 비율을 60%로 올린다②. 블루가 남아 있으므로 비율만 되돌리면 됩니다. ④는 50% 상한을 넘어 설정할 수 없습니다.8코어 VM으로 인스턴스 3대를 쓰는 관리형 배포를 운영하려 합니다. 업그레이드 여유로 20%를 더하면 확보할 최소 코어 수(정수)는?
① 24
② 29
③ 32
④ 48②. 에 1.2를 곱하면 이고, 코어는 정수라 올려서 29코어입니다. ①은 여유를 빼먹었고 ④는 인스턴스를 두 배로 셌습니다.운영팀이 AKS 클러스터를 이미 운영하고 있고 그 위에서 모델을 서비스하려 합니다. 알맞은 엔드포인트는?
① 관리형 온라인 엔드포인트
② Kubernetes 온라인 엔드포인트
③ 배치 엔드포인트
④ 서버리스 컴퓨팅②. 연결된 Kubernetes 컴퓨팅에 배포하는 방식입니다.
다음 노트는 요청을 모아 한꺼번에 처리하는 배치 엔드포인트와, 배포가 실패했을 때 로그로 원인을 찾는 법을 다룹니다.

