AI 워크로드는 회선을 어떻게 쓸까요

GPU를 샀는데 데이터가 안 옵니다

AI 인프라를 준비할 때 예산표의 맨 윗줄은 늘 GPU입니다. 몇 장을 살지, 어떤 모델로 살지를 두고 몇 주를 고민합니다. 회선은 보통 맨 마지막에 "인터넷은 되겠지" 하고 넘어갑니다.

문제는 장비가 들어온 다음에 드러납니다. 학습에 쓸 데이터가 다른 곳에 있는데 옮기는 데 며칠이 걸립니다. 그동안 GPU는 켜진 채로 기다립니다. 반대로 모델을 다 만들어 서비스에 올렸더니, 답은 빨리 만드는데 사용자에게 닿는 데 시간이 걸립니다.

두 경우 모두 원인은 회선입니다. 그리고 둘은 서로 다른 문제입니다.

학습은 한 번에 크게 옮깁니다

학습 단계의 트래픽은 덩어리가 큽니다. 데이터셋을 가져오고, 학습 중간에 체크포인트를 저장소로 보내고, 다 만든 모델을 서비스할 곳으로 내보냅니다. 평소에는 조용하다가 옮길 때만 회선을 가득 채웁니다.

이때 중요한 것은 굵기입니다. 같은 100TB를 옮기는 데 포트 속도에 따라 걸리는 시간은 이렇게 달라집니다.

포트	100TB를 옮기는 시간
1G	약 9일
10G	약 22시간
100G	약 2시간 13분
400G	약 33분

회선을 끝까지 다 쓴다고 가정한 이론값입니다. 실제로는 저장 장치의 읽고 쓰는 속도, 전송 도구, 상대편 회선에 따라 이보다 느립니다. 그래도 자릿수가 달라진다는 점은 그대로입니다. 1G로는 일주일 넘게 걸리는 일이 100G에서는 점심 먹고 오면 끝납니다.

여기서 따져 볼 것은 "평균 사용량"이 아니라 "가장 크게 옮길 때 얼마나 기다릴 수 있는가"입니다. GPU가 데이터를 기다리며 놀고 있는 시간도 비용이기 때문입니다.

데이터는 어디에서 오나요

굵기만큼 중요한 것이 경로입니다. 학습 데이터는 대개 클라우드 저장소나 다른 데이터센터에 있습니다. 내 쪽 포트가 100G여도, 그 사이 구간이 여러 사업자를 거치는 혼잡한 길이면 속도는 가장 좁은 곳에 맞춰집니다.

그래서 회선 사업자를 볼 때는 포트 속도와 함께 이것을 물어보는 편이 좋습니다.

내 데이터가 있는 곳(클라우드, 다른 데이터센터)까지 직접 연결돼 있는가
그렇지 않다면 중간에 몇 군데를 거치는가
한 경로가 막혔을 때 돌아갈 길이 있는가

답이 "직접 연결"이면 옮기는 시간이 예측 가능해집니다. 공용 인터넷을 여러 번 거치면 같은 작업이 어떤 날은 두 시간, 어떤 날은 여섯 시간 걸립니다.

추론은 매번 빨리 답해야 합니다

모델을 서비스에 올리면 트래픽의 성격이 뒤집힙니다. 요청 하나하나는 작습니다. 대신 끊임없이 들어오고, 하나하나가 빨리 돌아가야 합니다.

사용자가 느끼는 응답 시간은 모델이 답을 만드는 시간에 오가는 시간을 더한 값입니다. 모델을 아무리 빠르게 만들어도 왕복에 100ms가 걸리면 그만큼은 줄일 수 없습니다. 음성 대화나 실시간 번역처럼 응답이 조금만 늦어도 어색해지는 서비스에서는 이 차이가 그대로 드러납니다.

이때 보는 것은 굵기가 아니라 거리입니다. 정확히는 사용자가 쓰는 통신사에서 내 서버까지 몇 군데를 거치는가입니다. 국내 사용자가 대부분이라면 국내 통신사, IX와 직접 피어링된 회선이 유리합니다. 해외를 한 번 돌아 들어오는 경로는 속도가 아무리 빨라도 지연이 깁니다.

한 회선에서 둘 다 받으려면

학습과 추론을 같은 곳에서 돌린다면 회선은 두 가지를 동시에 견뎌야 합니다.

	학습	추론
트래픽 모양	가끔, 아주 크게	늘, 작게
중요한 것	포트 굵기, 데이터까지의 경로	사용자까지의 지연
문제가 생기면	GPU가 데이터를 기다립니다	사용자가 답을 기다립니다

주의할 점이 하나 있습니다. 큰 전송이 회선을 가득 채우는 동안 추론 응답이 느려질 수 있습니다. 포트에 여유를 두거나, 큰 전송을 사용자가 적은 시간대로 옮기거나, 전송 속도에 상한을 걸어 두는 식으로 미리 나눠 두는 편이 안전합니다.

과금 방식도 같이 보세요

가끔 크게 쓰는 트래픽은 과금 방식에 따라 비용이 크게 달라집니다.

회선 요금에서 흔히 쓰는 95th 과금은 한 달 동안 5분마다 사용량을 재고, 높은 쪽 5%를 버린 뒤 그다음 값으로 요금을 매깁니다. 한 달을 30일로 치면 5%는 36시간입니다. 한 달에 36시간 안쪽으로만 크게 쓰는 전송은 요금에 잡히지 않는다는 뜻입니다.

학습 데이터를 한 달에 몇 번, 몇 시간씩 옮기는 정도라면 95th 과금이 잘 맞습니다. 반대로 매일 여러 시간씩 가득 채운다면 정액이나 약정이 유리할 수 있습니다. 자기 워크로드가 어느 쪽인지 먼저 재 보고 고르는 것이 좋습니다.

회선을 고를 때 물어볼 것

정리하면 AI 인프라의 회선은 이 네 가지로 고릅니다.

가장 크게 옮기는 데이터가 얼마이고, 얼마나 기다릴 수 있는가 (포트 굵기)
그 데이터가 있는 곳까지 직접 닿는가 (경로)
사용자가 쓰는 통신사에서 내 서버까지 얼마나 걸리는가 (지연)
크게 쓰는 시간이 한 달에 얼마나 되는가 (과금 방식)

LETO IP Transit은 1G, 10G, 100G 포트 중에 고르고, 100G로 모자라면 400G 포트를 구성합니다. 국내 주요 통신사와 IX에 직접 피어링돼 있어 국내 구간 지연이 한 자릿수 ms대로 나오고, 과금은 약정, 95th, 정액 가운데 트래픽 모양에 맞는 것을 고릅니다.

IP Transit 살펴보기 →