AIワークロードは回線をどう使うのでしょうか

GPUを買ったのに、データが届きません

AIインフラを準備するとき、予算表のいちばん上にあるのはいつもGPUです。何枚買うか、どのモデルにするかで何週間も悩みます。回線はたいてい最後に「インターネットはつながるだろう」で済ませてしまいます。

問題は機材が入ったあとに表に出ます。学習に使うデータが別の場所にあり、移すのに何日もかかります。その間、GPUは電源が入ったまま待っています。逆に、モデルを作り終えてサービスに載せてみると、答えを作るのは速いのに、ユーザーに届くまでに時間がかかります。

どちらも原因は回線です。そして、この2つは別々の問題です。

---

学習は一度に大きく運びます

学習段階のトラフィックは、ひとかたまりが大きいのが特徴です。データセットを取り込み、学習の途中でチェックポイントをストレージに送り、完成したモデルをサービスする場所へ送り出します。普段は静かで、運ぶときだけ回線をいっぱいに使います。

このとき重要なのは帯域の太さです。同じ100TBを運ぶのにかかる時間は、ポート速度によって次のように変わります。

回線を最後まで使い切ると仮定した理論値です。実際にはストレージの読み書き速度、転送ツール、相手側の回線によってこれより遅くなります。それでも桁が変わるという点は変わりません。1Gでは1週間以上かかる作業が、100Gなら昼食から戻るころには終わっています。

ここで考えるべきなのは「平均使用量」ではなく、「いちばん大きく運ぶときにどれだけ待てるか」です。GPUがデータを待って止まっている時間もコストだからです。

---

データはどこから来るのでしょうか

太さと同じくらい重要なのが経路です。学習データはたいていクラウドストレージや別のデータセンターにあります。自分側のポートが100Gでも、その間の区間が複数の事業者を経由する混雑した経路であれば、速度はいちばん細いところに合わせられます。

そのため回線事業者を見るときは、ポート速度とあわせて次の点を確認することをおすすめします。

• 自分のデータがある場所(クラウド、別のデータセンター)まで直接つながっているか
• そうでない場合、途中で何か所を経由するか
• ある経路がふさがったとき、迂回できる経路があるか

答えが「直接接続」であれば、転送にかかる時間が予測できるようになります。公衆インターネットを何度も経由すると、同じ作業がある日は2時間、別の日は6時間かかります。

---

推論は毎回すばやく返す必要があります

モデルをサービスに載せると、トラフィックの性質が逆になります。リクエスト1件1件は小さいものです。その代わり絶え間なく届き、1件ごとにすばやく返さなければなりません。

ユーザーが感じる応答時間は、モデルが答えを作る時間に、往復にかかる時間を足した値です。モデルをどれだけ速くしても、往復に100msかかるならその分は縮められません。音声対話やリアルタイム翻訳のように、応答が少し遅れるだけで不自然になるサービスでは、この差がそのまま表れます。

ここで見るのは太さではなく距離です。正確には、ユーザーが使っている通信事業者から自分のサーバーまで何か所を経由するかです。国内ユーザーが大半であれば、国内の通信事業者やIXと直接ピアリングしている回線が有利です。海外を一度回って入ってくる経路は、速度がどれだけ速くても遅延が大きくなります。

---

1本の回線で両方を受けるには

学習と推論を同じ場所で動かすなら、回線は2つの使われ方に同時に耐える必要があります。

注意点が1つあります。大きな転送が回線をいっぱいに使っている間、推論の応答が遅くなることがあります。ポートに余裕を持たせる、大きな転送をユーザーの少ない時間帯に移す、転送速度に上限を設けるといった形で、あらかじめ分けておくほうが安全です。

---

課金方式もあわせて確認してください

ときどき大きく使うトラフィックは、課金方式によって費用が大きく変わります。

回線料金でよく使われる95パーセンタイル課金は、1か月の間5分ごとに使用量を測り、上位5%を捨てたうえで、その次の値で料金を決めます。1か月を30日とすると、5%は36時間です。つまり、1か月に36時間以内だけ大きく使う転送は、料金に反映されないということです。

学習データを月に数回、数時間ずつ運ぶ程度であれば、95パーセンタイル課金がよく合います。反対に、毎日何時間もいっぱいに使うのであれば、定額やコミット契約のほうが有利な場合があります。自分のワークロードがどちらに当たるのかを先に測ってから選ぶことをおすすめします。

---

回線を選ぶときに確認すること

まとめると、AIインフラの回線は次の4点で選びます。

1. いちばん大きく運ぶデータはどれくらいで、どれだけ待てるか (ポートの太さ)
2. そのデータがある場所まで直接届くか (経路)
3. ユーザーが使っている通信事業者から自分のサーバーまでどれくらいかかるか (遅延)
4. 大きく使う時間が1か月にどれくらいあるか (課金方式)

LETO IP Transitは1G、10G、100Gのポートから選べ、100Gで足りない場合は400Gポートを構成します。韓国国内の主要通信事業者とIXに直接ピアリングしているため、国内区間の遅延は1桁ms台に収まり、課金はコミット、95パーセンタイル課金、定額の中からトラフィックの形に合うものを選べます。

IP Transitを見る →