GPU より開発者のほうが多いですか？ Kinesis Grid で、どのチームも止まらずに前へ。

• Grid / lab-a100 / ポリシー

  フェアシェアオフフェアシェア

  割り当て時間

  4時間

  1人あたりのアプリ数

  2

  アクティビティ

  • Grid の容量待ちでキューに追加（公平な割り当て）ana · train-vit
  • マシンから移動しました — 順番が終了（公平な割り当て）ben · sweep-12
  • アプリ用に予約されたマシン（公平な割り当て）ana · train-vit
  • Grid のキューから受け入れ（フェアシェア）ana · train-vit

  フェアシェア

  GPU が足りないときは、アプリがキューで待機し、順番に実行されます。割り当て時間と 1 人あたりのアプリ数を設定すれば、順番が終わったときに Grid が仕事を次へ移します。

• Grid / lab-a100 / ポリシー / クォータ

  • 1 人あたりの GPU 数を制限4
  • 1 人あたりのアプリ数を制限3
  • 1 人あたりのインスタンス数を制限無制限
  • 停止までの猶予15分

  対象外のアプリ

  shared-inferencelab-jupyterhub

  コンテナ上限

  CPU 16 コアメモリ 64 GB

  クォータと制限

  各 Grid で1人あたりの GPU、アプリ、インスタンス数に上限を設け、コンテナごとに CPU とメモリの上限を設定し、誰もが利用する共有サービスは対象外にできます。

• サーバー / gpu-node-07 / GPU スライス

  H100 80GBMIG スライシング オン

  単位

  VRAM

  割り当てられたアプリ

  3g.40gb40 GBthesis-llm

  2g.20gb20 GBcs231-notebook-04

  1g.10gb10 GBcs231-notebook-11

  1g.10gb10 GB無料

  GPU の分割利用

  対応するデータセンター向け GPU（A100・H100 クラス）を NVIDIA MIG で分離されたスライスに分割し、1 枚のカードでクラス全体や複数のジョブをまかなえます。各スライスはクォータ上 1 GPU として数えます。分割できない GPU は丸ごと共有し、フェアシェアで順番に使います。

• フリート · すべての Grid

  • dgx-018× A100 · lab-a100
  • colo-h100-028× H100 · research
  • lab-l40s-034× L40S · teaching
  • ws-rtx-112× RTX 6000 · teaching

  ビジョン検索研究インターン

  フリート全体を 1 つのビューで

  すべての Grid にわたるすべてのサーバーと、各 GPU で誰の処理が動いているか。ユーザー別の利用状況とプロジェクト別のコストもワンクリックで確認できます。

画面はイメージです · 名称と数値は架空のものです

• 大学と研究機関

  すべての研究室と授業に 1 つのクラスター。予約表は不要です。

  • 研究室や講座ごとにクォータを設定。締め切り前の混雑はフェアシェアが処理します。
  • 大型 GPU をスライスして、クラス全員が同時に作業できるように。
  • 助成金の報告やチャージバックのための、個人ごとの使用状況とプロジェクトごとのコスト。
  • 学生がノートブックやモデルを自分でデプロイできます。管理者へのチケットは不要です。

• インキュベーターとアクセラレーター

  コホートのすべてのスタートアップに、プログラム自身のハードウェアで GPU アクセスを。

  • スタートアップごとに専用の上限があるので、1社のローンチウィークが他のすべてを枯渇させることはありません。
  • チームごとにプロジェクトとロールを分離。1 つの Grid を共有することも、チームごとに専用の Grid を用意することもできます。
  • プログラムのスタッフは、コホート全体について個人ごとの使用状況とプロジェクトごとのコストを確認できます。
  • スタートアップは卒業後も、自社の Grid または Kinesis の容量で、同じワークフローを続けられます。