Nutanix Enterprise AI 2.6 をデプロイしてみる。Part-08：NAI の動作確認

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NAI の動作確認として、モデルのインポートとエンドポイントの作成を実施してみます。なお、今回は簡易的に動作確認するため、Hugging Face Hub からトークンなしでダウンロードできるモデルを利用します。

なお、NAI のライセンスキーを追加していない場合、一定時間が経過すると、ライセンス不足によりエンドポイント起動ができなくなります。そのため動作確認は、NAI インストール直後に実施するか、NAI のライセンスキーを登録してからあらためて実施することになります。

前回はこちら。

Nutanix Enterprise AI 2.6 をデプロイしてみる。Part-07：NAI のインストール

今回の内容です。

1. Emmbeding モデルによる推論サービスの作成
2. Reranker モデルによる推論サービスの作成

1. Emmbeding モデルによる推論サービスの作成

まずは、動作確認もかねて、Emmbeding モデルの推論サービスを作成してみます。

ここでは、Hugging Face Hub からトークンなしでダウンロードできる「granite-embedding-107m-multilingual」モデルを利用します。このモデルによる推論サービスエンドポイントは、CPU のみでも動作します。

1-1. モデルのインポート

NAI UI で、「モデル」を開き、「Hugging Face モデルハブからインポートする」をクリックします。

モデル名で検索、もしくは「>」ボタンをクリックしてページを進めて、下記のモデルを選択して「インポート」をクリックします。

モデル名：ibm-granite/granite-embedding-107m-multilingual

ちなみに、これはテキスト生成ではなく、テキストをベクトル化（Embedding）するモデルです。

モデルインスタンスの名前を入力して、「インポート」をクリックします。これは、インポートしたモデルを NAI で管理するための名前です。

モデルインスタンス名：granite-embed

モデルのダウンロード・インポートが完了すると、ステータスが「準備完了」になります。まだ NAI でモデルへのアクセスを許可していないため、モデルインスタンス名のとなりに「!」マークが表示されています。

1-2. モデルのアクセス許可

「モデル」画面で「モデルアクセス制御」タブを開き、「Hugging Face モデルハブ」の行にある「許可リストを変更」をクリックします。

「granite」などの文字列で検索し、さきほどインポートしたモデルのチェックボックスを ON にして「保存」をクリックします。

これで、Hugging Face モデルハブのモデルが、1件のみアクセス許可されました。

「リスト」タブに戻ると、モデルインスタンス名のとなりにあった「!」マークが消えています。

1-3. エンドポイントの作成

この環境では、まだ Kubernetes クラスタに GPU ノードを追加していません。そして今回のモデルは GPU を必須としていないので、CPU のみを利用した推論サービスエンドポイントとして起動します。

「モデル」画面の「リスト」タブで、インポートしたモデルを選択して、「アクション」→「エンドポイントの作成」をクリックします。

エンドポイントを起動するためのパラメータを入力します。

エンドポイント名：granite-embed-ep
モデル機能：Embedding
モデルインスタンス名：granite-embed
アクセラレーションタイプ：CPU

そして、「新規 API キーを作成」をクリックします。

キーの名前を入力して、「作成」をクリックします。

キーの名前：demo-kay-01

API キーが作成されるので、「キーをコピー」ボタンなどを利用して、テキストファイルなどに保存しておきます。そして、「閉じる」ボタンをクリックして画面を閉じます。

この画面を閉じると API キーを再確認できないので、キーを紛失した場合は、新規のキーを作成することになります。

作成した API キーを選択し、「次へ」をクリックします。

API キー：demo-kay-01

推論エンジンなどのパラメータを指定して、「次へ」をクリックします。

推論エンジン：vLLM
インスタンス数：1
vCPUs：8
メモリー：10

なお、ここで指定されている vCPU とメモリーの値は、デフォルト値であり、最小値です。推論サービスを提供する Pod を起動するには、Kubernetes の Worker ノードに、このリソースの空きが必要です。

パラメータを確認して、「作成」をクリックすると、推論サービスの Pod が起動されます。

起動が完了すると、下記のように、「推論」→「ローカルエンドポイント」画面で、エンドポイントのステータスが「アクティブ」になります。

NAI のエンドポイントは、Kubernetes 側では KServe の InferenceService（isvc）リソースとして起動されます。そして、admin ユーザーによって作成されたエンドポイントは、nai-admin Namespace で起動されます。

gowatana@nkp-work-02:~$ kubectl get inferenceservices.serving.kserve.io -n nai-admin
NAME               URL                                             READY   PREV   LATEST   PREVROLLEDOUTREVISION   LATESTREADYREVISION   AGE
granite-embed-ep   http://granite-embed-ep-nai-admin.example.com   True                                                                  2m32s

Pod も起動できています。

gowatana@nkp-work-02:~$ kubectl get pods -n nai-admin
NAME                                          READY   STATUS    RESTARTS   AGE
granite-embed-ep-predictor-57668dfcbb-t2dmw   1/1     Running   0          2m40s