Nutanix Enterprise AI（NAI）2.6 で、2つの LLM エンドポイントに負荷分散する、統合エンドポイントを作成してみます。なお、この機能は、NAI 2.6 時点ではテクニカル プレビューでした。 今回の内容です。 今回の環境 1. ローカル エンドポイントの作成 2.…

Nutanix Enterprise AI（NAI）2.6 の Management API と curl コマンドを利用して、NAI にインポートしてあるモデルから、推論サービスのエンドポイントを作成してみます。 前回はこちら。 Nutanix Enterprise AI 2.6 の Management API で Hugging Fase モ…

Nutanix Enterprise AI（NAI）2.6 の Management API と curl コマンドを利用して、Hugging Face Hub にあるモデルを URL からインポートしてみます。 今回の内容です。 今回のモデル 1. 既存モデル インスタンスの確認 2. モデルのインポート（curl + API）…

Nutanix Enterprise AI（NAI）2.6 で、SB Intuitions が開発している Sarashina の推論エンドポイントを起動してみます。Sarashina は NAI 2.6 の地蔵検証済みリストには含まれていないので、Hugging Face Hub の URL を指定してインポートします。 今回の内…

Nutanix Enterprise AI（NAI）2.6 の推論サービス エンドポイントを利用して、Dify でチャットボットを作成してみます。今回は、Embedding モデルのエンドポイントを利用して PDF ファイルのテキストをベクトル化し、Dify に登録します。そして、チャットボ…

Nutanix Enterprise AI（NAI）2.6 の推論エンドポイントを利用して、Dify でチャットボットを作成してみます。今回は、Dify に NAI の推論サービス エンドポイントを追加して、チャットボットを作成してみます。 今回の内容です。 1. NAI での エンドポイン…

Nutanix Enterprise AI（NAI）2.6 の推論エンドポイントを利用して、Dify でチャットボットを作成してみます。今回は、Dify を構築します。 今回の内容です。 今回の環境 1. Docker ホストの用意 2. Dify の構築ダウンロード 3. 環境変数ファイルの作成 4. N…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NAI にライセンス キーを追加してみます。 前回はこちら。 Nutanix Enterprise AI 2.6 をデプロイしてみる。Part-11：NAI Labs による動作確認 今回の内容です。 …

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NAI Labs を利用して、作成したエンドポイントの動作確認を実施してみます。 前回はこちら。 Nutanix Enterprise AI 2.6 をデプロイしてみる。Part-10：NAI の動…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、GPU ノードの動作確認として、GPU を使用するエンドポイントを作成してみます。今回も、Hugging Face Hub からトークンなしでダウンロードできるモデルを利用しま…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NKP に GPU ノード プールを追加してみます。 前回はこちら。 Nutanix Enterprise AI 2.6 をデプロイしてみる。Part-08：NAI の動作確認 今回の内容です。 0. NVI…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NAI の動作確認として、モデルのインポートとエンドポイントの作成を実施してみます。なお、今回は簡易的に動作確認するため、Hugging Face Hub からトークンなし…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NAI をインストールし、初期設定を実施します。 前回はこちら。 Nutanix Enterprise AI 2.6 をデプロイしてみる。Part-06：要件ソフトウェアのインストール 今回…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NAI の前提要件となるソフトウェアを、NKP クラスタにインストールします。NKP の管理クラスタにデフォルトでインストールされているものを除き、NVIDIA GPU Oper…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。NAI を NKP で使用するための機能では NKP Pro 以上のライセンスが必要になるので、ここで NKP 管理クラスタにライセンス キーを追加しておきます。 前回はこちら。 Nutan…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、Nutanix Files Storage で NFS サーバーを利用する、NKP クラスタの Storage Class を作成します。 前回はこちら。 Nutanix Enterprise AI 2.6 をデプロイしてみ…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NKP の管理クラスタを用意します。 前回はこちら。 Nutanix Enterprise AI 2.6 をデプロイしてみる。Part-02：作業用マシンの準備 今回の内容です。 1. OS イメー…

NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、作業用の Linux マシンを準備します。nkp CLI による NKP 管理クラスタの作成や OS イメージのビルドでは、コンテナ ホストが必要になります。そこで、このマシン…

Nutanix Enterprise AI（NAI）2.6 を、Nutanix Kubernetes Platform（NKP）v2.17.1 のクラスタに展開してみます。まずは、前提となる Nutanix AHV クラスタの準備について説明します。 参考：使用した Nutanix ソフトウェアのバージョン 1. Nutanix AHV のク…

Nutanix Kubernetes Platform（NKP）で GPU ノード プールを作成すると、デフォルトでは GPU を必要としない Pod であっても、GPU ノードで起動されてしまいます。そこで、Kubernetes の Taint と toleration により、GPU Pod が起動されるノードを調整して…

Nutanix Enterprise AI（NAI）投稿のまとめページです。 1. 概要紹介 2. 検証環境構築 Nutanix Enterprise AI 2.6 Nutanix Enterprise AI 2.4 3. デモ アプリの用意 1. 概要紹介 Nutanix Meetup での登壇資料です。 Nutanix Kubernetes Platform と Nutanix …

Nutanix Kubernetes Platform（NKP）のカタログに登録してある カスタム アプリケーションを削除してみます。 まとめ：Nutanix Kubernetes Platform（NKP）カタログにカスタム アプリケーションを登録してみる。投稿のまとめ 前回：NAI 2.4 の推論エンドポイ…

NAI 2.4 の推論エンドポイントむけに作成したデモ アプリを、Nutanix Kubernetes Platform（NKP）のカタログに、カスタム アプリケーションとして登録してみます。 まとめ：Nutanix Kubernetes Platform（NKP）カタログにカスタム アプリケーションを登録し…

NAI 2.4 の推論エンドポイントむけに作成したデモ アプリを、Nutanix Kubernetes Platform（NKP）で作成した Kubernetes クラスタで起動してみます。 まとめ：Nutanix Kubernetes Platform（NKP）カタログにカスタム アプリケーションを登録してみる。投稿の…

Nutanix Enterprise AI（NAI）2.4 で作成した推論エンドポイントを利用する、デモ アプリを作成してみます。 一連の投稿のまとめはこちら。 Nutanix Kubernetes Platform（NKP）カタログにカスタム アプリケーションを登録してみる。投稿のまとめ 今回のデモ…

先日の Nutanix .NEXT On Tour Tokyo 2025 の Community Hub で話した「Nutanix Kubernetes Platform と Application の関係について（仮）」の登壇資料です。 nutanix.connpass.com セッションの内容 はじめに 1. Kubernetes とアプリ 2. Nutanix Kubernete…

Nutanix Enterprise AI（NAI）2.4 の動作確認として、NVIDIA NGC からモデルをダウンロードして、NVIDIA NIM のエンドポイントを作成してみます。 前回はこちら。 Nutanix Enterprise AI 2.4 をデプロイしてみる。Part-07：NAI-UI でのエンドポイント作成 今…

Nutanix Enterprise AI（NAI）2.4 の動作確認として、NAI-UI で推論サーバーのエンドポイントを作成してみます。 前回はこちら。 Nutanix Enterprise AI 2.4 をデプロイしてみる。Part-06：NAI-UI でのモデル ダウンロード 今回の内容です。 1. エンドポイン…

Nutanix Enterprise AI（NAI）2.4 の動作確認として、NAI-UI で LLM のモデルをダウンロードしてみます。 前回はこちら。 Nutanix Enterprise AI 2.4 をデプロイしてみる。Part-05：NAI（nai-core）のインストール 今回の内容です 1. Hugging Face トークン…

NKP に、Nutanix Enterprise AI（NAI）2.4 を展開してみます。今回は、Kubernetes クラスタに NAI（nai-core チャート）をインストールします。 前回はこちら。 Nutanix Enterprise AI 2.4 をデプロイしてみる。Part-04：要件ソフトウェアのインストール 今…