Nutanix Enterprise AI（NAI）2.6 で、2つの LLM エンドポイントに負荷分散する、統合エンドポイントを作成してみます。なお、この機能は、NAI 2.6 時点ではテクニカル プレビューでした。 今回の内容です。 今回の環境 1. ローカル エンドポイントの作成 2.…

Nutanix Enterprise AI（NAI）2.6 の Management API と curl コマンドを利用して、NAI にインポートしてあるモデルから、推論サービスのエンドポイントを作成してみます。 前回はこちら。 Nutanix Enterprise AI 2.6 の Management API で Hugging Fase モ…

Nutanix Enterprise AI（NAI）2.6 の Management API と curl コマンドを利用して、Hugging Face Hub にあるモデルを URL からインポートしてみます。 今回の内容です。 今回のモデル 1. 既存モデル インスタンスの確認 2. モデルのインポート（curl + API）…

Nutanix Enterprise AI（NAI）2.6 で、SB Intuitions が開発している Sarashina の推論エンドポイントを起動してみます。Sarashina は NAI 2.6 の地蔵検証済みリストには含まれていないので、Hugging Face Hub の URL を指定してインポートします。 今回の内…

Nutanix Enterprise AI（NAI）2.6 の推論サービス エンドポイントを利用して、Dify でチャットボットを作成してみます。今回は、Embedding モデルのエンドポイントを利用して PDF ファイルのテキストをベクトル化し、Dify に登録します。そして、チャットボ…

Nutanix Enterprise AI（NAI）2.6 の推論エンドポイントを利用して、Dify でチャットボットを作成してみます。今回は、Dify に NAI の推論サービス エンドポイントを追加して、チャットボットを作成してみます。 今回の内容です。 1. NAI での エンドポイン…

Nutanix Enterprise AI（NAI）2.6 の推論エンドポイントを利用して、Dify でチャットボットを作成してみます。今回は、Dify を構築します。 今回の内容です。 今回の環境 1. Docker ホストの用意 2. Dify の構築ダウンロード 3. 環境変数ファイルの作成 4. N…