Nutanix Enterprise AI（NAI）2.6 の推論エンドポイントを利用して、Dify でチャットボットを作成してみます。今回は、Dify に NAI の推論サービス エンドポイントを追加して、チャットボットを作成してみます。
今回の内容です。
前回はこちら。
1. NAI での エンドポイント情報と API キーの取得
NAI UI で、推論サービス エンドポイントの URL と、API キーを取得します。今回のエンドポイントは、下記の投稿で作成したものです。
1-1. エンドポイント URL の確認
NAI UI にログインして、「推論」→「ローカル エンドポイント」を開き、エンドポイントの名前をクリックします。
- エンドポイント名：llama32-ep
エンドポイントの情報を記録しておきます。
- エンドポイント名：llama32-ep
- エンドポイント URL：https://10.1.7.122/enterpriseai/v1/chat/completions
1-2. API キーの生成
NAI UI で「API キー」を開き、「新しいキーを作成」をクリックします。
キーの名前と、割り当てるエンドポイントを指定して、「作成」をクリックします。
- キーの名前：demo-key-dify-01
- エンドポイント：llama32-ep
キーの情報を記録してから、「閉じる」をクリックします。
画面を閉じると「キーの値」は再表示できないので、キーがわからなくなった場合など、あらためて必要になった場合は追加作成することになります。
また、今回はラボ環境なのでキーを掲載していますが、実際にはパスワードなど同様、公開しないように注意してください。
- キーの値（の例）：9e0c38f5-b24b-4e4a-8723-5a278a3d26e0
- エンドポイント：llama32-ep
2. モデル プロバイダーのインストール
NAI のエンドポイントでは OpenAI API 互換の API が提供されます。
そこで、Dify に NAI のエンドポイントを追加する準備として、OpenAI API 互換のモデル プロバイダーをインストールします。
Dify の画面右上のユーザー アイコン →「設定」を開きます。
「モデル プロバイダー」画面の検索ウインドウで、「openai」といった文字列で検索すると、次のプロバイダーが見つかります。
- モデル プロバイダー：OpenAI-API-compatible
パネルにマウス オーバーして、「インストール」をクリックします。
「インストール」をクリックします。
これで、モデル プロバイダが、「設定中」配下に表示されます。
3. モデル（推論サービス エンドポイント）の追加
OpenAI-API-compatible の、「モデルを追加」をクリックします。
登録するモデル（NAI のエンドポイント）の情報を入力して、画面をスクロールします。
- Model Name：nai-llama32
- Model Type：LLM
- 認証名：demo-key-dify-01
- Model display name：NAI Llama32
残りのパラメーターを入力して、「追加」をクリックします。
- API Key（の例）：9e0c38f5-b24b-4e4a-8723-5a278a3d26e0
- API endpoint URL：https://10.1.7.122/enterpriseai/v1（/chat/completions は省略）
- model name for API endpoint：llama32-ep
- Completion mode：Chat（エンドポイント URL で省略した部分はここで設定）
モデルが追加され、「1のモデル」と表示されるのでクリックして開きます。
追加されたモデルの情報が表示されます。
- モデルの表示名：NAI Llama32
画面右上の「×」をクリックして、画面を閉じます。
4. チャットボットの作成
Dify で「全て」→「最初から作成」をクリックします。
「初心者向けの基本的なアプリ タイプ」を開きます。
「チャットボット」を選択し、名前と説明を入力して、「作成する」をクリックします。
- アプリのアイコンと名前：NAI チャット
- 説明：NAI エンドポイントでチャット
チャットボットを設定・動作確認する画面が表示されるので、登録したモデルを選択した状態で、チャットのプロンプトを送信してみます。
- モデル：NAI Llama32
適当なメッセージを入力して、送信ボタンをクリックします。
NAI の推論サービス エンドポイントによってテキストが生成され、回答が表示されるはずです。
ちなみに、NAI のエンドポイントの画面では、API キー単位でメトリクスを確認できます。今回の例であれば、「llama32-ep」エンドポイントの「メトリクス」タブ →「demo-key-dify-01」を選択すると、Dify からエンドポイントにアクセスがあったことを確認できます。
つづく。
