NKP の Kubernetes クラスタに、Nutanix Enterprise AI（NAI）2.6 を展開してみます。今回は、NAI Labs を利用して、作成したエンドポイントの動作確認を実施してみます。
前回はこちら。
今回の内容です。
ドキュメントは、下記のあたりです。
今回の環境
事前に、以前の投稿（Part-08 と Part-10）次の3種類のエンドポイントを作成してあります。
- Text to Text
- Embedding
- Reranker
1. NAI Labs でのテスト（Chat）
まず、シンプルなチャットを試してみます。この画面では、LLM（Text to Text 機能）のエンドポイントが必要です。エンドポイントの概要画面にある「テスト」ではシングルターンですが、NAI Labs のチャットではマルチターンの対話が可能です。
NAI UI で、「NAAI Labs」→「チャット」を開きます。
エンドポイントと、API キーを入力して、「保存」をクリックします。
ちなみに、「オプション設定」をクリックするとContent Safety モデルによるセーフガード エンドポイントを指定できますが、今回は省略しています。
プロンプトを入力して、「質問する」をクリックします。
LLM の推論サービスで、回答が生成されました。
2. NAI Labs でのテスト（Talk To My Data）
つづけて、簡易的な RAG チャットボットである、「Talk To My Data（私のデータに話しかける）」を利用してみます。
この画面では、3つのエンドポイントが必要です。
- LLM エンドポイント（Text to Text 機能）
- 埋め込みエンドポイント（Enbedding 機能）
- リランカー エンドポイント（Reranker 機能）
NAI UI で、「NAAI Labs」→「私のデータに話しかける」を開きます。NAI 2.6 時点では、日本語 UI にすると誤訳で末尾に "」" がついています。
エンドポイントと、API キーを指定します。
- LLM エンドポイント名：llama32-ep
- 埋め込みエンドポイント名：granite-embed-ep
- リランカー エンドポイント名：minilm-rerank-ep
「ドキュメントを選択」をクリックして、LLM にコンテキストとして追加するファイルを選択します。
今回は、とりあえず動作確認のため、下記のようなテキストファイルを用意しました。
demo.txt
- これは適当な Linux の ip address show コマンドの結果で、NIC の IP アドレス情報などが含まれています。
- NIC の名前は、ens3 と、lo（ループバック インターフェイス）です。
テキスト ファイルが選択されたことを確認して、「保存」をクリックします。
プロンプトを入力して、「質問する」をクリックします。
今回は、追加したテキスト ファイルに記載された情報を質問する「ネットワーク インターフェイスの名前を教えてください。」と質問してみました。
テキスト ファイルの内容をもとにした回答が生成されました。
つづく。
