ESXi で Nested Nutanix CE を構成してみる。（CE 2.1 / AOS 6.8.1 版）

Nutanix Community Edition 2.1（CE 2.1、AOS 6.8.1 ベース）がリリースされたので、ESXi 上のネステッド Nutanix CE を構築してみます。

今回の内容です。

ドキュメントは下記のあたりです。

• Getting Started with Community Edition
  https://portal.nutanix.com/page/documents/details?targetId=Nutanix-Community-Edition-Getting-Started-v2_1

Nutanix CE 2.1 の解説については、smzksts さんのブログをどうぞ。

smzklab.net

構成イメージ

今回構築する環境の構成イメージです。（ファイルは こちら）

0. 物理マシン（ネストの外側）の vSphere 環境準備

今回の Nutanix CE VM を作成したネストの外側の物理マシンは、下記のような構成です。

• 物理 CPU： 8論理コア（CVM には 4 vCPU）
• 物理メモリ： 64GB
• vSphere： ESXi 7.0 U3 / vCenter 8.0 U3
• データストア： ローカル SSD に作成した VMFS（容量は 1TB 弱）

1. ISO イメージ ファイルの入手

インストーラの ISO イメージ ファイルは、NEXT コミュニティのサイトからダウンロードします。※Nutanix Community へのログインが必要です。

• https://next.nutanix.com/discussion-forum-14/download-community-edition-38417

下記のファイルをダウンロードしておきます。

• phoenix.x86_64-fnd_5.6.1_patch-aos_6.8.1_ga.iso

ISO イメージ ファイルは、データストアにアップロードしておきます。

2. ポートグループの作成

ESXi の仮想スイッチに、ネステッド ハイパーバイザむけのポートグループを作成しておきます。

このラボの Nutanix CE では、ひとまず VLAN ID 20 のネットワークを利用ます。今回は、下記のような標準ポートグループを作成しました。

• ポートグループの名前： pg-vlan-0020
• VLAN ID： 20

このポートグループでは、CVM が外部と通信できるように、セキュリティ ポリシーをネステッド ハイパーバイザむけに設定しておきます。

• 無差別モード： 承諾
• 偽装転送： 承諾

今回の構成では、VLAN をネスト外側の ESXi 標準仮想スイッチ（の標準ポートグループ）で終端しています。そのため、Nutanix CE VM からは、物理スイッチの VLAN

 Access ポート に接続したような構成になっています。

これを、AHV / CVM 側で VLAN を終端するように設定する場合には、下記のように VLAN トランク設定のポートグループに接続します。

• vSS の標準ポートグループの場合は、VLAN ID 4095 を設定
• vDS の分散ポートグループでは、VLAN トランクを設定（0-4094 など）

3. Nutanix CE VM の作成

ESXi 上に、Nutanix CE をインストールする仮想マシンを作成します。

3-1. 仮想ハードウェア バージョン

まず、AHV のベースとなる Linux ディストリビューションにあわせて仮想マシンを作成します。今回は ESXi 7.0 U3 上に作成しているので仮想マシン ハードウェア バージョンが 19 ですが、それ以上でも問題ないはずです。

• 互換対象： ESXi 7.0 U2 以降（仮想マシン ハードウェア バージョン 19）

3-2. ゲスト OS の種類

ゲスト OS の種類では、CE 2.1 の AHV のベースになっている Rocky Linux 8.10 に近いものを選択しておきます。仮想ハードウェア バージョンが高い場合には「Rocky Linux (64 ビット)」も選択できますが、バージョンが明記されていないので無難に RHEL8 を選択しています。

• ゲスト OS ファミリ： Linux
• ゲスト OS バージョン： Red Hat Enterprise Linux 8 (64 ビット)

3-3. vCPU

vCPU の設定を変更します。

• CPU 数： 4
• ハードウェア アシストによる仮想化をゲスト OS に公開：  ON

3-4. メモリ

メモリの設定を変更します。とりあえず CE 2.1 のシステム要件値を設定しますが、 これは経験上、できるだけ多く割り当てたほうがよいです。（できれば 60GB 以上）

• メモリ：32GB

3-5. 仮想ハード ディスク

仮想マシンのハード ディスク（仮想ディスク）は、合計 3つ作成しておきます。これは、シン プロビジョニング でも大丈夫です。

• ハード ディスク 1： 32GB（ハイパーバイザー）
• ハード ディスク 2： 200GB（データ）
• ハード ディスク 3： 500GB（CVM と データ）

1つめのハード ディスクは、デフォルトで作成されるものを 32GB に変更するか、いったん削除して再作成します。

仮想マシンのハード ディスクは、「新規デバイス」→「ハード ディスク」で追加できます。

同様に2つめ、3つめのハード ディスクも追加しておきます。「仮想デバイス ノード」のコントローラは、デフォルトの SCSI コントローラのままで大丈夫です。

• 新規ハード ディスク 2
  • サイズ： 200GB
  • ディスク プロビジョニング： シン プロビジョニング
• 新規ハード ディスク 3
  • サイズ： 500GB
  • ディスク プロビジョニング： シン プロビジョニング

3-6. ネットワーク アダプタ

仮想マシンのネットワーク アダプタには、ネステッド ハイパーバイザむけに作成したポートグループを割り当てます。

• ポートグループ： pg-vlan-0020
• パワーオン時に接続： オン ※デフォルトのまま

3-7. 仮想 CD/DVD ドライブ（ISO イメージ ファイルの接続）

データストアにアップロードしておいた Nutanix CE の ISO イメージ ファイルを、仮想マシンの CD/DVD ドライブに接続しておきます。

• phoenix.x86_64-fnd_5.6.1_patch-aos_6.8.1_ga.iso

「データストア ISO ファイル」を選択してから ISO イメージ ファイルのパスを選択して、「パワーオン時に接続」チェックボックスがオンになっていることを確認します。

3-8. セキュア ブートの無効化

セキュア ブートが有効化されていると、Nutanix CE のインストーラー ISO から起動できないので、無効化しておきます。

「仮想マシン オプション」タブ →「起動オプション」を開いて、セキュア ブートを無効化しておきます。

• セキュア ブート
  • 有効： チェック OFF

3-9. disk.EnableUUID の設定

複数ノードの AHV でクラスタを構成する場合は、インストーラから仮想ディスクの ID を認識できるように、仮想マシンに disk.EnableUUID = true を設定します。

「詳細パラメータ」タブを開き、下記を入力して「追加」をクリックします。

• 属性： disk.EnableUUID
• 値： true

パラメータが追加されたことを確認して、「次へ」をクリックします。

あとは画面に従って仮想マシンを作成します。

4. Nutanix CE のインストール

仮想マシンをパワーオンすると、ISO ブートでインストーラが起動されるので、Web コンソール（もしくはリモート コンソール）を開いて操作します。

インストーラーが起動されるのを待ちます。

しばらく待つと、下記のようなメニュー画面が表示されます。

TAB キーで移動しつつ下記を入力にして、「Next Page」で Enter キーを押して進みます。

Disk Selection（ディスクの用途）は、認識したままの選択を採用しています。

• sda 32GB： H（Hypervisor Boot）
• sdb 200GB： D（Data）
• sdc 500GB： C（CVM Boot）

AHV と CVM は同じネットワークに配置します。

• Host IP Address： 192.168.20.41 ※AHV の IP アドレス
• CVM IP Address： 192.168.20.42
• Subnet Mask： 255.255.255.0
• Gateway： 192.168.20.1

CE EULA を読んで、下までスクロールします。スクロールしておかないと次の画面でエラーになるので、「↓」や「Page Down」キーで必ず下までスクロールしておきます。

そして「I accept ～」チェックボックスをオンにして、「Start」で Enter キーを押します。

インストール処理が開始されるので、しばらく待ちます。

処理が終了すると、下記のようにメッセージが表示されるので、VM から ISO イメージを外します。

ISO イメージ ファイルを外すため、仮想マシンの「設定の編集」画面で、CD/DVD ドライブを「クライアント デバイス」に変更しておきます。

vSphere Client で画面更新すると、仮想マシンで CD-ROM ドア ロックのメッセージが表示されるので、「アクション」→「質問への回答」をクリックします。

ここで必ず ISO イメージ ファイルを外しておきたいので、「はい」を選択して「回答」をクリックします。ちなみに、この回答を実施するまで仮想マシンがハングしているはずなので、ISO イメージを取り外すタイミングには要注意です。

「Y」を入力して Enter キーを押します。

再起動され、AHV と CVM が起動されます。

AHV が起動された後、内部では Nutanix クラスタの作成処理が実行されるので、しばらく待ちます。環境により 10分 ～ 数十分くらいかかります。

ちなみに、CVM 起動の様子を確認したい場合は、AHV に root ユーザーでログインして下記のファイルを確認するとよいと思います。

• /var/log/NTNX.serial.out.0

5. Nutanix クラスタの作成

CVM に、nutanix ユーザーで SSH ログインします。この環境の CVM の IP アドレスは 192.168.20.42 です。

• ユーザー： nutanix
• パスワード： nutanix/4u

$ ssh nutanix@192.168.20.42

CVM でクラスタ作成の準備ができていることを確認します。genesis status を実行して、下記のように表示されることを確認します。ちなみに、この状態になるまで CVM の自動再起動や、SSH Host Key の入れ替えなどが実施されているので、ひたすら待ちます。

CVM$ genesis status
2024-09-15 05:03:43.332934: Services running on this node:
  foundation: [9862, 9925, 9926]
  genesis: [9175, 9216, 9264, 9265]

Nutanix クラスタを作成します。

• 「192.168.20.42」の部分には、CVM の IP アドレスを指定します。
• 今回は 1ノード クラスタを作成するので、--redundancy_factor=1 を指定します。

$ cluster -s 192.168.20.42 --redundancy_factor=1 create

しばらく待つと、クラスタの作成が完了します。cluster status を実行すると、下記のようにすべてのサービスが UP になっているはずです。

nutanix@NTNX-17e884f9-A-CVM:192.168.20.42:~$ cluster status
2024-09-15 05:18:46,671Z INFO MainThread zookeeper_session.py:136 Using multithreaded Zookeeper client library: 1
2024-09-15 05:18:46,672Z INFO MainThread zookeeper_session.py:248 Parsed cluster id: 1098878654127110796, cluster incarnation id: 1726376779080738
2024-09-15 05:18:46,673Z INFO MainThread zookeeper_session.py:270 cluster is attempting to connect to Zookeeper, host port list zk1:9876
2024-09-15 05:18:46,692Z INFO Dummy-1 zookeeper_session.py:840 ZK session establishment complete, sessionId=0x191f414daba0151, negotiated timeout=20 secs
2024-09-15 05:18:46,693Z INFO MainThread cluster:3302 Executing action status on SVMs 192.168.20.42
2024-09-15 05:18:46,694Z INFO Dummy-2 zookeeper_session.py:941 Calling zookeeper_close and invalidating zhandle
The state of the cluster: start
Lockdown mode: Disabled

        CVM: 192.168.20.42 Up, ZeusLeader
                              Xmount   UP       [65538, 65697, 65698, 65785]
                           IkatProxy   UP       [65306, 65490, 65491, 65492]
                                Zeus   UP       [60478, 60537, 60538, 60539, 60549, 60567]
                           Scavenger   UP       [65549, 65764, 65765, 65768]
                    SysStatCollector   UP       [72045, 72145, 72146, 72147]
                    IkatControlPlane   UP       [72091, 72324, 72325, 72326]
                       SSLTerminator   UP       [72215, 72477, 72478]
                      SecureFileSync   UP       [72717, 72988, 72989, 72990]
                              Medusa   UP       [75691, 75822, 75823, 75845, 76322]
                  DynamicRingChanger   UP       [82102, 82253, 82254, 82260]
                              Pithos   UP       [82136, 82340, 82341, 82342]
                          InsightsDB   UP       [82353, 82520, 82521, 82546]
                              Athena   UP       [82463, 82674, 82675, 82676]
                             Mercury   UP       [125708, 125982, 125983, 126066]
                              Mantle   UP       [82575, 82890, 82891, 82935]
                          VipMonitor   UP       [89875, 89876, 89877, 89878, 89879]
                            Stargate   UP       [83078, 83180, 83181, 83258, 83260]
                InsightsDataTransfer   UP       [83595, 83731, 83732, 83737, 83738, 83739, 83740, 83741, 83742]
                             GoErgon   UP       [83612, 83792, 83793, 83813]
                             Cerebro   UP       [83653, 83955, 83956, 84105]
                             Chronos   UP       [83686, 84035, 84036, 84052]
                             Curator   UP       [83970, 84215, 84216, 86501]
                               Prism   UP       [84089, 84287, 84288, 84291, 84600, 84655]
                                Hera   UP       [84373, 84541, 84542, 84543]
                        AlertManager   UP       [84575, 84778, 84779, 84791]
                            Arithmos   UP       [84855, 85300, 85301, 85493]
                             Catalog   UP       [85847, 86860, 86861, 86862, 86966]
                           Acropolis   UP       [89134, 89304, 89305, 94547]
                              Castor   UP       [89272, 89585, 89586, 89597, 89622]
                               Uhura   UP       [89595, 90108, 90109, 91522]
                   NutanixGuestTools   UP       [90199, 91404, 91405, 91463, 91551]
                          MinervaCVM   UP       [98293, 99018, 99019, 99020]
                       ClusterConfig   UP       [99167, 99640, 99641, 99646, 99718]
                         APLOSEngine   UP       [100088, 100845, 100846, 100848]
                               APLOS   UP       [104403, 104876, 104877, 104881]
                     PlacementSolver   UP       [104563, 105320, 105321, 105323, 105357]
                               Lazan   UP       [105341, 106479, 106480, 106481]
                             Polaris   UP       [106739, 107732, 107733, 107862]
                              Delphi   UP       [107590, 108391, 108392, 108393, 108479]
                            Security   UP       [107970, 108723, 108724, 108726]
                                Flow   UP       [108352, 109176, 109177, 109178, 109192]
                             Anduril   UP       [119536, 119936, 119937, 119938, 119960]
                              Narsil   UP       [109765, 110163, 110164, 110167]
                               XTrim   UP       [111259, 111720, 111721, 111722]
                       ClusterHealth   UP       [111529, 112327, 112806, 112809, 112814, 112820, 112953, 112954, 112962, 112975, 112976, 113044, 113046, 113047, 113048, 113050, 113058, 113167, 113168, 113189, 113373, 113374, 113507, 113508, 113554, 113555, 113568, 113569, 122893, 122894, 122895, 122896, 122897, 122899, 122901, 122905, 122907, 122916, 122924, 122931, 122935, 122942, 123095, 123103]
2024-09-15 05:18:47,910Z INFO MainThread cluster:3465 Success!

6. Prism Element へのログイン

Nutanix クラスタの作成が成功すると、Prism（Prism Element）にアクセスできるようになります。Web ブラウザから、「https://＜CVM の IP アドレス＞:9440」にアクセスすると、Prism のログイン画面が表示されます。

Google Chrome で下記のようなリンクが表示されない場合は、「thisisunsafe」（this is unsafe）をキー入力すると証明書エラーを無視できます。

Prism の初回ログインのアカウントは下記です。

• ユーザ： admin
• パスワード： nutanix/4u

画面に従って、admin ユーザのパスワードを変更して、あらためて新しいパスワードでログインします。

画面に従い、Nutanix コミュニティのアカウントでログインします。デフォルトで CVM には Google の DNS サーバー（8.8.8.8）が設定されていますが、ログインに失敗する場合は CVM に SSH ログインして DNS サーバ設定（/etc/resolv.conf ファイル）などが正しいか確認します。

これで、Prism にログインできるはずです。

7. AHV への SSH ログイン

AHV も、SSH でログインできます。デフォルトのログイン アカウントは下記です。

• ユーザー： root
• パスワード： nutanix/4u

8. VMware Tools のインストール

ESXi でのネステッド環境なので、Nutanix CE の AHV（CVM ではなく）に VMware Tools をインストールしておくと便利です。

CE 2.1 の AHV は Rocky Linux ベースなので open-vm-tools をインストールしたいところですが、RPM の依存関係の都合で ESXi 同梱の tar.gz ファイルでインストールします。

今回インストールした VMware Tools は下記です。

• VMwareTools-10.3.26-22085142.tar.gz

まず vSphere Client から、Nutanix CE VM に VMware Tools の ISO イメージ ファイルをマウントします。Nutanix CE VM を右クリックして、「ゲスト OS」→「VMware Tools のインストール」をクリックします。

確認画面で「マウント」をクリックすると、仮想マシンの CD/DVD ドライブに VMware Tools の ISO イメージ ファイルがマウントされます。

AHV にログインして、ゲスト OS 側でも ISO イメージ ファイルをマウントします。今回は、/mnt ディレクトリにマウントします。

[root@NTNX-17e884f9-A ~]# mount /dev/cdrom /mnt
mount: /mnt: WARNING: device write-protected, mounted read-only.

tar.gz ファイルを展開します。

[root@NTNX-17e884f9-A ~]# tar zxvf /mnt/VMwareTools-10.3.26-22085142.tar.gz

展開したインストーラーのディレクトリに移動します。

[root@NTNX-17e884f9-A ~]# cd vmware-tools-distrib/

デフォルト設定で、VMware Tools をインストールします。インストールが完了すると、ISO イメージ ファイルは、自動的にゲスト OS と仮想マシンからアンマウントされるはずです。

[root@NTNX-17e884f9-A vmware-tools-distrib]# ./vmware-install.pl --default

VMware Tools のサービスが起動されたことを確認します。

[root@NTNX-17e884f9-A ~]# /etc/init.d/vmware-tools status
vmtoolsd is running

自動起動が有効化されていることを確認しておきます。

[root@NTNX-17e884f9-A ~]# systemctl is-enabled vmware-tools
vmware-tools.service is not a native service, redirecting to systemd-sysv-install.
Executing: /usr/lib/systemd/systemd-sysv-install is-enabled vmware-tools
enabled

vSphere Client では、Nutanix CE VM に AHV の IP アドレスが表示されるようになり、ゲスト OS のシャットダウンや再起動が実施できるようになります。

念のためここで AHV を再起動して、AHV と CVM が起動して Prism にアクセスできるようになることを確認しておくとよいと思います。

9. クラスタ名 / クラスタ VIP / iSCSI Data Services IP の設定

Prism Elemet から、Nutanix  クラスタの名前と、クラスタで利用する IP アドレスを設定しておきます。

Prism の画面左上にある「Unnamed」のあたりをクリックして、下記を入力してから「Save」をクリックします。

• Cluster Name： lab-nxce-02
  ※Nutanix クラスタ名
• Virtual IP： 192.168.20.40
• iSCSI Data Services IP： 192.168.20.43
• Retain Deleted VMs： チェック OFF
  ※ラボ環境なのでゴミ箱（Recycle Bin）機能を OFF

10. Prism Element の日本語化

Prism Elemet の表示を日本語にしておきます。

「Settings」画面を開きます。

「Language Settings」を開いて、日本語を選択して「Save」をクリックします。

• Language： 日本語 (Japanese)
• Region： Japan

確認画面が表示されるので「Yes」をクリックします。

画面がリロードされて、日本語表示になります。

ホーム画面に戻ると下記のように日本語になっています。

以上。