Nutanix CE 同士の DR 構成でのレプリケーションしたスナップショットから、VM をリストアしてみます。
前回はこちら。
続きを読むNutanix CE でディザスタリカバリ。Part4: DR サイトへ手動レプリケーション
Nutanix CE 同士を DR 構成にしてみました。
今回は、レプリケーションの設定をします。
前回はこちら。
DR サイトを構築する場合は、通常はスケジュール設定による自動レプリケーションをすると思います。しかし今回は、動作がわかりやすいので手動レプリケーションをしてみます。
続きを読むNutanix CE でディザスタリカバリ。Part3: Async DR 設定
Nutanix CE で DR 環境を構成しています。
今回は、Async DR の設定をします。
前回はこちら。
Async DR の設定
Main サイト役と DR サイト役の Nutnaix CE を用意していて、Main サイト側の Nutanix クラスタ（クラスタ名は ce-main）で、Async DR として機能する Protection Domain（保護対象 VM のグループ）を作成します。
「Data Protection」画面の「⁺ Protection Domain」→「Async DR」をクリックします。
「Protection Domain (Async DR)」画面が開きます。
ここで Protection Domain に設定する名前を入力します。
今回は「dr01」という Protection Domain を作成します。
今回は、2つの VM を DR サイトにレプリケーションしてみます。
Protection Domain に含める VM を選択して、「Protect Selected Entities」をクリックします。
VM が選択されたので、「Next」をクリックします。
DR サイトへのレプリケーション スケジュールを設定します。
まだ何も登録されていないので、「New Schedule」をクリックしてスケジュールを追加します。
ちなみに、ここでスケジュールを登録しない場合は、任意のタイミングで手動レプリケーションすることになります。
スケジュールの設定です。今回は下記を設定して「Create Schedule」します。
- 毎日 1回レプリケーション。
- 開始は 2016/03/20 5:30 PM。
- Local に1世代のスナップショットを保持。
- Remote Site「cd-dr」（DR 先）にも1世代のスナップショットを保持。
スケジュール設定はローカルバックアップでも使用されるものなので、Remote Sites はデフォルトではチェック OFF になっています。今回は DR 構成にするため ON にします。
ちなみに、「Configure your local schedule」とあるように、このスケジュール設定は Remote Site 側には設定されないようです。
また、最小のレプリケーションタイミングは 60分毎（分単位の指定でも）でした。
スケジュールが作成されました。
dr01 という Protection Domain が作成されています。
この時点では Remote Site 側（今回は ce-dr クラスタ）に Protection Domain は作成されていませんが、初回レプリケーション時に自動作成されます。
ちなみに、レプリケーションはスナップショット取得（Take Snapshot）をすることで実行されます。
まだ続く。
Nutanix CE でディザスタリカバリ。Part1: 準備編（Prism）
Nutanix CE でディザスタリカバリ（DR）構成をためしてみます。
今回もまだ準備編で、すでに Ravello 側で下記の準備がされている前提です。
そして Nutanix CE 自体に対しては、DR の構成を始める前に Prism から下記の設定をしておきます。
- Nutanix CE のバージョンアップ
- クラスタ名とクラスタ IP アドレスの設定。
Nutanix CE でディザスタリカバリ。Part0: 準備編（Ravello）
Nutanix CE で、ディザスタリカバリ（DR）構成をためしてみました。
ざっくり版ですが、手順を書いてみようと思います。
今回は Ravello のクラウドサービスで、2つの Nutanix CE（Main サイト役 と DR サイト役）を起動しました。まずは、Ravello 特有の準備についてです。
Ravello の UI で、Main と DR 両方の Nutanix CE（の Application）に対して下記の設定をします。
- Nutanix CE On Demand をもとに、Application（Nutanix CE の環境）を2つ起動。
今回はそれぞれ別の Ravello Application として作成して、Main サイト役と、DR サイト役の Nutanix として使用する。 - クラスタIPアドレスを、Nutanix CE の NIC1/2 （NIC1 の3つ目の IP アドレス）として割り当てる。
- クラスタIPアドレスの TCP 2020番ポートを開放する。
Nutanix CE の CVM に Yum で RPM 追加。
Nutanix CE の CVM から、どうしても接続確認をしたくなり、telnet クライアントをインストールしてしまいました。
今回の CVM 。
nutanix@NTNX-bb10a8de-A-CVM:10.1.1.11:~$ cat /etc/nutanix/release_version el6-release-ce-2015.11.05-stable-130f29ce4bc788169965a2fcfc5b1a21386b389a nutanix@NTNX-bb10a8de-A-CVM:10.1.1.11:~$ cat /etc/nutanix/svm-version 4.5r11
配置されているファイル的には、意外と Yum リポジトリの設定はされていそうな雰囲気です。
nutanix@NTNX-bb10a8de-A-CVM:10.1.1.11:~$ ls -1 /etc/yum.repos.d/ CentOS-Base.repo CentOS-Debuginfo.repo CentOS-Media.repo CentOS-SCL.repo CentOS-Vault.repo CentOS-fasttrack.repo epel.repo vmware-osps.repo
デフォルトでも Yum リポジトリの参照は有効でした。
nutanix@NTNX-bb10a8de-A-CVM:10.1.1.11:~$ sudo yum repolist Loaded plugins: fastestmirror, post-transaction-actions, security Determining fastest mirrors epel/metalink | 13 kB 00:00 * base: repos.redrockhost.com * epel: linux.mirrors.es.net * extras: pubmirrors.dal.corespace.com * updates: centos.chi.host-engine.com base | 3.7 kB 00:00 epel | 4.3 kB 00:00 epel/primary_db | 5.8 MB 00:02 extras | 3.4 kB 00:00 extras/primary_db | 34 kB 00:00 scl | 2.9 kB 00:00 updates | 3.4 kB 00:00 updates/primary_db | 4.0 MB 00:02 vmware-tools-collection | 951 B 00:00 repo id repo name status base CentOS-6 - Base 6570+5 epel Extra Packages for Enterprise Linux 6 - x86_6 12069+44 extras CentOS-6 - Extras 50 scl CentOS-6 - SCL 674+2 updates CentOS-6 - Updates 1306 vmware-tools-collection vmware-tools-collection 34+7 repolist: 20703
telnet クライアントがインストールできました。
nutanix@NTNX-bb10a8de-A-CVM:10.1.1.11:~$ sudo yum install -y telnet Loaded plugins: fastestmirror, post-transaction-actions, security Setting up Install Process Loading mirror speeds from cached hostfile * base: repos.redrockhost.com * epel: linux.mirrors.es.net * extras: pubmirrors.dal.corespace.com * updates: centos.chi.host-engine.com Resolving Dependencies --> Running transaction check ---> Package telnet.x86_64 1:0.17-48.el6 will be installed --> Finished Dependency Resolution --> Finding unneeded leftover dependencies Found and removing 0 unneeded dependencies Dependencies Resolved ============================================================================== Package Arch Version Repository Size ============================================================================== Installing: telnet x86_64 1:0.17-48.el6 base 58 k Transaction Summary ============================================================================== Install 1 Package(s) Total download size: 58 k Installed size: 109 k Downloading Packages: telnet-0.17-48.el6.x86_64.rpm | 58 kB 00:00 Running rpm_check_debug Running Transaction Test Transaction Test Succeeded Running Transaction Installing : 1:telnet-0.17-48.el6.x86_64 1/1 Verifying : 1:telnet-0.17-48.el6.x86_64 1/1 Installed: telnet.x86_64 1:0.17-48.el6 Complete!
ためしに TCP 9440 番ポートへ接続確認してみて、OK だった様子。
nutanix@NTNX-bb10a8de-A-CVM:10.1.1.11:~$ telnet 31.220.67.80 9440 Trying 31.220.67.80... Connected to 31.220.67.80. Escape character is '^]'. ^] telnet> quit Connection closed.
基本的には CVM への勝手な追加インストールは NG のはずですが、Community Edition なので思い切ってやってしました。
以上。
Nutanix Guest Tools と Cluster IP の通信。
Oracle Linux 7 に Nutanix Guest Tools（NGT）をインストールして、起動した状態にしてみました。
NGT と Nutanix の Cluster IP （CVM）とで直接通信があるらしいので、見てみたら本当でした。
NGT の ISO イメージは、ゲスト OS の /media にマウント済みです。
[root@ol72 ~]# ls /media/ autorun.ico autorun.inf config installer ngtcli setup.exe
今回の Cluster IP は 10.1.1.110 なのですが、なんとマウントした NGT の ISO イメージ内の JSON ファイルに記載されてました。
[root@ol72 ~]# cat /media/config/ngt_config.json
{
"cluster_ip" : "10.1.1.110",
"ngt_uuid" : "0387cf35-706e-4a08-b646-03a7fbdc9f2c",
"ngt_version" : "1.0",
"port" : "2074"
}
NGT インストールしたゲストではこんな感じでした。
何か通信しそうな雰囲気です。
※空白が多すぎて長いので、ちょっと整形してあります。
[root@ol72 ~]# ss -4n Netid State Recv-Q Send-Q Local Address:Port Peer Address:Port tcp ESTAB 0 0 10.1.1.218:33475 10.1.1.110:2074 tcp ESTAB 0 0 10.1.1.218:33474 10.1.1.110:2074 tcp ESTAB 0 0 10.1.1.218:22 10.1.1.101:57137 tcp ESTAB 0 164 10.1.1.218:22 10.1.1.101:57138
以上。
Nutanix Guest Tools を Oracle Linux 7 にインストール。
Nutanix Guest Tools（NGT）を、Oracle Linux 7 にインストールしてみました。
インストールしたゲスト OS の Oracle Linux は、UEK ではなくなんとなく Red Hat 互換カーネル（RHCK）です。
[root@ol72 ~]# cat /etc/oracle-release Oracle Linux Server release 7.2 [root@ol72 ~]# uname -r 3.10.0-327.10.1.el7.x86_64
NGT CD-ROM イメージの接続
最初に、Prism で NGT の ISO イメージをマウントしておきます。
インストール対象の VM を選択して、「Enable NGT」をクリックします。
インストール対象の VM を選択して、「Enable NGT」をクリックします。
NGT CD-ROM イメージマウント（VM への接続）の確認画面が出るので「Yes」。
ちなみに このあたりの UI は、2017年09月ごろで最新の Nutanix CE（ce-2017.07.20-stable）では「Manage Guest Tools」となっていて、下記のような画面になっていました。
NGT のインストール
NGT をインストールしてみます。まず、ゲスト OS でも ISO をマウントします。
[root@ol72 ~]# mount /dev/cdrom /media/ mount: /dev/sr0 is write-protected, mounting read-only [root@ol72 ~]# ls /media/ autorun.ico autorun.inf config installer ngtcli setup.exe
インストーラは Python スクリプトなので、
Oracle Linux 7 デフォルトの Python で、そのまま実行してみました。
しかし python-setuptools が必要なようです。
Oracle Linux 7 デフォルトの Python で、そのまま実行してみました。
しかし python-setuptools が必要なようです。
[root@ol72 ~]# python -V Python 2.7.5 [root@ol72 ~]# /media/installer/linux/install_ngt.py Using Linux Installer for oracle linux server linux distribution. Unable to import python-setuptools that is needed by NGT Guest Agent. Please install python-setuptools and retry installation.
python-setuptools をインストールしてみます。
[root@ol72 ~]# yum install -y python-setuptools （省略） Installed: python-setuptools.noarch 0:0.9.8-4.el7 Dependency Installed: python-backports.x86_64 0:1.0-8.el7 python-backports-ssl_match_hostname.noarch 0:3.4.0.2-4.el7 Complete!
リトライしたところ、今度はインストール成功しました。
[root@ol72 ~]# /media/installer/linux/install_ngt.py Using Linux Installer for oracle linux server linux distribution. Setting up Nutanix Guest Tools - VM mobility drivers. Successfully set up Nutanix Guest Tools - VM mobility drivers. Installing Nutanix Guest Agent Service. Successfully installed Nutanix Guest Agent Service. Waiting for Nutanix Guest Agent Service to start. Nutanix Guest Agent Service successfully started in the background.
ngt_guest_agent サービス起動
インストールしただけではサービス起動しなかったので、手動起動しました。
ちなみに、2017年09月ごろで最新の Nutanix CE（ce-2017.07.20-stable）では、サービスは自動起動していました。
ちなみに、2017年09月ごろで最新の Nutanix CE（ce-2017.07.20-stable）では、サービスは自動起動していました。
[root@ol72 ~]# systemctl status ngt_guest_agent
● ngt_guest_agent.service - LSB: Starts, stops Nutanix Guest Agent.
Loaded: loaded (/etc/rc.d/init.d/ngt_guest_agent)
Active: inactive (dead)
Docs: man:systemd-sysv-generator(8)
手動起動してみました。
[root@ol72 ~]# systemctl start ngt_guest_agent
起動できました。
Systemd の サービス設定はこうなっています。
[root@ol72 ~]# systemctl cat ngt_guest_agent.service # /run/systemd/generator.late/ngt_guest_agent.service # Automatically generated by systemd-sysv-generator [Unit] Documentation=man:systemd-sysv-generator(8) SourcePath=/etc/rc.d/init.d/ngt_guest_agent Description=LSB: Starts, stops Nutanix Guest Agent. Before=runlevel2.target runlevel3.target runlevel4.target runlevel5.target shutdown.target After=network-online.target Conflicts=shutdown.target [Service] Type=forking Restart=no TimeoutSec=5min IgnoreSIGPIPE=no KillMode=process GuessMainPID=no RemainAfterExit=yes ExecStart=/etc/rc.d/init.d/ngt_guest_agent start ExecStop=/etc/rc.d/init.d/ngt_guest_agent stop
以上。
Nutanix CE 2016.03.03-stable の cluster status。
Nutanix CE 2016.03.03-stable がリリースされました。
nutanix@NTNX-0d740ca1-A-CVM:10.1.1.111:~$ cat /etc/nutanix/release_version el6-release-ce-2016.03.03-stable-3ee55a39877daea173a49f088b4ec8568704099a
CVM のバージョンが 4.6 ベースになっています。
nutanix@NTNX-0d740ca1-A-CVM:10.1.1.111:~$ cat /etc/nutanix/svm-version 4.6r11
cluster status を見てみました。
nutanix@NTNX-0d740ca1-A-CVM:10.1.1.111:~$ cluster status
2016-03-12 20:22:47 INFO cluster:2066 Executing action status on SVMs 10.1.1.111,10.1.1.112,10.1.1.113,10.1.1.114
The state of the cluster: start
Lockdown mode: Disabled
CVM: 10.1.1.111 Up
Zeus UP [2352, 2378, 2379, 2384, 2418, 2432]
Scavenger UP [3095, 3120, 3121, 3183]
SSLTerminator UP [3456, 3494, 3495, 3535]
SecureFileSync UP [3461, 3511, 3512, 3534]
Medusa UP [3671, 3698, 3699, 3700, 3767]
DynamicRingChanger UP [3876, 3918, 3919, 3970]
Pithos UP [3882, 3930, 3931, 4056]
Stargate UP [3933, 3960, 3961, 4067, 4068]
InsightsDB UP [3972, 4023, 4024, 4721]
InsightsDataTransfer UP [4031, 4063, 4064, 4109, 4111]
Ergon UP [4048, 4151, 4152, 4787]
Uhura UP [4104, 4190, 4192, 4573]
Cerebro UP [4181, 4243, 4244, 4358]
Chronos UP [4228, 4309, 4310, 26728]
Curator UP [4271, 4368, 4369, 26861]
Prism UP [4380, 4468, 4469, 4670, 25956, 25988]
CIM UP [4415, 4634, 4635, 4692]
AlertManager UP [4484, 4719, 4720, 4801]
Arithmos UP [4702, 4798, 4799, 4883]
Acropolis UP [4791, 4886, 4887, 5999]
Snmp UP [4877, 4957, 4958, 5943]
SysStatCollector UP [4923, 5010, 5011, 5577]
Tunnel UP [4995, 5075, 5076]
ClusterHealth UP [5056, 5244, 5245, 5718, 5848, 5849, 6454, 6459, 15764, 15770]
Janus UP [5116, 5221, 5222]
NutanixGuestTools UP [5179, 5296, 5297, 5351]
MinervaCVM UP [5508, 5582, 5583, 5620, 6330]
Apps UP [5597, 5663, 5664]
CVM: 10.1.1.112 Up
Scavenger UP [3378, 3406, 3407, 3519]
SSLTerminator UP [3699, 3738, 3739, 3786]
SecureFileSync UP [3704, 3756, 3757, 3780]
Medusa UP [3891, 3918, 3919, 3920, 4011]
DynamicRingChanger UP [4125, 4156, 4158, 4180]
Pithos UP [4130, 4178, 4179, 4197]
Stargate UP [4206, 4235, 4236, 4363, 4364]
InsightsDB UP [4234, 4261, 4262, 5336]
InsightsDataTransfer UP [4264, 4305, 4306, 4356, 4359]
Ergon UP [4271, 4351, 4352, 5841]
Uhura UP [4286, 4361, 4362, 5847]
Cerebro UP [4338, 4397, 4398, 4519]
Chronos UP [4374, 4438, 4439, 27492]
Curator UP [4402, 4462, 4463, 27813]
Prism UP [4434, 4505, 4506, 6404, 26538]
CIM UP [4475, 4534, 4535, 4596]
AlertManager UP [4497, 4591, 4592, 4717]
Arithmos UP [4595, 4630, 4631, 4646]
Acropolis UP [4639, 4692, 4693, 6457]
Snmp UP [4645, 4709, 4710, 5546]
SysStatCollector UP [4677, 4756, 4757, 5241]
Tunnel UP [4716, 4780, 4781]
ClusterHealth UP [4762, 4868, 4869, 5395, 5497, 5498, 6144, 6149, 10455, 10459]
Janus UP [4797, 4849, 4850]
NutanixGuestTools UP [4820, 4915, 4916, 5041]
MinervaCVM UP [5162, 5218, 5219, 5277, 6146]
Apps UP [5206, 5272, 5273]
CVM: 10.1.1.113 Up
Zeus UP [2371, 2397, 2398, 2399, 2550, 2583]
Scavenger UP [3128, 3157, 3158, 3231]
SSLTerminator UP [3354, 3390, 3391, 3442]
SecureFileSync UP [3359, 3410, 3411, 3438]
Medusa UP [3569, 3596, 3597, 3598, 3665]
DynamicRingChanger UP [3775, 3811, 3812, 3935]
Pithos UP [3780, 3831, 3832, 3936]
Stargate UP [3823, 3860, 3861, 4009, 4772]
InsightsDB UP [3853, 3890, 3891, 4994]
InsightsDataTransfer UP [3877, 3926, 3927, 3969, 3973]
Ergon UP [3896, 3980, 3982, 4350]
Uhura UP [3914, 4006, 4007, 4278]
Cerebro UP [3956, 4047, 4048, 4974]
Chronos UP [4029, 4085, 4086, 26212]
Curator UP [4057, 4111, 4112, 26630]
Prism UP [4091, 4150, 4151, 4202, 23762]
CIM UP [4122, 4174, 4175, 4213]
AlertManager UP [4147, 4227, 4228, 4361]
Arithmos UP [4179, 4280, 4281, 4342]
Acropolis UP [4253, 4322, 4323, 5532]
Snmp UP [4294, 4380, 4381, 5416]
SysStatCollector UP [4354, 4529, 4530, 5172]
Tunnel UP [4497, 4558, 4559]
ClusterHealth UP [4546, 4673, 4674, 5125, 5218, 5219, 5916, 5919, 13741, 13744]
Janus UP [4563, 4615, 4616]
NutanixGuestTools UP [4587, 4675, 4676, 4707]
MinervaCVM UP [4778, 4901, 4902, 4971, 5851]
Apps UP [4868, 4963, 4964]
CVM: 10.1.1.114 Up, ZeusLeader
Zeus UP [2367, 2393, 2394, 2395, 2429, 2443]
Scavenger UP [3061, 3088, 3089, 3156]
SSLTerminator UP [3382, 3430, 3431, 3493]
SecureFileSync UP [3387, 3438, 3439, 3488]
Medusa UP [3586, 3624, 3625, 3626, 3693]
DynamicRingChanger UP [3811, 3859, 3860, 3972]
Pithos UP [3830, 3878, 3879, 3936]
Stargate UP [3881, 3908, 3909, 4112, 4113]
InsightsDB UP [3911, 3943, 3944, 4298]
InsightsDataTransfer UP [3920, 4003, 4004, 4059, 4062]
Ergon UP [3945, 4044, 4045, 4449]
Uhura UP [3976, 4056, 4057, 4355]
Cerebro UP [4024, 4102, 4103, 4197]
Chronos UP [4061, 4139, 4140, 26558]
Curator UP [4095, 4181, 4182, 26897]
Prism UP [4136, 4228, 4229, 4264, 20842]
CIM UP [4157, 4279, 4280, 4326]
AlertManager UP [4216, 4289, 4290, 4390]
Arithmos UP [4284, 4361, 4362, 4507]
Acropolis UP [4351, 4420, 4421, 5597]
Snmp UP [4377, 4478, 4479, 5540]
SysStatCollector UP [4410, 4623, 4624, 5117]
Tunnel UP [4552, 4674, 4675]
ClusterHealth UP [4647, 4852, 4853, 5311, 5397, 5399, 6101, 6105, 13191, 13195]
Janus UP [4697, 4775, 4776]
NutanixGuestTools UP [4753, 4864, 4865, 4914]
MinervaCVM UP [5095, 5165, 5166, 5230, 5974]
Apps UP [5156, 5236, 5237]
2016-03-12 20:23:10 INFO cluster:2177 Success!
見たところ、下記のコンポーネントが増えました。
- SecureFileSync
- InsightsDB
- InsightsDataTransfer
- Ergon
- Uhura
- Snmp
- MinervaCVM
- Apps
NutanixGuestTools（NGT）も 4.6 ～の機能ですが、CVM のコンポーネントは以前からUPしてました。
以上。
