GCE・1 セグメント構成
1 つの VPC のサブネットに 2 台の VM を置き、1 本の NIC で業務と HA の通信を兼ねる構成です。相手の VM は Compute Engine API で止めます(fencing)。先に GCE の共通事項を読んでください。
- 冷起動と計画停止での引き継ぎは自動です。
- 相手の喪失は、Compute Engine API で相手の VM を止め、
TERMINATEDを確かめた後だけ自動で引き継ぎます。 - 通信路は 1 本なので、VM の間の通信の断と相手の停止を区別できません。通信の断でも fence が実行され、相手の VM が止まります(2 台が同時に Active になることはありません)。不要な fence を減らすには 2 セグメントにします。
- VIP は VM の中だけで使えます(GCE は guest の VIP を運びません)。
検証状況:1 セグメント+fencing の引き継ぎと、fencing なしで自動では引き継がないことは GCE で検証済み(v0.8 の新機能の前の版、検証用の helper)。配布している RPM と、運用者が用意した fence/verify のコマンドでの構築は 未検証。
| 項目 | 内容 |
|---|---|
| VM | 2 台(Rocky Linux 10、aarch64 の RPM を使う場合は Arm の machine type) |
| ネットワーク | 1 つの VPC のサブネット(各 VM に NIC 1 つ) |
| firewall | TCP 7946 を 2 台の間だけ許可 |
| fencing | 共通事項の契約を満たす fence/verify のコマンドと、相手の VM を stop・参照できる service account |
| VIP | サブネットの未使用のアドレス 1 つ(/32) |
| ホスト | アドレス(例) |
|---|---|
| node-a | 10.10.0.11(eth0) |
| node-b | 10.10.0.12(eth0) |
| VIP | 10.10.0.50/32(Active の側の eth0) |
- 2 台の VM を作り、インストールの手順で RPM と共有鍵(PSK)を置きます。
- fence/verify のコマンドを
/usr/local/sbin/に置きます(root 所有、mode 0755)。node-a には node-b を止めるコマンドを、node-b には node-a を止めるコマンドを用意します。 - 各 VM から、相手の VM に対して
verifyを手で実行し、not-isolatedが出ることを確かめます(動いている相手をisolatedと言わないこと)。
2. 設定(両ノードで同じファイル)
Section titled “2. 設定(両ノードで同じファイル)”# /etc/mikagami/mikagami.toml — GCE・1 セグメント+Compute Engine API による fencing(両ノードで同じファイル)[cluster]id = "gce-1seg"topology = "two-node"
[nodes.node-a]preferred = true[nodes.node-a.fencing] # node-a の VM を止める方法(node-b が使う)fence = ["/usr/local/sbin/gce-fence", "node-a"]verify = ["/usr/local/sbin/gce-verify-fenced", "node-a"]
[nodes.node-b][nodes.node-b.fencing] # node-b の VM を止める方法(node-a が使う)fence = ["/usr/local/sbin/gce-fence", "node-b"]verify = ["/usr/local/sbin/gce-verify-fenced", "node-b"]
[two_node]fencing_device = "independent" # Compute Engine API で相手の VM を止められるfencing_path = "separate" # API の経路は VM の間の通信(peer link)と別
[[two_node.link]]segment = "vpc"role = "combined" # 業務と HA の通信を 1 本で兼ねるport = 7946address = { node-a = "10.10.0.11", node-b = "10.10.0.12" }interface = { node-a = "eth0", node-b = "eth0" }
[vip]address = "10.10.0.50/32" # GCE では /32(主アドレスが /32 のため)interface = "eth0"
[service]manager = "systemd"unit = "nginx.service"
[health]command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]timeout_sec = 5
[security]psk_file = "/etc/mikagami/cluster.psk"
[failover]auto = truecycle_timeout_sec = 180 # fence の時間 + verify の時間(verify_polls × 2 秒)より長く
[fencing]backend = "command"verify_polls = 60mikagami node register --config /etc/mikagami/mikagami.toml --node-id node-a # node-b では node-bmikagami two-node init --config /etc/mikagami/mikagami.tomlsystemctl disable --now nginxsystemctl enable --now mikagamimikagami two-node status --config /etc/mikagami/mikagami.tomlip -o addr show eth0 | grep 10.10.0.50 # Active の側だけにある1 セグメントの構成なので、通信路の冗長が無いことの警告が出ます。
4. 障害時の動作
Section titled “4. 障害時の動作”| 障害 | 動作 |
|---|---|
| Active の VM の停止・電源断 | Standby が、通信の断の検出(約 3 秒)から failover.dwell_sec(既定 10 秒)の後に fence → verify を行い、isolated を確かめてから昇格 |
| VM の間の通信の断(両方の VM は動いている) | 上と同じく fence が実行され、相手の VM が止まる |
| Compute Engine API に届かない・権限が無い | fence が成功せず、昇格しない。Active はそのまま |
verify が not-isolated |
昇格せず、自動の fencing を止める |
自動で引き継がれなかった時の手順は 2 セグメント構成と同じです(two-node takeover --fence または --attest-peer-stopped)。
fencing を使わない場合
Section titled “fencing を使わない場合”fencing_device = "none" にすると、相手の喪失では自動で引き継がず、運用者が相手の VM の停止をコンソールなどで確かめてから手動で切り替えます(1 セグメント構成と同じ)。
- VIP へ VM の外から到達させる方法は未検証です(共通事項)。
- 配布している RPM は aarch64 だけです。x86_64 の VM では、ソースから作る必要があります(未検証)。