GCE・2 セグメント構成
各 VM に NIC を 2 つ付け、サービス用と HA 専用の 2 本で peer link を張る構成です。GCE では 1 台の VM の NIC はそれぞれ別の VPC に属するので、VPC を 2 つ使います。相手の VM は Compute Engine API で止めます(fencing)。先に GCE の共通事項を読んでください。
- 冷起動と計画停止での引き継ぎは自動です。
- 片方の通信路だけが切れても、fence も切替もしません(警告のみ)。両方の通信路が切れた時、または相手の VM が止まった時だけ、Compute Engine API で相手を止めて
TERMINATEDを確かめてから引き継ぎます。 - VIP は VM の中だけで使えます(GCE は guest の VIP を運びません)。
検証状況:この形(VPC 2 つ、Compute Engine API の fencing)で、冷起動、計画停止での引き継ぎ、片方の通信路の断、Active の喪失(電源断を含む)での引き継ぎ、fence の失敗での昇格の拒否を GCE で検証済み(v0.8 の新機能の前の版、検証用の helper)。試験では、Active の喪失から相手の昇格まで約 29〜32 秒でした。配布している RPM と、運用者が用意した fence/verify のコマンドでの構築は 未検証。
1 セグメント構成との違い
Section titled “1 セグメント構成との違い”| 項目 | 1 セグメント | 2 セグメント |
|---|---|---|
| VPC・NIC | VPC 1 つ、NIC 1 つ | VPC 2 つ、NIC 2 つ |
| 1 本の通信路の断 | fence が実行され、相手の VM が止まる(サービスの中断) | 警告のみ。fence も切替もしない |
| 相手の VM の停止 | fence → verify → 昇格 | 同じ |
| 設定・firewall | 1 つの VPC | 両方の VPC に firewall の規則が要る |
| 項目 | 内容 |
|---|---|
| VM | 2 台(Rocky Linux 10、aarch64 の RPM を使う場合は Arm の machine type)、各 NIC 2 つ |
| VPC | サービス用(nic0)と HA 専用(nic1)の 2 つ。それぞれにサブネット |
| firewall | 両方の VPC で、TCP 7946 を 2 台の間だけ許可 |
| fencing | 共通事項の契約を満たす fence/verify のコマンドと、相手の VM を stop・参照できる service account |
| VIP | サービス用のサブネットの未使用のアドレス 1 つ(/32、nic0) |
| ホスト | サービス用(eth0) | HA 専用(eth1) |
|---|---|---|
| node-a | 10.10.0.11 | 10.20.0.11 |
| node-b | 10.10.0.12 | 10.20.0.12 |
| VIP | 10.10.0.50/32 | — |
VM の中の NIC の名前(eth0、eth1)と、2 本目の NIC に経路があることを、ip -o addr と ip route で確かめてから設定に書きます。
- VPC を 2 つ作り、2 台の VM の nic0 をサービス用、nic1 を HA 専用のサブネットに付けます。
- インストールの手順で RPM と共有鍵(PSK)を置きます。
- fence/verify のコマンドを置き、各 VM から相手に対して
verifyを手で実行してnot-isolatedが出ることを確かめます。
2. 設定(両ノードで同じファイル)
Section titled “2. 設定(両ノードで同じファイル)”# /etc/mikagami/mikagami.toml — GCE・2 セグメント(VPC 2 つ)+Compute Engine API による fencing(両ノードで同じファイル)[cluster]id = "gce-2seg"topology = "two-node"
[nodes.node-a]preferred = true[nodes.node-a.fencing] # node-a の VM を止める方法(node-b が使う)fence = ["/usr/local/sbin/gce-fence", "node-a"]verify = ["/usr/local/sbin/gce-verify-fenced", "node-a"]
[nodes.node-b][nodes.node-b.fencing] # node-b の VM を止める方法(node-a が使う)fence = ["/usr/local/sbin/gce-fence", "node-b"]verify = ["/usr/local/sbin/gce-verify-fenced", "node-b"]
[two_node]fencing_device = "independent" # Compute Engine API で相手の VM を止められるfencing_path = "separate" # API の経路は peer link と別
[[two_node.link]]segment = "ha-vpc"role = "ha"port = 7946address = { node-a = "10.20.0.11", node-b = "10.20.0.12" }interface = { node-a = "eth1", node-b = "eth1" }
[[two_node.link]]segment = "service-vpc"role = "service"port = 7946address = { node-a = "10.10.0.11", node-b = "10.10.0.12" }interface = { node-a = "eth0", node-b = "eth0" }
[vip]address = "10.10.0.50/32" # GCE では /32interface = "eth0"
[service]manager = "systemd"unit = "nginx.service"
[health]command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]timeout_sec = 5failure_threshold = 3success_threshold = 2on_failure = "failover"
[security]psk_file = "/etc/mikagami/cluster.psk"
[failover]auto = truecycle_timeout_sec = 180
[fencing]backend = "command"verify_polls = 60mikagami node register --config /etc/mikagami/mikagami.toml --node-id node-a # node-b では node-bmikagami two-node init --config /etc/mikagami/mikagami.tomlsystemctl disable --now nginxsystemctl enable --now mikagamimikagami two-node status --config /etc/mikagami/mikagami.toml # paths: 2 segment(s)、各 link の upip -o addr show eth0 | grep 10.10.0.50 # Active の側だけにある4. 障害時の動作
Section titled “4. 障害時の動作”| 障害 | 動作 |
|---|---|
| 片方の VPC の通信の断 | WARN peer path degraded を 1 回出すだけ。fence も切替もしない |
| 両方の通信路の断、または Active の VM の停止・電源断 | Standby が、全部の通信路の断の検出(約 3 秒)から failover.dwell_sec(既定 10 秒)の後に fence → verify を行い、isolated を確かめてから昇格 |
| Compute Engine API に届かない・権限が無い・違う VM を指している | fence が確かめられず、昇格しない。Active はそのまま |
Active の health の異常(on_failure = "failover") |
相手が接続中で健全な時だけ、資源を解放してから相手が引き継ぐ。fence は使わない(GCE では 未検証) |
自動で引き継がれなかった時の手順は 2 セグメント構成と同じです。
- VIP へ VM の外から到達させる方法は未検証です(共通事項)。
- fence の API への経路はサービス用の VPC(既定の経路)を通ることが多く、その VPC の障害では fence が届かないことがあります。その場合は昇格しません(安全側)。
- 配布している RPM は aarch64 だけです。x86_64 の VM では、ソースから作る必要があります(未検証)。