コンテンツにスキップ

GCE・2 セグメント構成

各 VM に NIC を 2 つ付け、サービス用と HA 専用の 2 本で peer link を張る構成です。GCE では 1 台の VM の NIC はそれぞれ別の VPC に属するので、VPC を 2 つ使います。相手の VM は Compute Engine API で止めます(fencing)。先に GCE の共通事項を読んでください。

  • 冷起動と計画停止での引き継ぎは自動です。
  • 片方の通信路だけが切れても、fence も切替もしません(警告のみ)。両方の通信路が切れた時、または相手の VM が止まった時だけ、Compute Engine API で相手を止めて TERMINATED を確かめてから引き継ぎます。
  • VIP は VM の中だけで使えます(GCE は guest の VIP を運びません)。

検証状況:この形(VPC 2 つ、Compute Engine API の fencing)で、冷起動、計画停止での引き継ぎ、片方の通信路の断、Active の喪失(電源断を含む)での引き継ぎ、fence の失敗での昇格の拒否を GCE で検証済み(v0.8 の新機能の前の版、検証用の helper)。試験では、Active の喪失から相手の昇格まで約 29〜32 秒でした。配布している RPM と、運用者が用意した fence/verify のコマンドでの構築は 未検証。

VPC 1:サービス用のサブネット 10.10.0.0/24(nic0)VPC 2:HA 専用のサブネット 10.20.0.0/24(nic1)VM node-aeth0 10.10.0.11 / VIP(/32)eth1 10.20.0.11fence/verify は GCE APIVM node-beth0 10.10.0.12eth1 10.20.0.12fence/verify は GCE APICompute Engine API(stop / 状態)
図:GCE・2 セグメント。nic0 はサービス用の VPC、nic1 は HA 専用の VPC。fence と verify は Compute Engine API。
項目 1 セグメント 2 セグメント
VPC・NIC VPC 1 つ、NIC 1 つ VPC 2 つ、NIC 2 つ
1 本の通信路の断 fence が実行され、相手の VM が止まる(サービスの中断) 警告のみ。fence も切替もしない
相手の VM の停止 fence → verify → 昇格 同じ
設定・firewall 1 つの VPC 両方の VPC に firewall の規則が要る
項目 内容
VM 2 台(Rocky Linux 10、aarch64 の RPM を使う場合は Arm の machine type)、各 NIC 2 つ
VPC サービス用(nic0)と HA 専用(nic1)の 2 つ。それぞれにサブネット
firewall 両方の VPC で、TCP 7946 を 2 台の間だけ許可
fencing 共通事項の契約を満たす fence/verify のコマンドと、相手の VM を stop・参照できる service account
VIP サービス用のサブネットの未使用のアドレス 1 つ(/32、nic0)
ホスト サービス用(eth0) HA 専用(eth1)
node-a 10.10.0.11 10.20.0.11
node-b 10.10.0.12 10.20.0.12
VIP 10.10.0.50/32 —

VM の中の NIC の名前(eth0、eth1)と、2 本目の NIC に経路があることを、ip -o addr と ip route で確かめてから設定に書きます。

  1. VPC を 2 つ作り、2 台の VM の nic0 をサービス用、nic1 を HA 専用のサブネットに付けます。
  2. インストールの手順で RPM と共有鍵(PSK)を置きます。
  3. fence/verify のコマンドを置き、各 VM から相手に対して verify を手で実行して not-isolated が出ることを確かめます。

2. 設定(両ノードで同じファイル)

Section titled “2. 設定(両ノードで同じファイル)”
/etc/mikagami/mikagami.toml
# /etc/mikagami/mikagami.toml — GCE・2 セグメント(VPC 2 つ)+Compute Engine API による fencing(両ノードで同じファイル)
[cluster]
id = "gce-2seg"
topology = "two-node"
[nodes.node-a]
preferred = true
[nodes.node-a.fencing] # node-a の VM を止める方法(node-b が使う)
fence = ["/usr/local/sbin/gce-fence", "node-a"]
verify = ["/usr/local/sbin/gce-verify-fenced", "node-a"]
[nodes.node-b]
[nodes.node-b.fencing] # node-b の VM を止める方法(node-a が使う)
fence = ["/usr/local/sbin/gce-fence", "node-b"]
verify = ["/usr/local/sbin/gce-verify-fenced", "node-b"]
[two_node]
fencing_device = "independent" # Compute Engine API で相手の VM を止められる
fencing_path = "separate" # API の経路は peer link と別
[[two_node.link]]
segment = "ha-vpc"
role = "ha"
port = 7946
address = { node-a = "10.20.0.11", node-b = "10.20.0.12" }
interface = { node-a = "eth1", node-b = "eth1" }
[[two_node.link]]
segment = "service-vpc"
role = "service"
port = 7946
address = { node-a = "10.10.0.11", node-b = "10.10.0.12" }
interface = { node-a = "eth0", node-b = "eth0" }
[vip]
address = "10.10.0.50/32" # GCE では /32
interface = "eth0"
[service]
manager = "systemd"
unit = "nginx.service"
[health]
command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]
timeout_sec = 5
failure_threshold = 3
success_threshold = 2
on_failure = "failover"
[security]
psk_file = "/etc/mikagami/cluster.psk"
[failover]
auto = true
cycle_timeout_sec = 180
[fencing]
backend = "command"
verify_polls = 60
ターミナルウィンドウ
mikagami node register --config /etc/mikagami/mikagami.toml --node-id node-a # node-b では node-b
mikagami two-node init --config /etc/mikagami/mikagami.toml
systemctl disable --now nginx
systemctl enable --now mikagami
ターミナルウィンドウ
mikagami two-node status --config /etc/mikagami/mikagami.toml # paths: 2 segment(s)、各 link の up
ip -o addr show eth0 | grep 10.10.0.50 # Active の側だけにある
障害 動作
片方の VPC の通信の断 WARN peer path degraded を 1 回出すだけ。fence も切替もしない
両方の通信路の断、または Active の VM の停止・電源断 Standby が、全部の通信路の断の検出(約 3 秒)から failover.dwell_sec(既定 10 秒)の後に fence → verify を行い、isolated を確かめてから昇格
Compute Engine API に届かない・権限が無い・違う VM を指している fence が確かめられず、昇格しない。Active はそのまま
Active の health の異常(on_failure = "failover") 相手が接続中で健全な時だけ、資源を解放してから相手が引き継ぐ。fence は使わない(GCE では 未検証)

自動で引き継がれなかった時の手順は 2 セグメント構成と同じです。

  • VIP へ VM の外から到達させる方法は未検証です(共通事項)。
  • fence の API への経路はサービス用の VPC(既定の経路)を通ることが多く、その VPC の障害では fence が届かないことがあります。その場合は昇格しません(安全側)。
  • 配布している RPM は aarch64 だけです。x86_64 の VM では、ソースから作る必要があります(未検証)。