コンテンツにスキップ

GCE・1 セグメント構成

1 つの VPC のサブネットに 2 台の VM を置き、1 本の NIC で業務と HA の通信を兼ねる構成です。相手の VM は Compute Engine API で止めます(fencing)。先に GCE の共通事項を読んでください。

  • 冷起動と計画停止での引き継ぎは自動です。
  • 相手の喪失は、Compute Engine API で相手の VM を止め、TERMINATED を確かめた後だけ自動で引き継ぎます。
  • 通信路は 1 本なので、VM の間の通信の断と相手の停止を区別できません。通信の断でも fence が実行され、相手の VM が止まります(2 台が同時に Active になることはありません)。不要な fence を減らすには 2 セグメントにします。
  • VIP は VM の中だけで使えます(GCE は guest の VIP を運びません)。

検証状況:1 セグメント+fencing の引き継ぎと、fencing なしで自動では引き継がないことは GCE で検証済み(v0.8 の新機能の前の版、検証用の helper)。配布している RPM と、運用者が用意した fence/verify のコマンドでの構築は 未検証。

VPC(サブネット 1 つ)VM node-anic0(内部 IP)Mikagami daemonfence/verify は GCE APIVM node-bnic0(内部 IP)Mikagami daemonfence/verify は GCE APIpeer linkCompute Engine API(stop / 状態)
図:GCE・1 セグメント。fence と verify は Compute Engine API で相手の VM を止め、TERMINATED を確かめる。
項目 内容
VM 2 台(Rocky Linux 10、aarch64 の RPM を使う場合は Arm の machine type)
ネットワーク 1 つの VPC のサブネット(各 VM に NIC 1 つ)
firewall TCP 7946 を 2 台の間だけ許可
fencing 共通事項の契約を満たす fence/verify のコマンドと、相手の VM を stop・参照できる service account
VIP サブネットの未使用のアドレス 1 つ(/32)
ホスト アドレス(例)
node-a 10.10.0.11(eth0)
node-b 10.10.0.12(eth0)
VIP 10.10.0.50/32(Active の側の eth0)
  1. 2 台の VM を作り、インストールの手順で RPM と共有鍵(PSK)を置きます。
  2. fence/verify のコマンドを /usr/local/sbin/ に置きます(root 所有、mode 0755)。node-a には node-b を止めるコマンドを、node-b には node-a を止めるコマンドを用意します。
  3. 各 VM から、相手の VM に対して verify を手で実行し、not-isolated が出ることを確かめます(動いている相手を isolated と言わないこと)。

2. 設定(両ノードで同じファイル)

Section titled “2. 設定(両ノードで同じファイル)”
/etc/mikagami/mikagami.toml
# /etc/mikagami/mikagami.toml — GCE・1 セグメント+Compute Engine API による fencing(両ノードで同じファイル)
[cluster]
id = "gce-1seg"
topology = "two-node"
[nodes.node-a]
preferred = true
[nodes.node-a.fencing] # node-a の VM を止める方法(node-b が使う)
fence = ["/usr/local/sbin/gce-fence", "node-a"]
verify = ["/usr/local/sbin/gce-verify-fenced", "node-a"]
[nodes.node-b]
[nodes.node-b.fencing] # node-b の VM を止める方法(node-a が使う)
fence = ["/usr/local/sbin/gce-fence", "node-b"]
verify = ["/usr/local/sbin/gce-verify-fenced", "node-b"]
[two_node]
fencing_device = "independent" # Compute Engine API で相手の VM を止められる
fencing_path = "separate" # API の経路は VM の間の通信(peer link)と別
[[two_node.link]]
segment = "vpc"
role = "combined" # 業務と HA の通信を 1 本で兼ねる
port = 7946
address = { node-a = "10.10.0.11", node-b = "10.10.0.12" }
interface = { node-a = "eth0", node-b = "eth0" }
[vip]
address = "10.10.0.50/32" # GCE では /32(主アドレスが /32 のため)
interface = "eth0"
[service]
manager = "systemd"
unit = "nginx.service"
[health]
command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]
timeout_sec = 5
[security]
psk_file = "/etc/mikagami/cluster.psk"
[failover]
auto = true
cycle_timeout_sec = 180 # fence の時間 + verify の時間(verify_polls × 2 秒)より長く
[fencing]
backend = "command"
verify_polls = 60
ターミナルウィンドウ
mikagami node register --config /etc/mikagami/mikagami.toml --node-id node-a # node-b では node-b
mikagami two-node init --config /etc/mikagami/mikagami.toml
systemctl disable --now nginx
systemctl enable --now mikagami
ターミナルウィンドウ
mikagami two-node status --config /etc/mikagami/mikagami.toml
ip -o addr show eth0 | grep 10.10.0.50 # Active の側だけにある

1 セグメントの構成なので、通信路の冗長が無いことの警告が出ます。

障害 動作
Active の VM の停止・電源断 Standby が、通信の断の検出(約 3 秒)から failover.dwell_sec(既定 10 秒)の後に fence → verify を行い、isolated を確かめてから昇格
VM の間の通信の断(両方の VM は動いている) 上と同じく fence が実行され、相手の VM が止まる
Compute Engine API に届かない・権限が無い fence が成功せず、昇格しない。Active はそのまま
verify が not-isolated 昇格せず、自動の fencing を止める

自動で引き継がれなかった時の手順は 2 セグメント構成と同じです(two-node takeover --fence または --attest-peer-stopped)。

fencing_device = "none" にすると、相手の喪失では自動で引き継がず、運用者が相手の VM の停止をコンソールなどで確かめてから手動で切り替えます(1 セグメント構成と同じ)。

  • VIP へ VM の外から到達させる方法は未検証です(共通事項)。
  • 配布している RPM は aarch64 だけです。x86_64 の VM では、ソースから作る必要があります(未検証)。