コンテンツにスキップ

2 ノード+補助ノード(Witness)構成

2 台のノードと、別の第 3 のホストで動く**補助ノード(Witness)**で作る構成です。補助ノードは、どのノードが Active かの記録(term と lease)を管理します。Active になるには補助ノードの lease が要るので、2 台が同時に Active になることを補助ノードの側でも防ぎます。

  • 補助ノードは fencing の代わりではありません。相手の喪失の自動の引き継ぎには [fencing] backend = "command" の fence/verify が要ります(設定が無いと自動の引き継ぎはしません。failover.auto = true の時は、その旨の警告を起動時に出します)。
  • この構成では、設定はノードごとのファイルです(2 ノード構成の共通設定・リソースグループ・on_failure の restart/failover は使えません。ヘルスチェックは警告のみ)。

検証状況:v0.7.0 の時点で GCE の実機の受入試験を行っています 実機で検証済み(GCE、v0.7.0)。v0.8.0 の RPM での構築は 未検証。

LAN 192.168.100.0/24node-a192.168.100.11peer へ接続・補助ノードへ接続VIP 192.168.100.50(Active 時)補助ノード(Witness)192.168.100.13:7947term と lease を管理node-b192.168.100.12:7946 で peer を待ち受け補助ノードへ接続
図:2 ノード+補助ノード。補助ノードは第 3 のホストで、2 台のノードのどちらでもない。
ホスト アドレス 待ち受け
node-a 192.168.100.11 — (node-b と補助ノードへ接続)
node-b 192.168.100.12 TCP 7946(node-a から)
補助ノード 192.168.100.13 TCP 7947(両ノードから)
VIP 192.168.100.50/24 Active の側だけ

3 台とも同じ RPM と、同じ共有鍵(PSK)を置きます。

/etc/mikagami/witness.toml(補助ノード)
# 補助ノードの /etc/mikagami/witness.toml(2 台のノードとは別の第 3 のホスト)
cluster = "web-witness"
id = "witness-1"
listen = "192.168.100.13:7947"
nodes = ["node-a", "node-b"]
preferred = "node-a"
psk_file = "/etc/mikagami/cluster.psk"
state_dir = "/var/lib/mikagami-witness"
on_reboot = "rearm"
ターミナルウィンドウ
mikagami witness init --config /etc/mikagami/witness.toml # 状態を 1 回だけ作る
systemctl enable --now mikagami-witness

witness init は既存の状態があれば拒否します(term が 0 に戻ることはありません)。

id の小さいノード(node-a)が相手へ接続し、大きいノード(node-b)が待ち受けます。

node-a の /etc/mikagami/mikagami.toml
# node-a の /etc/mikagami/mikagami.toml — 補助ノード(Witness)付き構成
[cluster]
id = "web-witness"
[node]
id = "node-a"
preferred = true
[peer]
id = "node-b"
address = "192.168.100.12:7946" # id の小さい node-a が node-b へ接続する
[witness]
id = "witness-1"
address = "192.168.100.13:7947"
[vip]
address = "192.168.100.50/24"
interface = "eth0"
[service]
manager = "systemd"
unit = "httpd.service"
[health]
command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]
timeout_sec = 5
[security]
psk_file = "/etc/mikagami/cluster.psk"
[failover]
auto = true
[fencing]
backend = "command"
fence = ["/usr/local/sbin/fence-node", "node-b"]
verify = ["/usr/local/sbin/verify-node-fenced", "node-b"]
node-b の /etc/mikagami/mikagami.toml
# node-b の /etc/mikagami/mikagami.toml — 補助ノード(Witness)付き構成
[cluster]
id = "web-witness"
[node]
id = "node-b"
listen = "192.168.100.12:7946" # id の大きい node-b が待ち受ける
[peer]
id = "node-a"
[witness]
id = "witness-1"
address = "192.168.100.13:7947"
[vip]
address = "192.168.100.50/24"
interface = "eth0"
[service]
manager = "systemd"
unit = "httpd.service"
[health]
command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]
timeout_sec = 5
[security]
psk_file = "/etc/mikagami/cluster.psk"
[failover]
auto = true
[fencing]
backend = "command"
fence = ["/usr/local/sbin/fence-node", "node-a"]
verify = ["/usr/local/sbin/verify-node-fenced", "node-a"]

fence/verify の契約は 2 セグメント構成と同じです。

ターミナルウィンドウ
systemctl disable --now httpd
systemctl enable --now mikagami
mikagami status --config /etc/mikagami/mikagami.toml
  • 起動の後、両ノードが Standby で健全な状態が続くと、preferred のノードが補助ノードに lease を求め、Active になります。
  • Active は lease を更新し続けます。補助ノードとの接続を失った Active は、lease の失効で降格します。
  • 相手を失った Standby は、[fencing] で相手を隔離してから、補助ノードから lease を得て昇格します。

自動の引き継ぎが止まった時(fence の失敗など)は、相手が本当に止まっていることを確かめてから、次の手順で隔離を運用者が証明し、昇格を要求します。

ターミナルウィンドウ
mikagami recover httpd.service --confirm-fenced node-a --incident <seq> --config /etc/mikagami/mikagami.toml
systemctl kill --kill-whom=main -s USR1 mikagami

<seq> は、ログ(journalctl -u mikagami)に出る fencing の incident の番号です。

補助ノードがある構成と無い構成の違い

Section titled “補助ノードがある構成と無い構成の違い”
項目 2 ノード構成(補助ノードなし) 2 ノード+補助ノード
Active になる根拠 相手の Standby からの付与(grant)、または確定した fence 補助ノードの lease(期限 10 秒、3 秒ごとに更新)
相手の喪失の自動の引き継ぎ 独立した fencing の装置が要る 同じく fencing が要る(補助ノードは fencing の代わりではない)
補助ノードの停止・補助ノードへの通信の断 — Active は lease を更新できず、期限の前に自ら降格する。補助ノードが戻るまで、どちらのノードも Active にならない(サービスは止まる)
設定 共通の設定ファイル、リソースグループ、on_failure ノードごとのファイル。リソースグループと on_failure の restart/failover は使えない
ホスト 2 台 3 台(補助ノードは別のホスト)

補助ノードの lease は、「2 台が同時に Active にならない」ための追加の守りです。ただし、補助ノードがあるだけでスプリットブレインを完全に防げるわけではありません。安全は、lease の期限を守って降格するノードの動作、時計(monotonic clock)、fencing の正しさ、補助ノードの状態を巻き戻さない運用の、すべてが前提です。

  • 補助ノードが止まる、または両ノードから届かなくなると、Active は lease の期限の前にサービスを止め、VIP を外して降格します。Standby も lease を得られないので昇格しません。補助ノードは可用性の単一障害点になります。
  • 補助ノードが戻った後の再開は、両ノードと補助ノードの状態によります。補助ノードの再起動の後の扱いは on_reboot(rearm または refuse)で決まります。自動で Active が決まらない時は、mikagami status とログ(journalctl -u mikagami)で状態を確かめ、障害時の操作に従います。
  • 補助ノードの状態ディレクトリを失った時は、クラスタ全体を止めて、文書の手順で作り直します。バックアップや snapshot から戻してはいけません(下の安全上の注意)。
  • 新しく構築する場合は、補助ノードの要らない 2 ノード・2 セグメント構成(独立した fencing の装置つき)を推奨します。
  • 補助ノード付き構成は、第 3 のホストを置けて、そのホストの停止をサービスの停止として受け入れられる場合に使います。補助ノードは、2 台とは別の電源・ネットワークの障害の範囲に置きます。
  • v0.8.0 の RPM での補助ノード付き構成の構築は未検証です(GCE での受入試験は v0.7.0)。
  • 補助ノードは 1 台だけです(複数の補助ノードや quorum の設定はありません)。
  • 版の混在した運転(rolling upgrade)はできません。更新は 3 台すべてを止めてから行い、補助ノード → node-b → node-a の順に起動します。
  • 補助ノードの状態ディレクトリを、バックアップや VM の snapshot から戻してはいけません。 古い状態に戻った補助ノードは検出できず、安全の前提を壊します。
  • 補助ノードは 2 台のノードとは別のホストに置きます。
  • on_reboot = "refuse" にすると、補助ノードの再起動の後は mikagami witness rearm を運用者が実行するまで起動しません(巻き戻しの検出の手段ではありません)。