コンテンツにスキップ

2 ノード・2 セグメント構成

業務のネットワークと HA 専用のネットワークの 2 本で peer link を張り、独立した fencing の装置を使う推奨構成です。

  • 冷起動と計画停止での引き継ぎは自動です。
  • 相手の喪失は、fencing の装置で相手の OS を止め、verify で止まったことを確かめた後だけ、自動で引き継ぎます。
  • 片方の通信路だけが切れても、fencing はしません(警告のみ)。

検証状況:fencing による引き継ぎは GCE 上で 実機で検証済み(GCE、v0.8 の新機能の前の版)。共通設定・health の failover は Linux 上の模擬試験済み。物理サーバーと実際の電源制御装置では 未検証。

service-net 192.168.100.0/24(業務・VIP)ha-net 10.0.1.0/24(HA 専用)node-aeth0 192.168.100.11 / VIPeth1 10.0.1.11fence 装置で node-b を停止node-beth0 192.168.100.12eth1 10.0.1.12fence 装置で node-a を停止
図:2 ノード・2 セグメント。点線は HA 専用の通信路。fencing の装置の制御の経路は、どちらの通信路とも別にする。
項目 内容
サーバー 2 台
ネットワーク 2 本(業務・VIP 用、HA 専用)
fencing の装置 相手の OS を外から止められるもの(電源装置、BMC、ハイパーバイザー、クラウドの API)
ポート TCP 7946(両方の通信路で node-a → node-b)
ホスト service-net ha-net
node-a 192.168.100.11(eth0) 10.0.1.11(eth1)
node-b 192.168.100.12(eth0) 10.0.1.12(eth1)
VIP 192.168.100.50/24(eth0) —

Mikagami は fencing の装置を直接操作しません。装置を操作するコマンドを、運用者が用意します。

コマンド 契約
fence 相手の OS を止める(電源のトグルではなく「止まった状態にする」。何度実行してもよいこと)。終了コード 0 は「受け付けた」の意味でしかなく、停止の証明にはならない
verify 装置の側で相手の停止を観測した時だけ、標準出力に isolated を出して終了コード 0 で終わる。停止していなければ not-isolated。それ以外の出力は「不明」
  • どちらも root 所有の実行ファイルを絶対 path で、argv の配列で指定します。環境変数 MIKAGAMI_FENCE_TARGET(止める相手)、MIKAGAMI_CLUSTER などが渡されます。
  • 通信が届かないこと(ping が返らない等)を isolated の根拠にしてはいけません。
  • 設定の [nodes.<id>.fencing] は「そのノードを止める方法」で、相手のノードが使います。

2. 設定(両ノードで同じファイル)

Section titled “2. 設定(両ノードで同じファイル)”
/etc/mikagami/mikagami.toml
# /etc/mikagami/mikagami.toml — 2 ノード・2 セグメント+独立した fencing(両ノードで同じファイル)
[cluster]
id = "web-2seg"
topology = "two-node"
[nodes.node-a]
preferred = true
[nodes.node-a.fencing] # node-a を止める方法(node-b が使う)
fence = ["/usr/local/sbin/fence-node", "node-a"]
verify = ["/usr/local/sbin/verify-node-fenced", "node-a"]
[nodes.node-b]
[nodes.node-b.fencing] # node-b を止める方法(node-a が使う)
fence = ["/usr/local/sbin/fence-node", "node-b"]
verify = ["/usr/local/sbin/verify-node-fenced", "node-b"]
[two_node]
fencing_device = "independent" # 電源・ハイパーバイザー等で相手の OS を止められる
fencing_path = "separate" # fence の制御の経路は peer link と別
[[two_node.link]]
segment = "ha-net"
role = "ha"
port = 7946
address = { node-a = "10.0.1.11", node-b = "10.0.1.12" }
interface = { node-a = "eth1", node-b = "eth1" }
[[two_node.link]]
segment = "service-net"
role = "service"
port = 7946
address = { node-a = "192.168.100.11", node-b = "192.168.100.12" }
interface = { node-a = "eth0", node-b = "eth0" }
[vip]
address = "192.168.100.50/24"
interface = "eth0"
[service]
manager = "systemd"
unit = "nginx.service"
[health]
command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]
timeout_sec = 5
failure_threshold = 3
success_threshold = 2
on_failure = "failover"
[security]
psk_file = "/etc/mikagami/cluster.psk"
[failover]
auto = true
cycle_timeout_sec = 180 # fence の時間 + verify の時間(verify_polls × 2 秒)より長く
[fencing]
backend = "command"
verify_polls = 60

cycle_timeout_sec は、fence の時間と verify の待ち時間(verify_polls × 2 秒)の合計より長くします。登録と初期化は 1 セグメント構成と同じです。

ターミナルウィンドウ
mikagami node register --config /etc/mikagami/mikagami.toml --node-id node-a # node-b では node-b
mikagami two-node init --config /etc/mikagami/mikagami.toml
systemctl enable --now mikagami
ターミナルウィンドウ
mikagami two-node status --config /etc/mikagami/mikagami.toml

paths: 2 segment(s) と、各 link の up を確かめます。片方の link が落ちると WARN peer path degraded が 1 回出ますが、切替はしません。

障害 動作
片方の通信路の断 警告のみ。fencing も切替もしない
両方の通信路の断、または Active の停止 Standby(相手を Active として見ていたもの)が、全部の通信路の断の検出(約 3 秒)から failover.dwell_sec(既定 10 秒)の後、つまり断から約 13 秒後に fence → verify を実行し、isolated を確かめてから昇格。daemon の起動から 30 秒未満の間は自動で fence しない
verify が not-isolated 昇格せず、自動の fencing を止める(相手が戻るまで再試行しない)
Active の health の異常(on_failure = "failover") 相手が接続中で健全な Standby の時だけ、自分の資源を解放し、その解放を確かめた後に相手が引き継ぐ。fence は使わない

自動で引き継がれなかった時は、残ったノードで次を使えます。

ターミナルウィンドウ
# fencing の装置で止めて確かめてから昇格を要求する
mikagami two-node takeover --config /etc/mikagami/mikagami.toml --fence node-a
systemctl kill --kill-whom=main -s USR1 mikagami

fence で止めたノードの電源を入れ、mikagami を起動します。そのノードは資源を解放して Standby になり、サービスを取り戻すことはしません。

  • fencing の装置の制御の経路を、peer link と別にしてください(fencing_path = "separate")。同じ経路だと、その経路の断で fence も届かず、自動の引き継ぎは起きません(安全側)。
  • verify は、装置の側で停止を観測した時だけ isolated を出すように作ってください。
  • 1 回の障害で fence を実行する回数には上限があります(failover.max_fence_actions、既定 2)。