2 ノード・2 セグメント構成
業務のネットワークと HA 専用のネットワークの 2 本で peer link を張り、独立した fencing の装置を使う推奨構成です。
- 冷起動と計画停止での引き継ぎは自動です。
- 相手の喪失は、fencing の装置で相手の OS を止め、
verifyで止まったことを確かめた後だけ、自動で引き継ぎます。 - 片方の通信路だけが切れても、fencing はしません(警告のみ)。
検証状況:fencing による引き継ぎは GCE 上で 実機で検証済み(GCE、v0.8 の新機能の前の版)。共通設定・health の failover は Linux 上の模擬試験済み。物理サーバーと実際の電源制御装置では 未検証。
| 項目 | 内容 |
|---|---|
| サーバー | 2 台 |
| ネットワーク | 2 本(業務・VIP 用、HA 専用) |
| fencing の装置 | 相手の OS を外から止められるもの(電源装置、BMC、ハイパーバイザー、クラウドの API) |
| ポート | TCP 7946(両方の通信路で node-a → node-b) |
| ホスト | service-net | ha-net |
|---|---|---|
| node-a | 192.168.100.11(eth0) | 10.0.1.11(eth1) |
| node-b | 192.168.100.12(eth0) | 10.0.1.12(eth1) |
| VIP | 192.168.100.50/24(eth0) | — |
1. fencing のコマンドを用意する
Section titled “1. fencing のコマンドを用意する”Mikagami は fencing の装置を直接操作しません。装置を操作するコマンドを、運用者が用意します。
| コマンド | 契約 |
|---|---|
fence |
相手の OS を止める(電源のトグルではなく「止まった状態にする」。何度実行してもよいこと)。終了コード 0 は「受け付けた」の意味でしかなく、停止の証明にはならない |
verify |
装置の側で相手の停止を観測した時だけ、標準出力に isolated を出して終了コード 0 で終わる。停止していなければ not-isolated。それ以外の出力は「不明」 |
- どちらも root 所有の実行ファイルを絶対 path で、argv の配列で指定します。環境変数
MIKAGAMI_FENCE_TARGET(止める相手)、MIKAGAMI_CLUSTERなどが渡されます。 - 通信が届かないこと(ping が返らない等)を
isolatedの根拠にしてはいけません。 - 設定の
[nodes.<id>.fencing]は「そのノードを止める方法」で、相手のノードが使います。
2. 設定(両ノードで同じファイル)
Section titled “2. 設定(両ノードで同じファイル)”# /etc/mikagami/mikagami.toml — 2 ノード・2 セグメント+独立した fencing(両ノードで同じファイル)[cluster]id = "web-2seg"topology = "two-node"
[nodes.node-a]preferred = true[nodes.node-a.fencing] # node-a を止める方法(node-b が使う)fence = ["/usr/local/sbin/fence-node", "node-a"]verify = ["/usr/local/sbin/verify-node-fenced", "node-a"]
[nodes.node-b][nodes.node-b.fencing] # node-b を止める方法(node-a が使う)fence = ["/usr/local/sbin/fence-node", "node-b"]verify = ["/usr/local/sbin/verify-node-fenced", "node-b"]
[two_node]fencing_device = "independent" # 電源・ハイパーバイザー等で相手の OS を止められるfencing_path = "separate" # fence の制御の経路は peer link と別
[[two_node.link]]segment = "ha-net"role = "ha"port = 7946address = { node-a = "10.0.1.11", node-b = "10.0.1.12" }interface = { node-a = "eth1", node-b = "eth1" }
[[two_node.link]]segment = "service-net"role = "service"port = 7946address = { node-a = "192.168.100.11", node-b = "192.168.100.12" }interface = { node-a = "eth0", node-b = "eth0" }
[vip]address = "192.168.100.50/24"interface = "eth0"
[service]manager = "systemd"unit = "nginx.service"
[health]command = ["/usr/libexec/mikagami/check-http", "http://127.0.0.1/", "--timeout", "2"]timeout_sec = 5failure_threshold = 3success_threshold = 2on_failure = "failover"
[security]psk_file = "/etc/mikagami/cluster.psk"
[failover]auto = truecycle_timeout_sec = 180 # fence の時間 + verify の時間(verify_polls × 2 秒)より長く
[fencing]backend = "command"verify_polls = 60cycle_timeout_sec は、fence の時間と verify の待ち時間(verify_polls × 2 秒)の合計より長くします。登録と初期化は 1 セグメント構成と同じです。
mikagami node register --config /etc/mikagami/mikagami.toml --node-id node-a # node-b では node-bmikagami two-node init --config /etc/mikagami/mikagami.tomlsystemctl enable --now mikagami3. 正常時の確認
Section titled “3. 正常時の確認”mikagami two-node status --config /etc/mikagami/mikagami.tomlpaths: 2 segment(s) と、各 link の up を確かめます。片方の link が落ちると WARN peer path degraded が 1 回出ますが、切替はしません。
4. 障害時の切替
Section titled “4. 障害時の切替”| 障害 | 動作 |
|---|---|
| 片方の通信路の断 | 警告のみ。fencing も切替もしない |
| 両方の通信路の断、または Active の停止 | Standby(相手を Active として見ていたもの)が、全部の通信路の断の検出(約 3 秒)から failover.dwell_sec(既定 10 秒)の後、つまり断から約 13 秒後に fence → verify を実行し、isolated を確かめてから昇格。daemon の起動から 30 秒未満の間は自動で fence しない |
verify が not-isolated |
昇格せず、自動の fencing を止める(相手が戻るまで再試行しない) |
Active の health の異常(on_failure = "failover") |
相手が接続中で健全な Standby の時だけ、自分の資源を解放し、その解放を確かめた後に相手が引き継ぐ。fence は使わない |
自動で引き継がれなかった時は、残ったノードで次を使えます。
# fencing の装置で止めて確かめてから昇格を要求するmikagami two-node takeover --config /etc/mikagami/mikagami.toml --fence node-asystemctl kill --kill-whom=main -s USR1 mikagamifence で止めたノードの電源を入れ、mikagami を起動します。そのノードは資源を解放して Standby になり、サービスを取り戻すことはしません。
安全上の注意
Section titled “安全上の注意”- fencing の装置の制御の経路を、peer link と別にしてください(
fencing_path = "separate")。同じ経路だと、その経路の断で fence も届かず、自動の引き継ぎは起きません(安全側)。 verifyは、装置の側で停止を観測した時だけisolatedを出すように作ってください。- 1 回の障害で fence を実行する回数には上限があります(
failover.max_fence_actions、既定 2)。