障害試験・復旧手順
本番の前に、次の試験を試験用の環境で行ってください。各試験の前に、両ノードの状態を記録します。
mikagami two-node status --config /etc/mikagami/mikagami.toml # 2 ノード構成ip -o addr show | grep 192.168.100.50 # VIP の所在journalctl -u mikagami -o cat --since "-10 min"合格の基準(すべての試験で共通):VIP とサービスが同時に 2 台にあることが一度もない。
試験の一覧(2 ノード構成)
Section titled “試験の一覧(2 ノード構成)”| # | 試験 | 操作(例) | 期待する動作 |
|---|---|---|---|
| T1 | 計画停止 | Active で systemctl stop mikagami |
資源を逆順に解放し、相手が引き継ぐ |
| T2 | サービスの異常(restart) | on_failure = "restart" で、Active で systemctl stop nginx |
failure_threshold 回の失敗の後、Active のままサービスを再起動。VIP は付いたまま |
| T3 | サービスの異常(failover) | on_failure = "failover" で、Active の health が失敗する状態にする |
相手が接続中で健全なら、資源を解放し、相手が grant を受けて引き継ぐ。fence は使わない |
| T4 | 片方の通信路の断(2 セグメント) | Active で nft 等で ha-net だけを落とす |
警告のみ。切替しない |
| T5 | 全部の通信路の断・fencing なし | 1 セグメントで link を落とす | 切替しない。Active はそのまま |
| T6 | Active の停止・fencing あり | Active の VM・サーバーの電源を切る | Standby が fence → verify(isolated)の後に昇格 |
| T7 | fencing の失敗 | verify が not-isolated を返す状態にする |
昇格しない。自動の fencing を止める |
| T8 | 設定の不一致 | 片方の設定だけ変えて再起動 | 両方に config mismatch。Active・Standby のまま、自動の切替をしない |
| T9 | 手動の切替 | T5 の後、相手の停止を確かめて two-node takeover --attest-peer-stopped と SIGUSR1 |
残ったノードが昇格 |
検証の状況:T2・T3・T8 は 1 台の Rocky Linux 10.2 の上で Linux 上の模擬試験済み(同梱の試験の script)。T1(計画停止での相手への引き継ぎ)と T6 は GCE で 検証済み(GCE、v0.8 の新機能の前の版)。T1 のうち資源の逆順の停止は 1 ノードで Linux 上の模擬試験済み。物理サーバーと実際の電源装置での T6・T7 は 未検証。
通信路を断つ方法の例
Section titled “通信路を断つ方法の例”試験の時だけ、相手のアドレスへの通信を nftables で落とします。
nft add table inet mkgtestnft add chain inet mkgtest out '{ type filter hook output priority 0; }'nft add chain inet mkgtest in '{ type filter hook input priority 0; }'nft add rule inet mkgtest out ip daddr 10.0.1.12 dropnft add rule inet mkgtest in ip saddr 10.0.1.12 drop# 戻すnft delete table inet mkgtest| 状況 | 手順 |
|---|---|
| 止まったノードを戻す | 原因を直して systemctl start mikagami。資源を解放して Standby になる(failback はしない) |
| 自動で引き継がれない(fencing なし・失敗) | 相手の停止を電源・ハイパーバイザー・クラウドの制御面で確かめてから mikagami two-node takeover --config ... --attest-peer-stopped <相手>、続けて systemctl kill --kill-whom=main -s USR1 mikagami |
| fencing の装置で止めてから昇格したい | mikagami two-node takeover --config ... --fence <相手> と SIGUSR1 |
config mismatch |
2 台の設定ファイルを同じにして、両方を再起動 |
role blocked(資源の停止を確かめられない) |
原因の service・VIP を確かめて直す。daemon は解放を繰り返し試す。資源が残っている間、相手は fencing の確認なしには引き継がない |
| 補助ノード付き構成で切替が止まった | 補助ノード構成の障害時の操作 |
同梱の試験の script
Section titled “同梱の試験の script”Mikagami のソースの tests/linux/ に、使い捨ての Linux ホスト(root)で動かす試験の script があります。
s1-group-real.sh:実際の systemd の unit・command・VIP のグループの起動順、restart、停止順。s2-two-node-netns.sh:network namespace の 2 ノードで、冷起動、health の failover、設定の不一致。
クラスタのノードでは実行しないでください。