コンテンツにスキップ

障害試験・復旧手順

本番の前に、次の試験を試験用の環境で行ってください。各試験の前に、両ノードの状態を記録します。

ターミナルウィンドウ
mikagami two-node status --config /etc/mikagami/mikagami.toml # 2 ノード構成
ip -o addr show | grep 192.168.100.50 # VIP の所在
journalctl -u mikagami -o cat --since "-10 min"

合格の基準(すべての試験で共通):VIP とサービスが同時に 2 台にあることが一度もない。

# 試験 操作(例) 期待する動作
T1 計画停止 Active で systemctl stop mikagami 資源を逆順に解放し、相手が引き継ぐ
T2 サービスの異常(restart) on_failure = "restart" で、Active で systemctl stop nginx failure_threshold 回の失敗の後、Active のままサービスを再起動。VIP は付いたまま
T3 サービスの異常(failover) on_failure = "failover" で、Active の health が失敗する状態にする 相手が接続中で健全なら、資源を解放し、相手が grant を受けて引き継ぐ。fence は使わない
T4 片方の通信路の断(2 セグメント) Active で nft 等で ha-net だけを落とす 警告のみ。切替しない
T5 全部の通信路の断・fencing なし 1 セグメントで link を落とす 切替しない。Active はそのまま
T6 Active の停止・fencing あり Active の VM・サーバーの電源を切る Standby が fence → verify(isolated)の後に昇格
T7 fencing の失敗 verify が not-isolated を返す状態にする 昇格しない。自動の fencing を止める
T8 設定の不一致 片方の設定だけ変えて再起動 両方に config mismatch。Active・Standby のまま、自動の切替をしない
T9 手動の切替 T5 の後、相手の停止を確かめて two-node takeover --attest-peer-stopped と SIGUSR1 残ったノードが昇格

検証の状況:T2・T3・T8 は 1 台の Rocky Linux 10.2 の上で Linux 上の模擬試験済み(同梱の試験の script)。T1(計画停止での相手への引き継ぎ)と T6 は GCE で 検証済み(GCE、v0.8 の新機能の前の版)。T1 のうち資源の逆順の停止は 1 ノードで Linux 上の模擬試験済み。物理サーバーと実際の電源装置での T6・T7 は 未検証。

試験の時だけ、相手のアドレスへの通信を nftables で落とします。

ターミナルウィンドウ
nft add table inet mkgtest
nft add chain inet mkgtest out '{ type filter hook output priority 0; }'
nft add chain inet mkgtest in '{ type filter hook input priority 0; }'
nft add rule inet mkgtest out ip daddr 10.0.1.12 drop
nft add rule inet mkgtest in ip saddr 10.0.1.12 drop
# 戻す
nft delete table inet mkgtest
状況 手順
止まったノードを戻す 原因を直して systemctl start mikagami。資源を解放して Standby になる(failback はしない)
自動で引き継がれない(fencing なし・失敗) 相手の停止を電源・ハイパーバイザー・クラウドの制御面で確かめてから mikagami two-node takeover --config ... --attest-peer-stopped <相手>、続けて systemctl kill --kill-whom=main -s USR1 mikagami
fencing の装置で止めてから昇格したい mikagami two-node takeover --config ... --fence <相手> と SIGUSR1
config mismatch 2 台の設定ファイルを同じにして、両方を再起動
role blocked(資源の停止を確かめられない) 原因の service・VIP を確かめて直す。daemon は解放を繰り返し試す。資源が残っている間、相手は fencing の確認なしには引き継がない
補助ノード付き構成で切替が止まった 補助ノード構成の障害時の操作

Mikagami のソースの tests/linux/ に、使い捨ての Linux ホスト(root)で動かす試験の script があります。

  • s1-group-real.sh:実際の systemd の unit・command・VIP のグループの起動順、restart、停止順。
  • s2-two-node-netns.sh:network namespace の 2 ノードで、冷起動、health の failover、設定の不一致。

クラスタのノードでは実行しないでください。