GCE での構築(共通事項)
GCE(Google Compute Engine)では、2 ノード構成の切替の安全性(fencing による引き継ぎ)を実機で試験しています。ただし、VIP を VM の外から使う方法と、配布している RPM での構築は未検証です。 このページは、GCE・1 セグメントとGCE・2 セグメントに共通の事項をまとめます。
GCE での試験は、v0.8.0 の新機能(共通設定、リソースグループ、on_failure)を加える前の版で、fencing には検証用の build にだけ含まれる GCE の helper を使いました。
| 項目 | 状況 |
|---|---|
| 2 ノード・2 セグメント(VPC 2 つ)+fencing:冷起動、計画停止での引き継ぎ、片方の通信路の断、Active の喪失(電源断を含む)での fence → verify → 昇格、fence の失敗での昇格の拒否 | GCE で検証済み(v0.8 の新機能の前の版、検証用の helper) |
| 2 ノード・1 セグメント+fencing:Active の喪失での fence → verify → 昇格 | GCE で検証済み(同上) |
| 2 ノード・1 セグメント・fencing なし:相手の喪失で自動では引き継がないこと、運用者の確認による手動の切替 | GCE で検証済み(同上) |
| 補助ノード(Witness)付き構成の切替と alias IP の経路の引き継ぎ | GCE で検証済み(v0.7.0、検証用の build。一部の異常系は未検証) |
| 配布している RPM(v0.8.0)での GCE での構築、運用者が用意した fence/verify のコマンド | 未検証 |
v0.8.0 の新機能(共通設定、リソースグループ、on_failure)の GCE での動作 |
未検証 |
| 2 ノード構成で VIP へ VM の外から到達すること | 未検証 |
知っておくべき制約
Section titled “知っておくべき制約”- GCE は、guest の OS が自分で付けたアドレス(VIP)を網で運びません。 Mikagami の VIP は、その VM の中では使えますが、他の VM からは届きません。2 ノード構成には、alias IP の範囲を Active の VM へ移す仕組みがありません。
- VM の外のクライアントへサービスを届ける方法(例:内部ロードバランサーの health check で、サービスが動いている Active の VM だけに送る)は、Mikagami との組み合わせでは 未検証。
- 補助ノード付き構成の alias IP の経路の引き継ぎ(
[route])は、検証用の build の helper(mikagami-gce-fence)が要ります。この helper は既定の build と RPM には含まれず、本番での利用の範囲は決まっていません。 - GCE の VM の主アドレスは
/32です。VIP を/24などで同じ NIC に付けると、peer への通信の送信元が VIP になり、その通信路が使えなくなります。GCE では VIP を/32にしてください。
fencing のコマンド(運用者が用意する)
Section titled “fencing のコマンド(運用者が用意する)”Mikagami は GCE の API を直接操作しません。RPM の利用者は、次の契約を満たす fence と verify のコマンドを用意します(契約の全体は 2 セグメント構成)。
| コマンド | GCE での中身 |
|---|---|
fence |
Compute Engine API で相手の VM を stop する。終了コード 0 は「受け付けた」の意味でしかない |
verify |
Compute Engine API で相手の VM の状態を読み、TERMINATED を観測した時だけ isolated を出す。RUNNING・STOPPING などは not-isolated。API の失敗や応答の無い時は isolated を出さない |
- 相手の VM の名前と zone は、コマンドの側で固定します(
MIKAGAMI_FENCE_TARGETにノード ID が渡されます)。 - 通信が届かないこと(ping・TCP の失敗)を
isolatedの根拠にしてはいけません。 - このコマンドは配布物に含まれず、Mikagami の側では試験していません。本番の前に、障害試験の T6・T7 を GCE で行ってください。
権限と firewall
Section titled “権限と firewall”- 各 VM の service account に、相手の VM を stop し、状態を読む最小の権限を与えます(例:
compute.instances.stopとcompute.instances.getだけのカスタムロールを、相手の VM に付ける)。VM の access scope で Compute Engine API を使えるようにします。 - VPC の firewall で、peer link(TCP 7946)を 2 台の間だけ許可します。補助ノード付き構成では TCP 7947(補助ノードへ)も許可します。
- fence の API への経路(外部 IP、Cloud NAT、限定公開の Google アクセスのいずれか)を用意します。API に届かない時、fence は成功せず、昇格もしません(安全側)。