コンテンツにスキップ

GCE での構築(共通事項)

GCE(Google Compute Engine)では、2 ノード構成の切替の安全性(fencing による引き継ぎ)を実機で試験しています。ただし、VIP を VM の外から使う方法と、配布している RPM での構築は未検証です。 このページは、GCE・1 セグメントとGCE・2 セグメントに共通の事項をまとめます。

GCE での試験は、v0.8.0 の新機能(共通設定、リソースグループ、on_failure)を加える前の版で、fencing には検証用の build にだけ含まれる GCE の helper を使いました。

項目 状況
2 ノード・2 セグメント(VPC 2 つ)+fencing:冷起動、計画停止での引き継ぎ、片方の通信路の断、Active の喪失(電源断を含む)での fence → verify → 昇格、fence の失敗での昇格の拒否 GCE で検証済み(v0.8 の新機能の前の版、検証用の helper)
2 ノード・1 セグメント+fencing:Active の喪失での fence → verify → 昇格 GCE で検証済み(同上)
2 ノード・1 セグメント・fencing なし:相手の喪失で自動では引き継がないこと、運用者の確認による手動の切替 GCE で検証済み(同上)
補助ノード(Witness)付き構成の切替と alias IP の経路の引き継ぎ GCE で検証済み(v0.7.0、検証用の build。一部の異常系は未検証)
配布している RPM(v0.8.0)での GCE での構築、運用者が用意した fence/verify のコマンド 未検証
v0.8.0 の新機能(共通設定、リソースグループ、on_failure)の GCE での動作 未検証
2 ノード構成で VIP へ VM の外から到達すること 未検証
  • GCE は、guest の OS が自分で付けたアドレス(VIP)を網で運びません。 Mikagami の VIP は、その VM の中では使えますが、他の VM からは届きません。2 ノード構成には、alias IP の範囲を Active の VM へ移す仕組みがありません。
  • VM の外のクライアントへサービスを届ける方法(例:内部ロードバランサーの health check で、サービスが動いている Active の VM だけに送る)は、Mikagami との組み合わせでは 未検証。
  • 補助ノード付き構成の alias IP の経路の引き継ぎ([route])は、検証用の build の helper(mikagami-gce-fence)が要ります。この helper は既定の build と RPM には含まれず、本番での利用の範囲は決まっていません。
  • GCE の VM の主アドレスは /32 です。VIP を /24 などで同じ NIC に付けると、peer への通信の送信元が VIP になり、その通信路が使えなくなります。GCE では VIP を /32 にしてください。

fencing のコマンド(運用者が用意する)

Section titled “fencing のコマンド(運用者が用意する)”

Mikagami は GCE の API を直接操作しません。RPM の利用者は、次の契約を満たす fence と verify のコマンドを用意します(契約の全体は 2 セグメント構成)。

コマンド GCE での中身
fence Compute Engine API で相手の VM を stop する。終了コード 0 は「受け付けた」の意味でしかない
verify Compute Engine API で相手の VM の状態を読み、TERMINATED を観測した時だけ isolated を出す。RUNNING・STOPPING などは not-isolated。API の失敗や応答の無い時は isolated を出さない
  • 相手の VM の名前と zone は、コマンドの側で固定します(MIKAGAMI_FENCE_TARGET にノード ID が渡されます)。
  • 通信が届かないこと(ping・TCP の失敗)を isolated の根拠にしてはいけません。
  • このコマンドは配布物に含まれず、Mikagami の側では試験していません。本番の前に、障害試験の T6・T7 を GCE で行ってください。
  • 各 VM の service account に、相手の VM を stop し、状態を読む最小の権限を与えます(例:compute.instances.stop と compute.instances.get だけのカスタムロールを、相手の VM に付ける)。VM の access scope で Compute Engine API を使えるようにします。
  • VPC の firewall で、peer link(TCP 7946)を 2 台の間だけ許可します。補助ノード付き構成では TCP 7947(補助ノードへ)も許可します。
  • fence の API への経路(外部 IP、Cloud NAT、限定公開の Google アクセスのいずれか)を用意します。API に届かない時、fence は成功せず、昇格もしません(安全側)。