コンテンツにスキップ

AWS BGP 構成(設計・検証予定)

現在の Mikagami が持つのは、VIP を Linux のインタフェースに付けて gratuitous ARP で公開する方式(同じ L2 の中)です。AWS の VPC は、guest の OS が付けたアドレスを gratuitous ARP では運ばないため、AWS では経路を切り替える仕組みが別に要ります。

VPC(設計・検証予定)VPC Route Serverendpoint(BGP peer)EC2 node-aFRRouting bgpdActive の時だけ VIP/32 を広告EC2 node-bFRRouting bgpdStandby は広告しないBGPBGP
図:想定する構成(設計)。Active のノードの FRRouting だけが VIP/32 を広告する。

Amazon VPC Route Server を使います。2 台の EC2 で FRRouting(bgpd)を動かし、Active のノードだけが VIP(/32)の経路を BGP で広告します。Route Server は受け取った経路を、指定した VPC の route table に反映します。AWS の公式資料には、同じ形の floating IP の例があります(AWS blog。AWS の公開の例は GoBGP を使っており、FRRouting を使う AWS の公式の例は見つかっていません)。

項目 内容
BGP session AWS の手順では、各ノード(peer)の側から endpoint へ BGP session を始める(BGP の開始の手順)。endpoint はサブネットごとに 2 つが推奨(作成の手順)
VIP のアドレス VPC の route table では、VPC の CIDR の中の /32 を個別に経路にできない。VIP は VPC の CIDR の外のアドレスにする(route table)
EC2 の設定 AWS の公開の sample(aws-samples/sample-vpc-route-server-deployment)では、source/destination check を無効にし、VIP を loopback に付けている
障害の検出 BGP keepalive(既定)か BFD を選べる(BGP options)
経路の選択 同じ prefix が複数の peer から来ると、BGP の best path で 1 つを選ぶ(仕組み)
上限 経路は peer あたり 100、route server あたり 100 など(quota)
料金 endpoint ごとの時間課金(VPC の料金)

公開資料で確認できなかったこと:AWS 側の BGP の hold timer と BFD の間隔、認証の有無、属性が同じ時の経路の選択の規則、route table への反映の遅延。

  • 広告は Active の時だけ。 Standby、停止、Blocked、状態が不明の時は撤回する(分からない時は撤回する側に倒す)。
  • 撤回の確認:ノードの bgpd に広告が残っていないことと、Route Server の routing database(GetRouteServerRoutingDatabase)に自分からの VIP の経路が無いことの両方で確かめる方向で検討する。確かめられない時は「資源あり(不明)」として扱う。
  • fencing は引き続き必要。 BGP の撤回や session の断は、相手のノードが止まったことの証明にならない(網の分断で見えないだけのこともある)。相手の喪失での昇格には、今と同じく fencing による停止の確認を前提にする。
  • 経路の無い時間:Active だけが広告する方式では、切替の間に経路が無い時間ができる。その長さは AWS での測定で示す。
  • Persist routes(全 session の断の後も経路を残す設定)は、両ノードの停止の後に古い経路が残るため、既定では使わない方向で検討する。
範囲 方法 確かめること
ローカル Linux の network namespace と FRRouting(Route Server の役も FRRouting で模擬) 広告と撤回の順序、BFD による切替、異常時の撤回
AWS 実際の VPC Route Server と EC2 経路の選択、route table への反映の遅延、VPC での転送、failover の時間

AWS Emulator のソース(EC2 の Route Server の操作の実装)には Route Server の API がありますが、その実装の注記のとおり BGP を話さず(peer の session は常に down)、経路の反映やパケットの転送も再現しません(API の control plane の試験に限られます)。ネットワークの動作の検証には使いません。

結果がまとまるまで、この構成は「対応予定」ではなく「設計・検証の対象」です。