AWS BGP 構成(設計・検証予定)
現在の Mikagami が持つのは、VIP を Linux のインタフェースに付けて gratuitous ARP で公開する方式(同じ L2 の中)です。AWS の VPC は、guest の OS が付けたアドレスを gratuitous ARP では運ばないため、AWS では経路を切り替える仕組みが別に要ります。
想定する構成
Section titled “想定する構成”Amazon VPC Route Server を使います。2 台の EC2 で FRRouting(bgpd)を動かし、Active のノードだけが VIP(/32)の経路を BGP で広告します。Route Server は受け取った経路を、指定した VPC の route table に反映します。AWS の公式資料には、同じ形の floating IP の例があります(AWS blog。AWS の公開の例は GoBGP を使っており、FRRouting を使う AWS の公式の例は見つかっていません)。
公開資料で確認した前提
Section titled “公開資料で確認した前提”| 項目 | 内容 |
|---|---|
| BGP session | AWS の手順では、各ノード(peer)の側から endpoint へ BGP session を始める(BGP の開始の手順)。endpoint はサブネットごとに 2 つが推奨(作成の手順) |
| VIP のアドレス | VPC の route table では、VPC の CIDR の中の /32 を個別に経路にできない。VIP は VPC の CIDR の外のアドレスにする(route table) |
| EC2 の設定 | AWS の公開の sample(aws-samples/sample-vpc-route-server-deployment)では、source/destination check を無効にし、VIP を loopback に付けている |
| 障害の検出 | BGP keepalive(既定)か BFD を選べる(BGP options) |
| 経路の選択 | 同じ prefix が複数の peer から来ると、BGP の best path で 1 つを選ぶ(仕組み) |
| 上限 | 経路は peer あたり 100、route server あたり 100 など(quota) |
| 料金 | endpoint ごとの時間課金(VPC の料金) |
公開資料で確認できなかったこと:AWS 側の BGP の hold timer と BFD の間隔、認証の有無、属性が同じ時の経路の選択の規則、route table への反映の遅延。
予定している設計
Section titled “予定している設計”- 広告は Active の時だけ。 Standby、停止、Blocked、状態が不明の時は撤回する(分からない時は撤回する側に倒す)。
- 撤回の確認:ノードの bgpd に広告が残っていないことと、Route Server の routing database(
GetRouteServerRoutingDatabase)に自分からの VIP の経路が無いことの両方で確かめる方向で検討する。確かめられない時は「資源あり(不明)」として扱う。 - fencing は引き続き必要。 BGP の撤回や session の断は、相手のノードが止まったことの証明にならない(網の分断で見えないだけのこともある)。相手の喪失での昇格には、今と同じく fencing による停止の確認を前提にする。
- 経路の無い時間:Active だけが広告する方式では、切替の間に経路が無い時間ができる。その長さは AWS での測定で示す。
- Persist routes(全 session の断の後も経路を残す設定)は、両ノードの停止の後に古い経路が残るため、既定では使わない方向で検討する。
予定している検証
Section titled “予定している検証”| 範囲 | 方法 | 確かめること |
|---|---|---|
| ローカル | Linux の network namespace と FRRouting(Route Server の役も FRRouting で模擬) | 広告と撤回の順序、BFD による切替、異常時の撤回 |
| AWS | 実際の VPC Route Server と EC2 | 経路の選択、route table への反映の遅延、VPC での転送、failover の時間 |
AWS Emulator のソース(EC2 の Route Server の操作の実装)には Route Server の API がありますが、その実装の注記のとおり BGP を話さず(peer の session は常に down)、経路の反映やパケットの転送も再現しません(API の control plane の試験に限られます)。ネットワークの動作の検証には使いません。
結果がまとまるまで、この構成は「対応予定」ではなく「設計・検証の対象」です。