0x01 前言
在过去的几个月中,我工作的其中一个内容是负责建立及维护公司的国际方向BGP和混合云的BGP,这期间学习到的内容非常多,这一篇文章主要记录阿里云高速通道建立的一些工作。
混合云结构比较简单,我这里使用国际阿里云,就是通过物理通道将自建数据中心与阿里云相连接,而这个物理通道一般为光纤。阿里云相关的文档可以在这里找到:
其实阿里云的专线连接并不需要建立BGP,可以直接通过手写路由的形式调通两端,但采用两条专线并配置BGP可以极大提升可靠性与减少不必要的路由配置工作。
0x02 接入方式
我接触的机房是equinix,一般情况下,阿里云都会在equinix内有接入点。而equinix的接入点有两种,一种是ECX,另一种是cross connect,也就是交叉连接,至于阿里云支持哪种接入方式,则需要通过工单与阿里云工程师沟通确认。至于ECX与cross connect的区别,可以通过以下链接了解:
简单来说,两者的特点主要如下:
- ECX:通过SDN连接两端,灵活可靠
- cross connect:物理连接,通过跳线直接接入目标供应商,自己一侧需自备网络设备
目前阿里云只支持以下地域通过ECX接入:
当然,阿里也没有接入所有的机房,在没有资源的机房内上云则需要借助运营商的线路,比如阿里云帮助文档内的架构图:
上图中有一段是电信的网络,这部分需要额外租用,所以在没有阿里云接入资源的机房内上云会产生更多费用。如果使用ECX或cross connect,架构图是这样的:
需要注意的是,所有的连接均在equinix机房内。
0x03 费用
费用主要包含以下几个部分:
- 阿里云物理专线端口初装费,一次性交付1500美元
- 端口资源占用费,月费210美元
- 出方向流量费,0.1美元/G,月1元人民币/G
- VBR费用,每个专线实例可创建5个免费VBR实例,还可以创建2个跨账号实例,一般用CEN连接
- 数据中心施工费用,equinix cross connect施工费用月费200美元,此为一次性收费
- 数据中心线路费用,equinix cross connect月费约为272美元
- 运营商线路租用费,如果租用运营商线路,这部分费用需要与运营商的客户经理沟通
具体费用可留意以下文档:
当接入点资源充足时,申请较为简单,如果接入点资源紧张,则需要联系客户经理尝试申请端口资源。如果非必须,建议使用ECX,其次是cross connect。
0x04 物理接入
申请的过程也较为简单,但整体流程所需的时间较长,最快需要2周。首先到阿里云购买端口资源:
稍等一段时间会有客户经理回访,确认无误后会下发LOA(Letter of Agreement),持LOA到equinix申请cross connect施工。equinix一般需要2个工作日完成施工,在提交申请时可以选择接入到我们机柜上Patch Panel特定的一对端口,也可以选择next available。
一般情况下我们都会预留一些从Patch Panel到接入交换机的线路,当需要接入时只需要指定Patch Panel的端口即可,无需再跑机房。
施工完成后即可回到阿里云确认完工,阿里云工程师会配置阿里一侧,同时确认光信号是否正常。
以上是cross connect的步骤,而ECX则有点不同。首先需要在equinix申请1个ECX端口,有了端口就可以选择SDN供应商,有诸如思科、vmware等供应商选择,最后申请接入阿里云即可。但此时链路还没通,还需要到阿里云一侧提交工单,提交连接的信息,只需要unique ID即可,这是一串UUID:
待阿里云工程师完成施工后即可完成ECX连接,但需要注意的是,ECX连接的只是阿里云到ECX交换机,还没有从交换机到机柜的Patch Panel,所以还是得申请cross connect连通ECX交换机与机柜的Patch Panel,最终使用跳线将Patch Panel的端口与网络设备或服务器连接起来。
至此,所有物理的工作均已完成。
0x05 收尾工作
接下来只需要创建VBR即可,如果使用ECX上云,那么阿里云工程师会创建一个VBR;如果使用cross connect,则需要自行创建。每个VBR只支持多个vlan,可通过vlan接入不同云下网络:
当上图中的物理专线接口中配置的两侧IP能互通之后,就可以配置BGP组以及BGP邻居,而阿里云一侧的BGP信息可以从以下地址找到:
阿里云一侧的AS号为:45104,最终结果如下:
所有都配置完成后会发现所有ECS实例均无法访问云下网络,且云下网络也无法访问所有VPC的VSW IP。这是因为还需要配置CEN,也就是云企业网,通过CEN打通VBR与云下网络。
需要注意的是每个VBR只能加入1个CEN实例,如果需要跨账号加入CEN实例则需要申请授权。如果想互联互通,则需要VBR与VPS都加入到同一个CEN实例,而且同地域不同可用区的实例也可以经由CEN实现互联互通且不收费。
需要注意的是:通过CEN实现跨地域互联互通需要收取带宽费,而且价格高昂,但极其稳定。
最后做以下确认工作:
- 云下可以ping通云上的VBR的IP
- 完成路由配置或BGP连接正常且IP段成功宣告
- CEN已成功配置且VBR与VPC均已加入
都确认无误后即可尝试测试云上云下互访。
0x06 结语
整体来说不麻烦,从费用层面来看,混合云架构可以减少一大部分公有云的费用,尤其是对稳定性和可靠性都不高的组件,如:日志收集和日志分析等系统,我们一套ES集群每月就要花费好几千美元。
今年的阿里云物理通道出站流量还没开始收费,不知道明年的情况如何。仔细一想,其实阿里云的物理通道并没有赚钱,因为组建混合云后,他们客户有一部分资源会迁出从而降低云上的消费,最终导致收入减少。当另一方面想想,一旦组建混合云架构,这个客户再也无法脱离阿里云,至少在脱离的时候会很痛苦。