图片 5

大规模SDN云计算数据中心组网的架构设计

图片 1

本文首先分析了在大规模SDN数据中心组网中遇到的问题。一方面Underlay底层组网规模受限于设备实际的转发能力和端口密度,单一Spine-leaf的Fabric架构无法满足大规模组网的需求;另一方面在SDN技术实现方案上,Openstack和SDN控制器分别有管理控制能力上的限制。

电子商务平台企业打造一个交易型电商网站,首先必须考虑几个基本要素:用户、电商平台商品、订单信息等,那么要能够支持一个电子商务网站平台打造完整交易过程就需要包括用户信息、商品数据的匹配过程、安全支付过程、商品物流过程、产品售后服务沟通过程等。

图片 2

其次是交易型电商网站建设需要具备高容量、高性能、高并发的特点,能够满足海量互联网电子商务平台用户访问带来的冲击,尤其是各类节假日促销期间带来的巨大的访问量,能够全天候向电商用户提供服务。

本文分别从多POD大规模数据中心的Underlay组网及路由规划,和跨POD互联互通SDN技术实现方案两方面,深入到技术细节,结合网络业务流量模型的实现,阐述了大规模SDN数据中心组网架构。

最后电子商务系统整体架构必须具备足够的弹性,在促销期间能够动态添加资源,应对交易量的爆炸式增长,促销结束后,能够回收闲置的资源。

  1. 大规模SDN数据中心组网需解决问题分析

作为国内外知名的电子商务系统开发服务商,总结一个典型的交易型电子商务网站平台整体数据架构如下图所示:

大规模的SDN数据中心组网需实现几万台服务器作为一个资源池来承载和编排调度。综合考虑Underlay组网以及SDN解决方案的实现,主要有以下三个方面的问题需要解决。

具备以上特色的电子商务平台系统架构在应用场景设计遵循的原则:

在数据中心Underlay组网层面。虽然随着芯片不断的升级换代,数据中心交换机处理转发能力极大提升,但是基于目前的数据中心交换机端口能力,同时考虑到每个机房实际机柜的数目,以及机房间跨机房布线的难易程度,单一的Spine-leaf两层架构组网不能满足上万服务器的承载需求。

1、电商开发应用系统支持水平扩展,采用多机集群的部署方式,数据库采用分库,分表及读写分离的部署方式,同时采用负载均衡及缓存机制,提高并发能力。

例如在一个数据中心组网中,选用目前业界主流厂商成熟的16槽的核心交换机设备为Spine,100G板卡端口密度是20个/板卡,40G板卡端口密度是30个/板卡;选用配置48个万兆6个40G的接入交换机为Leaf。Leaf到Spine全互联,Spine核心数量满配6台,核心交换机各配置2块100G板卡用于连接外部防火墙、专网或专线路由设备等。在满足带宽1:1收敛比的情况下,经计算单一Spine-Leaf架构最多能支持服务器的数量为5760台,不能满足几万台服务器的承载需求。

2、电商商城系统业务平台化,构建不同的电商业务平台,如交易平台、仓储平台、物流平台、支付平台、广告平台等,按业务分库,各业务平台相互独立。

SDN控制器的管理规模和管理范围。SDN控制器管理VSW或者硬件交换机会启用TCP长连接,从占用CPU内存资源,数量过多的被纳管设备将极大地消耗SDN控制器的资源,进而降低控制器的性能,这是SDN控制器管理规模主要限制因素。SDN控制器的管理范围主要受控制器和被纳管设备间的网络时延限制,因此SDN控制器建议本地部署而不建议长距离异地远程管理。目前主流设备厂家在SDN控制器3机集群的情况下,可以管理2000个VSW或者1000个硬件SDN交换机。

3、隔离不同业务类型,核心电商业务与非核心业务分离,保证交易电商系统业务的高优先级,让用户能够快速下单。

云操作系统Openstack的管理能力。Openstack是集中式消息处理机制,所有交互操作会到指令层面进行拆分,而指令并发处理能力低,主要以单进程队列方式进行。比如资源池内同时对100台虚拟机进行操作的场景,交互操作进行指令拆分处理时,因指令并发处理能力差,拆解出的大量指令不得不排队等待执行,Openstack系统此时的交互操作响应效率和及时性都会恶化,影响用户的实际感知。

4、向云架构转型,提供更好的弹性和扩展性,并实现电商网站建设运维的自动化。

Cell技术可以极大地提升Openstack平台的消息处理效率,Nova可以扩展为多个Nova处理节点,每个节点有独立的数据库,采用数据库同步的方式,实现多个nova节点的协同和分布式工作。但是,Openstack系统性能是和企业的实际研发能力密切相关的,目前基于开源Openstack研发的主流厂家产品,管理能力为500台虚拟化Host或者3000台裸金属服务器。

电商商城系统网络架构的设计以满足业务需求为第一出发点。根据业务需求,在电商商城系统网络架构设计时需要考虑以下因素:

  1. 大规模SDN数据中心的多POD组网架构

综合考虑以上电商网站建设设计原则,根据电商系统开发规模及发展阶段的不同,可以采用不同的设计方案。

由于单一Spine-Leaf结构的Underaly网络接入承载能力,Openstack平台的管理能力以及SDN控制器的控制范围、控制规模的限制,因此在大规模SDN数据中心组网时,需要分解成多个单独的Spine-Leaf模块进行部署。模块间通过统一的应用层借助于SDN-DCI技术进行协同,实现整个数据中心资源池的统一管理和编排。每个单独的Spine-leaf模块为一个单独的Fabric,也称为一个POD(Point
of Delivery)。

1、中小型交易电商网站系统架构开发

POD内组网采用标准SDN数据中心架构,每个POD单独的Openstack云操作系统和SDN控制器。根据主流厂家的Openstack云操作系统产品性能指标,限定POD内的裸金属服务器场景下支持服务器数量3000台,虚拟化服务器场景下支持服务器Host主机数量500台。同时根据主流厂商的SDN控制器性能,限定POD内的硬件交换机数量不大于1000台,VSW数量不大于2000台。

在电子商务网站系统的起步阶段,服务器的数量还不是很多,电商平台业务的压力也没有那么大,可以采用如下图所示的二层网络架构:

多POD的大规模SDN数据中心组网,POD内Underlay组网是标准的Spine-Leaf架构。POD内SDN-GW可以和Spine合设也可以旁挂Spine部署,防火墙、负载均衡设备旁挂SDN-GW部署。

数据中心核心部署2台高端交换机,利用IRF2虚拟化技术,虚拟化为一台逻辑设备。数据中心接入层同样采用IRF2虚拟化技术,实现服务器的双网卡捆绑接入。利用IRF2虚拟化技术后,接入层与核心层之间可实现跨设备的链接捆绑,既提高了带宽,又避免了网络环路。电商平台系统服务器的接入带宽可以根据业务的不同选择千兆或万兆接入,对于LVS、图片服务器、站内搜索等业务,推荐使用万兆接入。

目前SDN-GW主要是两台堆叠部署,以便于SDN控制器的统一管理,因此如果POD规模较大,需要两台以上Spine时,不建议SDN-GW和Spine合设,SDN-GW应单独旁挂部署。

由于同一类电商网站平台业务完全有可能部署在不同的接入层交换机下面,此时互访必须经过核心交换机中转,所以接入层的收敛比设计就显得至关重要。如果服务器采用千兆接入,推荐1:1的收敛比,如果服务器采用万兆接入,推荐1:3的收敛比。

为实现POD之间的流量互通,设置东西向流量汇聚核心交换机Core-Spine用于承载跨POD的东西向流量;为实现POD内到外网的互访,设置南北向流量汇聚核心交换机Out-Spine用于承载南北向流量。东西向流量汇聚核心交换机和南北向汇聚核心交换机的数量可以根据实际的POD规模、POD数量和网络收敛比要求灵活计算。POD内Spine到POD间汇聚核心交换机一般是跨机房互联,为提高链路利用率,应采用100G光模块互联。

可以采用VLAN的方式实现不同业务之间的隔离。VLAN最终终结在核心层。这种二层网络架构能够满足向云架构转型的业务需求。虚拟机可以在VLAN内进行迁移。由于是一个大二层网络,LVS服务器集群可以部署为DR模式。受核心交换机的MAC地址表、ARP广播等因素的影响,这种二层架构支持的服务器数量有限,通常建议物理服务器数量在1000台以内时可以采用这种电商平台系统架构。

如果POD间东西向流量规划很大,建议POD内Spine直接上连东西向汇聚交换机。此时的流量模型为,POD间互通流量从POD内Spine去到SDN-GW,SDN-GW解开原有VXLAN封装,再将互通流量导入不同的互联VNI后发回给Spine,最后由Spine发送到东西汇聚交换机。此流量模型下相同业务流量会穿越POD内Spine两次,因此如果流量规划完全在SDN-GW交换机设备的承受范围内,建议由SDN-GW上连东西向汇聚交换机,这样可以减少POD内Spine上的来回穿透流量。

2、大型交易电商商城系统网络架构设计

图片 3

随着电子商务业务的发展,服务器的数量呈现快速增长的态势。此时需要采用新的电商商城系统网络架构以支持更大规模的数据中心,可采用如下图所示的电商网站网络架构:

图1.大规模SDN数据中心多POD组网架构

电商网络平台采用基于POD的设计理念,每个POD由2台汇聚交换机及接入层交换机组成,分别采用虚拟化技术,实现跨设备的链路聚合。每个POD可以支持384台左右的服务器数量。不同的业务电商平台可以部署在不同的POD内。

POD内的SDN数据中心转发控制技术实现方案,可以是Openflow+Netconf也可以是EVPN+Netconf。虚拟机场景推荐使用表项更大更灵活的VSW作为VTEP,从而采用Openflow+Netconf方案。裸金属服务器场景采用硬件SDN接入交换机作为VTEP,可以根据具体网络设备能力情况灵活选择EVPN+Netconf的方案或者Openflow+Netconf的方案。

服务器推荐采用万兆接入,以应对越来越大的并发访问量。接入层推荐1:3的收敛比。在每个POD内,服务器的网关终结在汇聚层交换机。每个POD内是一个二层的网络环境,能够满足服务器虚拟化后虚拟机的迁移需求。汇聚到核心采用三层路由方式部署,可采用OSPF或者BGP路由协议。

在Openflow+Netconf和EVPN+Netconf混合部署的场景,需要在SDN控制器上进行两种控制技术方案的翻译和打通。SDN控制器和SDN-GW建立EVPN邻居,将EVPN控制面的信息翻译成Openflow发送给VSW,将VSW的相关Openflow信息翻译成EVPN控制信息发送给硬件SDN交换机。从而控制实现在VSW和硬件SDN交换机之间建立VXLAN隧道和转发数据。

核心层支持横向扩展,可以扩展到4台,6台,8台……以支持更大规模的网络。电子商务平台新业务的发展总是会超出网络规划的能力,所以,不排除同一类业务会跨不同的POD部署,同时不同电子商务网站业务之间的互访流量也会日益增大,所以汇聚层到核心层的收敛比设计就显得相当重要。在业务前期,汇聚层到核心层不一定要采用1:1的收敛比,但必须具备扩容到1:1收敛的能力。负载均衡服务继续使用LVS集群,由于整个电子商务网站系统网络已经演变为三层组网模型,建议LVS集群工作在Full-NAT模式。为了提高用户体验,可以建设CDN网络为网站加速。

POD间互联的方案将完全借鉴SDN-DCI的相关技术,采用EVPN+VXLAN的技术。POD内的SDN-GW将同时作为DCI-GW,与不同POD的SDN-GW间建立EVPN邻居,在统一的协同层的控制下实现跨POD流量的互通。

CDN节点尽量部署在离用户近的位置。在数据中心商城系统建设方面,开始采用多活数据中心的部署模式,以提高电商业务的可靠性。随着多个数据中心的建设,数据中心之间需要进行互联以进行数据的同步,可以采用路由器,通过专线或者VPN的方式实现和其他数据中心的互联。

共享分布式块存储、分布式文件存储、分布式对象存储可以单独规划组成存储POD。访问存储POD的流量在SDN-GW解开VXLAN封装以后走Underaly网络路由转发达到存储POD。在POD内配置单独的VRF用于隔离访问存储的流量和其他业务流量。存储POD有访问外网需求的,存储汇聚交换机规划上连南北汇聚交换机。FC
SAN存储建议直接部署在各POD内。

3、跟上云计算时代脚步的电商系统架构搭建

图片 4

随着业务的发展,电子商务网站系统开始全面过渡到云架构,并且开始大量使用大数据技术对用户的交易行为,电商平台系统商品的受欢迎程度等进行大数据分析。云计算和大数据对电子商务网络平台提出了新的需求:

图2.存储POD网络规划图

1、电商网站网络必须是一个“大二层”的网络,满足虚拟机灵活迁移的需求;

  1. 大规模SDN数据中心Underlay组网及路由规划

2、电商系统网络必须满足云计算平台自动化部署、端到端交付的业务需求;

多POD的大规模数据中心的Underlay组网,网络内网络设备数量众多,按每POD内500台网络设备数量计算,10个POD组网网络设备将超过5000台,因此如何规划好Underlay层面的路由配置,对大规模数据中心网络的高性能转发非常重要。

3、电商平台网络必须满足云计算环境下业务资源灵活部署,资源灵活调配的需求

普通数据中心场景IGP路由主要是以OSPF路由为主,OSPF路由技术成熟,网络建设运维人员使用经验丰富。使用OSPF作为大规模数据中心组网的IGP路由协议,各POD应划分为不同的Area区域,东西汇聚交换机作为骨干区域Area0,以减少LSA的传播区域和传播数量。各POD内SDN-GW作为OSPF区域边界网络设备,将不同接口划入不同的区域,上连东西汇聚交换机接口划入Area0,下连POD内Spine接口划入各POD单独Area。南北汇聚交换机一般工作在二层透传模式,三层终结在外网防火墙,因此南北汇聚交换机可不运行路由协议。

这些云计算、虚拟化、大数据等技术带来的挑战,不再是简单地由电子商务平台网络进行业务部署,而是转变成了业务驱动网络、网络随业务而变、网络支撑用户业务。SDN架构正好可以满足这些要求。

图片 5