烟台门户网站开发,响应式网站如何做的,移动网站 图片优化,wordpress包邮插件1 OPPO 云网络现状
随着OPPO业务的快速发展#xff0c;OPPO云规模增长迅速。大规模虚拟实例的弹性伸缩、低延时需求对网络提出了诸多挑战。原有基于VLAN搭建的私有网络无法解决这些问题#xff0c;给网络运维和业务的快速上线带来了挑战。
梳理存在的主要问题如下#xf…1 OPPO 云网络现状
随着OPPO业务的快速发展OPPO云规模增长迅速。大规模虚拟实例的弹性伸缩、低延时需求对网络提出了诸多挑战。原有基于VLAN搭建的私有网络无法解决这些问题给网络运维和业务的快速上线带来了挑战。
梳理存在的主要问题如下
1网络缺乏集中的控制系统业务开通以手工配置为主自动开通能力几乎没有为后期维护、升级埋下隐患。
2虚拟网络和物理网络耦合紧密没有做到业务分离。虚拟网络的MAC或者路由会传递到物理设备上对物理设备的二、三层表项的容量提出了很高的要求。虚拟实例大规模扩容后可能会使硬件设备上的路由表项耗尽导致业务无法使用。
3虚拟网络缺乏安全策略已有的安全策略不能很好的管控虚拟网络之间的互访互通网络访问控制机制不健全。
4虚拟网卡带宽无法支持高性能业务。网络的虚拟网卡只支持veth/tap设备网络带宽不高满足不了网络数据密集型业务的需求。
5虚拟网络系统没有实现控制和转发分离控制面故障或者升级会影响业务。
2 虚拟网络选型
分析上述问题的根本原因之后决定选择目前业界主流的SDN网络技术来解决上述网络隔离和运维自动化能力不足的问题选择智能网卡OFFLOAD功能来实现虚拟实例的网络加速选用虚拟私有云(VPC)技术来治理不同用户的业务网络、提高系统的健壮性、安全性。
SDN的数据面采用开源的OVS来实现主要原因是OVS已经在数据中心中大规模应用其转发性能、稳定性和安全性已经得到实践证明其维护成本也相对降低。
VPC控制器、VPC网络接口(CNI)插件、VPC网关、VPC负载均衡(Load Balance)决定采用自研的方式实现虽然社区已经有类似的方案(Neutron/OpenDaylight)但是这些项目都比臃肿侧重于电信业务场景维护成本较高不能直接应用于数据中心互联网业务场景并且和已有的平台系统集成开发工作也比较多。而自研也有很多优点比如新功能开发快速不在依赖社区、定制开发方便、轻量化、性能高、稳定性强。
3 VPC网络方案
整个VPC网络系统架构如下图所示。 图1 VPC网络架构
VPC控制台提供统一业务入口和便捷的界面操作业务操作可视化关键数据存于数据库中便于维护和使用。
VPC SERVER是整个系统的中心对云平台提供高效简洁的业务接口。是整个系统的消息转发枢纽。
FlowEngine是位于计算节点的OVS控制器它采用规则推理的方式计算流表指示OVS如何转发业务报文。FlowEngine与VPC Server一起称作网络的中央中枢。
VPC CNI Agent负责计算节点网卡资源的管理和分配同时对云平台提供了创建、删除等业务接口。它采用智能网卡虚拟化(SR-IOV)技术实现虚拟实例的网络加速。
VPC网关分为东西向的分布式网关和南北向的集中网关提供不同子网的通信解决了集中网关的单点故障问题。南北向的集中网关支持VXLAN隧道实现虚拟网络和物理网络的互通并且支持横向扩展和DPDK加速技术。
VPC LB实现四层负载均衡对外提供业务的高可用方案。
3.1 VPC网络类型
当前VPC网络支持租户网络、公共网络和弹性IP网络。租户网络中虚拟实例之间可以互相访问只能通过VPC网关访问外部网络虚拟实例的IP地址不会发布出去因而不能被外部主机访问。只有绑定上弹性IP才可以对外直接提供服务这种网络特别适合于开发测试环境向生产环境的切换有利于业务的快速发布。
租户网络也可以借助LB网关发布虚拟IP(VIP)路由对外提供业务。
公共网络类似于传统的VLAN网络它的网段会被VPC网关发布到上联设备上直接可以和IDC网络互通。方便部署基础虚拟云平台的监控服务以及公共服务。 图2 VPC业务网络架构
3.2 租户隔离的隧道VXLAN
VPC网络的类型为VXLAN隧道每个子网分配唯一的VXLAN隧道ID同安全组技术一起使用保证不同用户网络的完全隔离解决了业务上云的安全风险。
OVS的数据面转发由本地控制器来控制控制器故障不会影响其他节点的通信和已有隧道业务流的转发。
采用智能网卡的VXLAN卸载功能不会因为VXLAN的性能损耗影响业务转发同时节省了主机的CPU资源。
3.3 VPC隧道封装说明
3.3.1 VXLAN隧道隔离
VPC网络支持虚拟机和容器位于同一个二层网络从网络角度看他们都在同一个VPC子网内。不同节点虚拟实例互访需要借助VXLAN隧道完成。同子网虚拟实例通信报文的VXLAN ID是本子网的ID异子网虚拟实例通信报文的VXLAN ID是目的子网的ID。
虚拟实例访问VPC外部网络需要借助VPC网关VPC网关采用软件实现通过DPDK和高速网卡加速运行在X86服务器上即可。当前也支持第三方VPC网关VPC网关可以通过HTTP API或者BGP-EVPN接口与VPC SERVER交互VXLAN的路由信息。 图3 VXLAN隧道转发示意
3.3.2 VPC 负载均衡
VPC负载均衡采用全NAT方式实现报文封装在VXLAN报文中进行转发。路由和隧道信息由VPC SERVER同步给LB控制器LB控制器负责将路由信息更新到对应的网元。 图4 负载均衡转发示意
从上图可以清楚的看出报文的交互方案LB网元会保持业务的会话session支持轮巡、最小负载优先等调度算法。支持一致性哈希算法无缝迁移业务功能。
LB网元采用DPDK和高速网卡实现报文转发速率(PPS)可以达到800万以上 会话数目可以达到10万以上时延小于1ms。满足互联网及IOT场景高并发业务要求。
3.4 VPC性能指标
VPC虚拟实例透传VF网卡后转发性能可以到 25000Gbit/s。PktGen测试报文转发速率(PPS) 可以达到2400万带宽可以达到25Gbps。带宽和PPS都可以达到虚拟的tap设备的两倍以上同时降低了网络转发的CPU使用率。
VPC租户隔离的特性很好的解决多个租户内百万虚拟实例的快速互访问题。单实例和LB性能的提高了解决了现网中百万节点数据计算的带宽瓶颈。大大提高了系统的业务承载能力。VPC网络技术赋能AI和大数据计算平台。
4 收益与展望
上线运行后VPC架构简化了网络架构提高了网络的安全性、提高了系统的业务承载能力及运维效率为用户带去良好的体验并得到客户的一致赞赏。
VPC版本仍在不断迭代中即将发布的新功能有VPC统一管理容器、虚拟机、逻辑等多种类型的计算实例数据面的高可用OVS流表计算引擎高可用100G最新智能网卡等。
转载 OPPO云VPC网络实践
