布景

2017年，，，，，工业和信息化部颁布了《推动互联网和谈第六版（IPv6）规模部署行动打算》的通知，，，，，从国度层面推动下一代IP技术——IPv6的遍及和利用。。。。。。。指标到2020岁暮，，，，，IPv6活跃用户数超过5亿，，，，，在互联网用户中的占比超过50%，，，，，新增网络地址不再使用私有IPv4地址。。。。。。。这就要求从互联网利用、网络基础设施、利用基础设施和网络安全等各个维度推动IPv6的刷新和建设。。。。。。。

互联网业务的IPv6刷新不会一挥而就，，，，，这还受限终端及运营商网络的IPv6能力，，，，，所以IPv4业务和IPv6业务并存将会持续很长功夫。。。。。。。而数据中心作为利用基础设施的沉要部门，，，，，必要同时支持IPv4业务和IPv6业务，，，，，双栈部署是最沉要的技术伎俩。。。。。。。今天就跟各人聊聊数据中心IPv4/IPv6网络双栈架构的一些实际。。。。。。。双栈部署涉及好多方面，，，，，由于受限文章长度，，，，，本次重要聚焦IPv6组网下的PXE装机及IPv6服务器双归冗余架构的实现。。。。。。。

在发展具体分析之前，，，，，先带各人先回首IPv6地址分类（含规划建议）和IPv6地址的分配准则，，，，，援手各人更好的理解本文内容。。。。。。。

 

IPv6地址分类及规划建议

数据中心基础网络重要使用IPv6单播地址，，，，，涉及服务器业务地址、服务器治理地址、互换机互联地址、互换机治理地址的分配。。。。。。。

IPv6单播地址可分为全球单播地址、唯一本地地址以及链路本地地址，，，，，如下图所示。。。。。。。

 

▲图一 IPv6单播地址分类

 

• 服务器业务地址、服务器治理地址以及互换机治理地址建议选取唯一本地地址，，，，，并使用64位掩码长度。。。。。。。

1、空间大：

（1）64位掩码空间占有2,814,749亿个地址空间。。。。。。。

2、节俭互换机硬件表项：

（1）互换机用于存放表项的硬件资源极度有限；；；；；；

（2）64位掩码的网段路由相比128位掩码的主机路由，，，，，必要更幼的匹配域（源IP、主张IP），，，，，亏损更少的硬件资源。。。。。。。

使用64位掩码的网段也会带来一些幼问题，，，，，我会在IPv6服务器双归冗余架构章节具体介绍。。。。。。。

• 互换机互联地址建议使用唯一本地地址。。。。。。。

1、唯一本地地址空间足够大，，，，，这个上面已注明；；；；；；

2、OSPF、BGP等路由和谈对链路本地地址的支持还不够成熟。。。。。。。

 

IPv6地址分配准则

如下图所示，，，，，IPv6地址分配方式可分为手工配置和自动配置，，，，，自动配置又分为有状态地址自动分配（DHCPv6）以及无状态地址自动分配。。。。。。。

 

▲图二 IPv6地址配置方式

 

有状态地址分配方式和DHCPv4类似，，，，，依赖DHCPv6和谈从DHCPv6 Server的地址池中获取可用的IPv6地址，，，，，而无状态地址自动配置脱节了复杂的DHCPv6和谈，，，，，依赖ND（Neighbor Discovery，，，，，邻居发现）和谈即可实现地址自动配置。。。。。。。下图是服务器无状态地址自动配置的过程：

 

▲图三 无状态地址自动配置过程

 

• 服务器自动发送RS（Router Solicitation，，，，，路由器要求）报文，，，，，RS报文的源IP是服务器的Link-local地址，，，，，主张IP是组播IP；；；；；；

• 互换机收到RS报文后，，，，，进行RA（Router Advertisement，，，，，路由器布告）报文的封装及发送，，，，，源IP是网关的Link-local地址，，，，，主张IP是组播IP。。。。。。。必要沉点关注的是RA报文的M标志位以及O标志位，，，，，M标志位的值为0，，，，，服务器才会走无状态地址配置流程；；；；；；

• 服务器收到RA报文后，，，，，会将RA报文的源IP设置为默认网关，，，，，并解析RA报文的M、O标志位，，，，，若是M标志位为0则解析RA报文携带的路由前缀内容，，，，，接口ID使用EUI-64体式天生。。。。。。。

RA报文中M以及O标志位的具体寓意如下：

• M：治理地址标志位（Managed Address Configuration)。。。。。。。
1、置0暗示无状态地址分配，，，，，客户通过无状态和谈获取IPv6地址；；；；；；

2、置1暗示有状态地址分配，，，，，客户端通过有状态和谈（DHCPv6）获取IPv6地址。。。。。。。

• O：其他状态标志位（Other stateful Configuration）。。。。。。。
1、置0暗示客户端通过无状态获取除地址表的其他配相信息；；；；；；

2、置1暗示客户端通过有状态获取其他配相信息（如DNS、SIP服务器等）；；；；；；
若M标志位为1，，，，，则O标志位也必须为1。。。。。。。

相迸仔状态地址自动配置，，，，，无状态地址自动配置的优势如下：

• 真正的即插即用

主机衔接到一个没有DHCP服务器的网络时，，，，，毋庸手动配置地址等参数即可接见网络；；；；；；

• 网络迁徙方便

当一个站点的网络前缀产生变动时，，，，，主机可能方便地进行沉新编址而不影响网络衔接；；；；；；

• 降低网络复杂度

不必要部署独立的DHCPv6服务器，，，，，所以简化了网络规划及运维难度；；；；；；

• 提高网络靠得住性

服务器地址获取不依赖集中的DHCPv6服务器，，，，，从而提高整体的靠得住性。。。。。。。

 

IPv6服务器PXE装机方式

在数据中心内部，，，，，服务器装机是必不成少的环节，，，，，传统的PXE（Preboot Execute Environment，，，，，预启动执行环境）装机流程如下：

▲图四 传统PXE装机示意图

 

整体分两个阶段：

• PXE阶段：

服务器必要通过DHCP和谈获得配相信息，，，，，蕴含IP地址，，，，，默认网关以及File Server地址。。。。。。。

• 装置阶段：

服务器要求File Server的软件镜像以及配相信息，，，，，下载实现后通过内嵌装机软件，，，，，实现系统装置，，，，，配置下发等一系列作为。。。。。。。

对比IPv4的PXE装机流程，，，，，有状态地址自动配置环境下的IPv6服务器装机变得越发复杂。。。。。。。

当然你能够持续沿用现有的IPv4网络对IPv6服务器进行装机，，，，，不外思考到最终要演进到IPv6 only，，，，，IPv6装机是必不成少的。。。。。。。下面具体论述有状态地址自动配置环境下IPv6服务器装机复杂在哪里？？？？？？？

 

▲图五 IPv6有状态PXE装机

 

有状态地址自动配置环境下的IPv6 PXE装机也分为两个大阶段：

• PXE阶段：

1、服务器必要通过ND（Neighbor Discovery，，，，，邻居发现）和谈或者DHCPv6和谈获取IP地址；；；；；；

2、通过ND和谈实现服务器的“默认网关”配置；；；；；；

3、通过DHCPv6 实现File Server地址配置。。。。。。。

• 装置阶段：

拿到File Server地址配置后，，，，，通过TFTP或者FTP下载镜像以及配相信息，，，，，通过内嵌装机软件实现系统装置。。。。。。。

IPv6服务器PXE装机的复杂重要体此刻必要同时依赖ND和谈及DHCPv6的有状态地址自动配置两种技术。。。。。。。

• 必须依赖ND和谈获取默认网关的有关配置

1、默认网关信息必须依赖ND和谈的RA新闻：

（1）RA新闻的源IP（默认是网关的Link-local地址）是下联服务器的默认网关。。。。。。。

2、必须通过RA新闻中O标志位获取DHCPv6 Server信息。。。。。。。

• 必要依赖DHCPv6服务器获取File Server地址等信息

服务器必须向DHCPv6 server获取File server地址以及DNS等信息。。。。。。。

从上面的过程不难看出，，，，，ND和谈是对于IPv6主机是必不成少的组件，，，，，所以要降低IPv6服务器PXE装机的复杂度，，，，，只能设法子实现去掉DHCPv6和谈。。。。。。。

深刻分析有状态PXE装机规划，，，，，只必要解除通过DHCPv6获取File Server地址配置这一个限度即可。。。。。。。具体就是通过RA+DNS的方式实现，，，，，这个规划我们称之为无状态地址装机规划。。。。。。。

• 界说RA新闻的URL Option扩大属性，，，，，携带File Server的域名；；；；；；

• 主机通过RA新闻获得DNS 服务器地址（DNS服务器地址手工配置在互换机）；；；；；；

• 通过DNS域名解析，，，，，获得File Server的地址。。。。。。。

基于无状态地址自动配置的IPv6服务器PXE装机整体流程如下图所示：

 

▲图六 IPv6无状态PXE规划

 

服务器发送RS报文要求，，，，，互换机应答RA（哑终端则期待设备定期发送RA），，，，，服务器凭据RA报文实现自动配置，，，，，蕴含：IP地址、默认网关、DNS Server、以及File Server的URL；；；；；；

• 服务器获取地址后，，，，，发送DAD报文进行地址矛盾检测；；；；；；

• 服务器发送NS报文要求网关ND，，，，，互换机通过NS报文进建服务器ND信息，，，，，并发送NA应答；；；；；；

• 服务器向DNS Server发送域名解析URL要求，，，，，而后从File Server下载bootfile，，，，，执行装机。。。。。。。

显然基于无状态地址的IPv6 PXE装机规划去掉了繁沉的DHCPv6和谈，，，，，不必要额表亏损DHCP Server资源，，，，，更单一、更轻量，，，，，也简化了网络的规划。。。。。。。有状态的DHCPv6装机规划，，，，，地址池的推算、治理全数在DHCPv6服务器端，，，，，这种方式犯错成本很高，，，，，即DHCP服务器的地址池守护分配若是出现问题，，，，，整个集群的服务器PXE装机城市受影响，，，，，而无状态地址装机则更为单一，，，，，单一意味着靠得住和不变。。。。。。。

 

IPv6服务器双归冗余架构

在聊IPv6服务器双归冗余架构之前，，，，，我们先看看IDC双栈规划的整体组网架构。。。。。。。

 

▲图七 IDC双栈规划架构示意图

 

• 接入、汇聚、主题互换机之间成立双栈EBGP邻居；；；；；；

• 直连端口配置双栈地址，，，，，IPv4 的BGP Session承载IPv4路由，，，，，IPv6 的BGP session承载IPv6路由；；；；；；

• 服务器上行双归到接入互换机，，，，，两台接入互换机为一组，，，，，接入互换机实现去堆叠规划（类似IPv4下的去堆叠，，，，，具体拜见【第六期】若何实现数据中心网络架构“去”堆叠。。。。。。。

IPv6服务器双归冗余架构就是IPv6环境下的接入互换机去堆叠，，，，，与IPv4下的去堆叠组网指标一致，，，，，但是具体细节上又有好多的分歧。。。。。。。

• 广播风暴抑造

1、在IPv6的去堆叠规划中，，，，，最沉要的是预防广播风暴，，，，，必要在接入互换机下联口开启风暴抑造职能；；；；；；

2、IPv4场景组要指定隔离广播、组播、未知单播报文；；；；；；

3、IPv6取缔广播的概想，，，，，只需隔离组播报文。。。。。。。

• 二层隔离+网关代答

1、IPv4在二层隔离的场景下，，，，，同子网内主机的互通选取ARP Proxy规划，，，，，即ARP代答，，，，，对于主机ARP要求的任何IP地址都应答网关的MAC地址；；；；；；

2、IPv6在二层隔离的场景下，，，，，同子网内主机的互通有两种规划：

（1）部署ND Proxy来实现代答，，，，，类似IPv4的ARP Proxy规划；；；；；；

（2）通过RA新闻（L-bit）标识置为0，，，，，公告下连地址段前缀为“off-link”，，，，，即非直连网段，，，，，所有报文的转发都必须通过网关。。。。。。。

 

ND Proxy规划详解

ND Proxy规划的复杂度在互换机侧，，，，，不依赖于服务器的和谈栈。。。。。。。

互换机必要实现同网段通讯走三层转发。。。。。。。即互换机对服务器发出所有NS要求，，，，，都以网关的MAC地址进行应答，，，，，并在硬件出方向不转发服务器的NS报文，，，，，蕴含主张服务器和源服务器是同网段。。。。。。。

ND-Proxy网关代答具体流程如下图：

 

▲图八 ND-proxy代答时序图

 

• 服务器S1自动发NS报文来获取服务器S2的MAC地址；；；；；；

• 互换机配置了ND Proxy，，，，，所以NS报文直接被上送到CPU，，，，，判断本机是否存在S2的ND表项，，，，，若是存在则直接代答NA报文；；；；；；

• 若是不存在S2的ND表项，，，，，为了确保S2当前是真切实线的，，，，，互换机CPU会自动发源IP是网关IP、主张IP是服务器S2的NS报文；；；；；；

• S2收到NS后应答NA报文，，，，，互换机收到S2的NA报文后在本地天生S2的ND表项并代答NA报文给S1；；；；；；

• 若是S2产生故障或者不在线，，，，，则网关不会代答NA报文给服务器S1，，，，，不然会造成黑洞丢包。。。。。。。

设置硬件出方向不转发NS报文的原因是预防ND表项泄露。。。。。。。

这个问题跟IPv4场景的去堆叠场景类似，，，，，若是不做出方向ARP报文的抑造会导致ARP泄露，，，，，从而导致服务器双挂变单挂的故障场景下，，，，，部门业务流会一向断流。。。。。。。

 

▲图九 Server1双挂变单挂示意图

 

如上图所示，，，，，若是不做ARP或者ND在出方向的抑造，，，，，当广播风暴抑造不生效时，，，，，S2会学到S1的ARP以及ND纪录，，，，，则S2发往S1的报文封装的MAC地址是S1的真实MAC地址，，，，，而不是网关的MAC地址，，，，，当S1产生单上联口故障时，，，，，S2到S1走互换机-1的流量会被全数抛弃。。。。。。。

接入互换机硬件出方向利用ARP抑造齐全没问题，，，，，但是出方向利用NS抑造会带来新问题，，，，，即统一台接入互换机下其他服务器无法收到DAD报文，，，，，导致DAD（Duplicate Address Detection，，，，，沉复地址检测）检测失效。。。。。。。为解决此问题，，，，，互换机必要实现DAD报文进建ND的职能。。。。。。。流程如下图所示：

 

▲图十 DAD报文进建ND流程图

 

• 当互换机收到DAD报文时，，，，，会查看本机是否存在要求主张地址的ND表项；；；；；；

• 若是没有则创建ND表项，，，，，并把ND状态置为Stale；；；；；；

• 若是存在ND表项，，，，，则比力DAD报文的源MAC和该ND表项的MAC；；；；；；

• 若是MAC分歧，，，，，则注明检测到沉复地址，，，，，发送NA报文通知发送端IP地址沉复，，，，，IP地址不成用。。。。。。。

 

L-bit网关代答规划详解

基于L-bit的网关代答规划，，，，，通过RA报文中携带指定Prefix的off-link属性，，，，，使下联主机对与该Prefix同网段的通讯要求，，，，，必须先经过网关。。。。。。。L-bit规划依赖服务器主机的和谈栈行为，，，，，不是所有的服务器OS都天然支持。。。。。。。

L-bit网关代答规划的具体道理如下：

• 互换机上关关RA抑造职能；；；；；；

• 周期性公告RA新闻给直连服务器，，，，，互换机配置指定前缀的On-link Flag为0；；；；；；

• 主机收到RA后，，，，，通过解析指定前缀的On-link-flag是否为0；；；；；；

• 若是On-link-flag为0，，，，，则暗示到此前缀的所有流量直接发给默认网关;

服务器同时通过解析RA报文获取默认网关IP，，，，，并查问ND表项，，，，，发往此前缀的所有流量的主张MAC会被封装成默认网关MAC。。。。。。。

单一对比ND-Proxy以及L-bit这两种网关代答规划：

 

▲表一 两种网关代答规划曲直对比

 

显然在服务器OS满足要求的前提下，，，，，L-bit规划更好。。。。。。。不外网络无法对业务服务器灌装版本做严格的要求，，，，，所以建议选取ND-Proxy规划、L-bit规划同时开启。。。。。。。若是服务器OS支持L-bit能力，，，，，则不会走到ND-Proxy的代答流程；；；；；；若是服务器OS不支持L-bit，，，，，互换机的ND-proxy职能能够保障代答转发。。。。。。。

在第一章节讲IPv6地址规划时，，，，，我们遗留了一个问题，，，，，即选取64位掩码长度网段的问题，，，，，其实这也不算是问题，，，，，只是在服务器双归部署时，，，，，必要进行一些特殊的处置，，，，，这就牵扯到一个沉要的个性——ND指定前缀转路由。。。。。。。

在理解ND指定前缀转路由概想之前，，，，，我们先要讲一下关于去堆叠场景ARP/ND转主机路由的需要。。。。。。。若是一组接入互换机各自颁布一样的主机网段路由，，，，，那么当其中一台接入互换机与某台主机的上行链路故障时，，，，，接见这台主机的流量可能会迷失一半的流量。。。。。。。只有把ARP/ND转成主机路由，，，，，面对上面的问题，，，，，接入互换机在发现下行衔接某个主机的链路故障时，，，，，它会急剧撤销其对应的主机路由，，，，，就不会产生断流问题了。。。。。。。这里面的关键就在于ARP/ND天生的主机路由是若何占用硬件表项的？？？？？？？

 

• IPv4环境：

1、接入互换机遇把ARP转成32位长度的主机路由；；；；；；

2、IPv4主机路由表项是复用ARP硬件表项资源的；；；；；；

3、所以并没有由于天生主机路由占用双份的资源。。。。。。。

• IPv6环境：
1、ND转成的主机路由算是网段路由，，，，，占用互换机ALPM表项；；；；；；

2、ND自身占用的是L3_entry表项；；；；；；

3、ND转成的主机路由与ND表项不复用；；；；；；

若是直接把ND转成对应128位长度的主机路由，，，，，一条128位的主机路由在ALPM硬件资源中必要占用两个表项（210 bit），，，，，对于正本就严重的APLM硬件资源就是极大的浪费。。。。。。。

所以，，，，，在IPv6服务器双归冗余架构下，，，，，为了最大化节约互换机ALPM硬件表项的资源，，，，，必要压缩ND转成的主机路由长度，，，，，指定ND转成主机路由的前缀长度，，，，，这就是ND指定前缀转路由。。。。。。。而64位掩码长度是最优的选择，，，，，由于64位掩码长度的网络路由在ALPM硬件资源中只占用一条表项（105 bit）。。。。。。。这也就是在第一章讲IPv6地址规划时，，，，，为什么建议选取64位掩码长度的原因。。。。。。。

下面我们举个例子来注明。。。。。。。

如果终端的IPv6地址为fc00:1:1010:35::1124，，，，，依照统一的64位网段规划，，，，，接入互换机学到ND后转fc00:1:1010:35::1124/64网络路由，，，，，依照下联48台服务器，，，，，每台服务器1虚30的能力来推算，，，，，直连ND表项的数量为48*30 = 1440个，，，，，只占ALPM表容量的1%左右（以Broadcom Trident3估算），，，，，如果一个POD有30组接入互换机，，，，，那么每台接入互换机上从网络学到ND转成64位掩码长度的网络路由会占用了29 * 1% = 29%的ALPM硬件资源，，，，，设想下，，，，，若是不压缩ND转成的主机路由长度，，，，，那么从网络学到的128位主机路由就会很等闲的用掉58%的ALPM硬件资源。。。。。。。

 

总 结

本文沉点针对IPv4/IPv6双栈环境下的地址规划、PXE装机及服务器双归部署进行了单一的会商。。。。。。。总结起来，，，，，由于IPv6有关和谈及地址长度的变动，，，，，再叠加原有的IPv4，，，，，IPv4/IPv6双栈架构对网络运维、网络安全，，，，，以及互换机硬件表项都带来不幼的挑战，，，，，部署双栈后若何应对这些挑战，，，，，后面会持续跟各人分享。。。。。。。

附专业术语诠释：

 

本期作者：陈冬林

全发国际网络互联网系统部行业征询

 

往期杰出回首  

• 【第一期】浅谈物联网技术之通讯和谈的纷争
• 【第二期】若何通过网络遥测（Network Telemetry）技术实现精密化网络运维？？？？？？？
• 【第三期】畅谈数据中心网络运维自动化
• 【第四期】基于Rogue AP反造的无线安全技术探求
• 【第五期】流量可视化之ERSPAN的前世今生
• 【第六期】若何实现数据中心网络架构“去”堆叠
• 【第七期】运维可视化之INT职能详解
• 【第八期】浅析RDMA网络下MMU水线设置
• 【第九期】第七代无线技术802.11ax详解
• 【第十期】数据中心自动化运维技术索求之互换机零配置上线
• 【第十一期】 浅谈数据中心100G光？？？？？？？
• 【第十二期】数据中心网络等价多蹊径（ECMP）技术利用钻研
• 【第十三期】若何为RDMA构建无损网络
• 【第十四期】基于EVPN的散布式VXLAN实现规划
• 【第十五期】数据中心自动化运维技术索求之NETCONF
• 【第十六期】一文读懂网络界新贵Segment Routing技术化繁为简的奥秘
• 【第十七期】浅谈UWB（超宽带）室内定位技术
• 【第十八期】PoE以太网供电技术详解
• 【第十九期】机框式主题互换机硬件架构演进
• 【第二十期】 IPv6基础篇（上）——地址与报文体式
• 【第二十一期】IPv6系列基础篇（下）——邻居发现和谈NDP
• 【第二十二期】IPv6系列安全篇——SAVI技术解析
• 【第二十三期】IPv6系列安全篇——园区网IPv6的接入安全战术
• 【第二十四期】Wi-Fi 6真的很“6”（概述篇）——不只是更高的传输速度
• 【第二十五期】 Wi-Fi 6真的很“6”（技术篇） ——前方高能，，，，，幼白慎入

有关推荐：

• IPv6系列基础篇（上）——地址与报文体式
• IPv6系列基础篇（下）——邻居发现和谈NDP
• IPv6系列安全篇——SAVI技术解析
• IPv6系列安全篇——园区网IPv6的接入安全战术