SDN私享汇（十一）：OvS 架构介绍及开发实践
Openvswitch是一个优秀的开源软件交换机，支持主流的交换机功能，比如二层交换、网络隔离、QoS、流量监控等，而其最大的特点就是支持openflow，openflow定义了灵活的数据包处理规范。其所支持的所有协议如STP/LACP/BOND等最后都是落脚到流表。 同时OvS 提供ofproto dpif 编程接口，支持硬件交换机（后面有介绍）。http://img1.sdnlab.com/wp-content/uploads/2017/06/SDN-share-OVS-11-668x400.jpg
OvS丰富的功能和稳定性使得其被部署在各种生产环境中，加上云计算的快速发展，OvS成为了云网络里的关键组件。一、OvS 在SDN网络中的位置OvS通过openflow流表可以实现各种网络功能，并且通过openflow protocol可以方便的实现控制+转发分离的SDN方案。 OvS 在云环境中概图（图片来源互联网）如下
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-1.png
二、OvS 各组件关系
ovs-vswitchd：主要模块，实现内核datapath upcall 处理以及ofproto 查表，同时是dpdk datapath处理程序。
ovsdb-server：数据库服务程序, 使用目前普遍认可的ovsdb 协议。
ovs-vsctl：网桥、接口等的创建、删除、设置、查询等。
ovs-dpctl：配置vswitch内核模块
ovs-appctl：发送命令消息到ovs-vswithchd, 查看不同模块状态
ovs-ofctl：下发流表信息。该命令可以配置其他openflow 交换机（采用openflow 协议）
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-2.png三、OvS datapath以及查找算法 OvS 支持内核datapath以及dpdk datapath。在两种datapath模式中，内核模块和ovs-vswithd是主要的处理程序。同时两种datapath 前两级的查表实现不同，但是第三级都使用相同的ofproto 查询（这里我们只做简单介绍）。 一直以来，流Cache是提高查表性能的有效手段，已经被广泛应用于报文查表加速。它将数据平面的转发路径分为快速路径（即流Cache）和慢速路径，利用流量局部特性，使得大部分报文命中快速路径中的表项，从而提高转发性能。OVS也采用了流Cache设计思路。 OVS当前版本kernel datapath采用Megaflow Cache+Microflow Cache的流Cache组织形式，仍保留了Microflow Cache作为一级Cache，即报文进入后首先查这一级Cache。只不过这个Microflow Cache含义与原来的Microflow Cache不同。原来的Microflow Cache是一个实际存在的精确Hash表，但是最新版本中的Microflow Cache不是一个表，而是一个索引值，指向的是最近一次查Megaflow Cache表项。那么报文的首次查表就不需要进行线性地链式搜索，可直接对应到其中一张Megaflow的元组表。SDNLAB已经有文章对此进行了详细分析，见http://www.sdnlab.com/15713.htmlOVS + DPDK 查找算法和kernel datapath 查找有所不同，OVS DPDK查找详见 https://software.intel.com/en-us/articles/ovs-dpdk-datapath-classifier四、OvS 代码架构 http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-3.png
ovsdb-server 接收配置信息，同步到ovs-vswithd ，同时获取ovs-vswithd 状态信息。ovs-vswitchd ovsdb-server读取数据库信息，并将信息下发到ofproto，同时ovs-vswithd也会将ofproto中的status and statistical信息通过ovsdb-server写入到数据库中。ofproto通过网络和OpenFlow 控制器通信。通过"ofproto provider”和软件交换机以及硬件交换机通信。目前openvswitch只支持ofproto-dpif，但是用户可以很容易的实现其他ofprotoproviderofprotoprovider 支持两种dpif，ofproto-dpif 实现自己的数据结构，但是对上层呈现为ofproto结构体，其具体实现细节对上不可见。netdev 对网络设备（如Ethernet）的抽象，该层基于netdev provider实现。如果linux平台的system，tap，internal，以及dpdk的dpdk，dpdkr，dpdkvhostuser，dpdkvhostuserclient等。创建ovs bridge流程分析：1.通过ovs-vsctl 创建网桥，将创建参数发送给ovsdb-server，ovsdb-server将数据写入数据库。2.ovs-vswitchd从ovsdb-server中读取创建网桥的信息，在ovs-vswithd层创建一个bridge结构体信息3.然后将brdige信息应用到ofproto层，在ofproto层通过ofproto_create创建网桥，ofproto_create通过用户指定的网桥类型查找包含该类型的ofproto provider(目前只支持一个ofproto provider)。
查找后创建ofproto结构体(该结构体也表示一个bridge)，并通过ofproto provider 构造函数创建ofproto provider的私有信息。4.ofproto-dpif 层，构造函数完成如下：ofproto-dpif会为相同类型的ofproto创建一个backer结构体，所有类型的ofproto的backer使用全局列表表示。ofproto-dpif通过backer关联dpif。同时backer关联upcall处理线程
netdev没有实现upcall注册函数，所以对应的backer线程实际上不做任何处理，但依然会有该处理线程。netlink 通过backer启动的线程实现处理upcall数据包的处理。vswitchd是ovs中最核心的组件，openflow的相关逻辑都在vswitchd里实现，一般来说ovs分为datapath, vswitchd以及ovsdb三个部分，datapath一般是和具体是数据面平台相关的，比如白盒交换机，或者linux内核等。ovsdb用于存储vswitch本身的配置信息，比如端口，拓扑，规则等。vswitchd本身是分层的结构，最上层daemon主要用于和ovsdb通信，做配置的下发和更新等，中间层ofproto，用于和openflow控制器通信，以及通过ofproto_class暴露了ofproto provider接口，不同平台上openflow的具体实现就通过ofproto_class统一。Open vSwitch实现了两种dpif。lib/dpif-netlink.c 特定Linux实现的dpif，该dpif与Open vSwith实现的内核模块通信。内核模块执行所有的交换工作，将内核态不匹配的数据包发送到用户态。dpif封装调用内核接口。lib/dpif-netdev.c 是一种通用的 dpif 实现。该dpif就是Open vSwith在用户态的实现。数据包的交换不会进入内核。struct dpif_class是datapath interface实现的工厂接口类，用于和实际的datapath, e.g. openvswitch.ko, 或者userspace datapath交互。目前已有的两个dpif的实现是dpif-netlink和dpif-netdev，前者是基于内核datapath的dpif实现，后者基于用户态datapath。代码可以在lib/dpif-netlink.c以及lib/dpif-netdev.c里找到。五、OvS 开发实践贡献代码之前开发OvS 代码之前，我们需要了解如下信息
1.邮件列表，所有的邮件列表：我们一般使用discuss作为平时问题的讨论，dev作为提patch。https://mail.openvswitch.org/mailman/listinfo2.编码风格，如果你为OvS用户态程序提供的patch，那么你需要遵循用户态编码风格。如果你是为内核datapath 编写的patch 你需要遵循内核编码风格。这两种是不同的风格。http://docs.openvswitch.org/en/latest/internals/contributing/coding-style/3.Commit Message，在提交代码时，尽量把你遇到的问题，复现方法以及你的patch如何解决该问题的等， 描写的详尽。这不仅能够让其他人更好的理解，同时缩短接收patch时间，国内外有时差。4.patchwork 在这里，你能够看到其他人提交的patch，同时每个patch 处于什么状态。http://patchwork.ozlabs.org/project/openvswitch/list/六、OvS 开发实践之二层网络功能OvS 支持各种二层网络功能，比如LACP，STP，RSTP，MAC 学习，MCAST等，如果这些协议出现问题，可以通过如下的开发过程，定位，开发。ovs-vswithd 结构分析，开发OvS 最重要的就是分析ovs-vswithdOvS 模块的初始化
主要是模块使用的数据结构体的初始化非协议，如lacp、bond、cfm、stp、rstp都在bridge_init调用初始化
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-4.png
ovs-vswithd 循环处理架构
这里只是列出的基本重要的架构，其他部分读者可以进一步分析
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-5.pngbridge_run__ 循环处理一些必要的操作，如stp、rstp、mcast处理等，同时ovs-ofctl 下发openflow，也是在这里处理。bridge_reconfigure 主要完成根据数据以及当前进程信息，创建、更新、删除必要的网桥、接口、端口以及其他协议的配置等。最终这些操作为应用到ofproto 层、ofproto dpif 层、run_stats_update、run_status_update、run_system_stats 更新openvswitch数据库状态信息netdev_run netdev_linux_run监控网卡状态并更新。以STP 某个功能为例，例如之前的一个bug，OvS 不会检查stp port 所处的状态。如果已经加入的port 开启的stp功能，用户使用ifconfig 禁止网卡状态，那么理论上OvS 应该停止通过该端口发送数据包括BPDU。但是OvS 并没有做这方便的检查。同时如果ifconfig up了该网卡，那么重新进入stp 状态，以及stp 各个状态的改变。社区最后接收了该bug的修复，patch 如下：https://github.com/openvswitch/ovs/commit/52182c5f50198d0f985b10677e47a9ac49ee709b添加链路状态监测函数：
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-6.png
在必要的地方调用
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-7.png
该补丁，在bridge_run__ stp_run中调用状态检查，并根据port 状态对stp进行响应的处理。（网卡状态的更新检查统一在netdev_run中尽心，这里我们使用最后的检查的结果做判断）同时该补丁也bridge_reconfigure bridge_configure_spanning_tree设置port时调用该函数。如果是对其他协议的bug，修复过程其实类似。七、OvS 开发实践之unixctlovs-vswithd 支持ovs-appctl 很多命令，通过该方式，我们可以开发很多有用的功能，如查看ovs-vswithd 运行状态，数据包处理状态，内存使用情况，PMD线程情况。OvS unixctl的初始化
在ovs-vswithd 初始化的时候通过unixctl_server_create函数创建unixctl 服务。命令ovs-appctl和注册的服务通信。OvS unixctl 命令注册
我们可以通过unixctl_command_register 注册unixctl 提供个命令服务，如ovs-vswithd 退出函数 unixctl_command_register("exit", "", 0, 0, ovs_vswitchd_exit, &exiting)OvS unixctl 命令运行
ovs-vswithd 在循环中通过调用unixctl_server_run 执行用户下发的命令。前段时间开发的rstp/show 命令，该命令能够查看rstp 协议在各个交换机中的状态，显示格式和思科交换机类似。在开发该功能时考虑如下 :
1.使用重陷入锁还是使用内部函数。在实现该命令时需要调用其他函数，但是之前使用的锁不允许重入，但是如果更改rstp 使用锁的方式，需要更改大量的代码（声明，函数修饰）。
因此最后改成添加内部帮助函数。
2.rstp port name。之前rstp port不支持name 显示，因此为了更清晰的显示信息。我们需要在结构体中添加name 成员。 在整个rstp port 整个声明周期（如rstp port的创建，删除，使用，修改等），我们需要处理好name。独立的patch 如下https://github.com/openvswitch/ovs/commit/8d2f8375c7f7ee3e36877ba20f4e4cc5b47841d3添加必要属性
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-8.png
设置port name函数rstp_port_set_port_name__
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-9.png
最后需要在rstp_add_port 初始化port name， 在rstp_port_unref 删除port name,同时在rstp 模块添加必要的内部函数，实现如下（具体很简单，大家可以review）https://github.com/openvswitch/ovs/commit/066f0ab4a07d2edc07dedcf006224df7fa00a9b1最后实现rstp/show命令https://github.com/openvswitch/ovs/commit/cc3a32f3b6891168cee98812e8f5e3d8a5a52c98
最终命令效果
http://img1.sdnlab.com/wp-content/uploads/2017/06/ovs-develop-fig-10.pngQ&AQ：我有ovs通过vmware的wmnet桥接的，但是把桥接网卡设置成trunk后就不通了，能帮忙分析下么，ovs是安装在centos7上的，cent是安装在vmware上的
A：这个好细节，你可以通过tcpdump 检查，每个节点是否 都有数据包，看看哪里丢包。ovs 你可以看看ovs flow表 看看哪个flow drop的该数据包。
Q：之前提到的ovs-dpdk的datapath，请问能讲解一下ofproto是如何把流表分发给多个PMD的呢？
A：ovs 不管哪个datapath 都是三级cache，最后一个是ofproto，dpcls miss之后才去ofproto 所以对应的dpcls 才会有，之后emc 查找去对应的dpcls 去找，一个pmd 线程可能多个dpcls
Q：ovs流表匹配采用什么算法？对精确匹配字段，前缀匹配字段，和范围匹配字段的匹配有区别对待？
A：ovs kernel datapath 使用Megaflow Cache + Microflow Cache，dpdk 和kernel 第一层cache 都是精准匹配，后面是通配的。如果是有区别，就是查找前后的区别。大家可以review dpdk 和kernel 的实现算法。
Q：能介绍一下ovs -dpdk在openstack里的应用吗？
A：ovs-dpdk 在openstack 并没有应用到实际的生产环境，如果有，也是小部分现在。不过这个是趋势。
Q：相同优先级 match条件都一样的两条流表 怎么决定匹配到哪一条
A：这个会对 表的优先级排序的，找到的肯定是优先级高的。
Q：流表中的in port 和虚机端口有什么关系吗？
A：没有
---------------------------------------------------------------------------------
SDN私享汇由SDNLAB倾力打造的在线分享直播，我们的宗旨是“传播知识，传递价值”，关注网络创新技术助力打造更加完善的SDN生态。如果您有分享意愿或有感兴趣的话题，请联系微信：wx928579866（ID：小黑）。
111
页:
[1]