如何优化CentOS上的overlay网络

CentOS 上 Overlay 网络优化指南

一 基线评估与内核升级

• 明确技术栈与版本：确认是容器场景（如 Docker Swarm/Kubernetes 的 VXLAN 或 Geneve）、还是 Open vSwitch 的 overlay；记录 内核版本、CNI 插件与 驱动（如 veth、ipvlan、eBPF）。
• 基线压测与抓包：用 iperf3/ab 建立吞吐与 P95/P99 延迟基线；对 VXLAN 接口或物理口抓包，确认是否存在 丢包、重传、GSO/TSO 异常。
• 内核与驱动：若是 CentOS 7/8 且运行较新 K8s/CNI，建议升级内核至 5.10+ LTS（如通过 ELRepo 安装 kernel-lt），可显著改善 VXLAN 封包开销、IPVS 连接复用、eBPF 能力与 conntrack 性能。
• 硬件与队列：优先 10/25/40GbE 网卡，开启 多队列（RSS） 并合理设置队列长度，减少高速率下的丢包与抖动。

二 内核网络与队列参数优化

• 增大套接字缓冲与自动调优：提升大流量与长肥管道场景的吞吐与稳定性。

# /etc/sysctl.d/99-overlay.conf
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.core.rmem_default = 4194304
net.core.wmem_default = 4194304
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728
net.ipv4.tcp_mtu_probing = 1
net.core.netdev_budget = 600
net.core.netdev_budget_usecs = 2000

• 启用与校验 GSO/TSO/LRO：加速封装路径上的分段/合并，降低 CPU 开销（物理口与 VXLAN 设备均需开启）。

ethtool -K eth0 gso on tso on lro on
ethtool -k eth0 | egrep 'gso|tso|lro'
ip link add vxlan0 type vxlan id 100 local 10.0.0.10 remote 10.0.0.20 dstport 4789
ip link set vxlan0 up
ethtool -K vxlan0 gso on tso on

• 中断与队列：绑定 IRQ 到 NUMA 本地 CPU，提升收包路径性能；结合流量特征调整队列长度与 RPS/RFS（仅在 CPU 有余量时启用）。
• 容器/虚拟化场景：开启 veth GRO 合并小包，减少主机与容器间上下文切换；必要时关闭容器网络 Nagle（TCP_NODELAY）以降延迟。

三 容器与 Kubernetes 场景专项

• 内核特性与 kube-proxy：升级至 5.10+ 后，确保 IPVS 可用并启用关键优化（如 conn_reuse_mode），避免在高并发下退化为 iptables 性能；基于 eBPF 的 CNI（如 Cilium）可显著降低 overlay 路径开销。
• 连接跟踪与内核参数：大连接数业务适度提高 nf_conntrack 相关阈值，并启用 conntrack 优化（如事件合并/尽早回收），减少 conntrack 成为瓶颈的概率。
• 拓扑与封装：同机房/同二层优先 VLAN/二层直连 替代 VXLAN；跨机房再选 VXLAN/Geneve。合理规划 VNI/租户数量，避免单节点承载过多 overlay 网络。
• 数据面加速：在支持的网卡/驱动上启用 XDP/eBPF 加速（如 XDP 直转或 offload），减少内核协议栈路径长度。

四 监控与故障排查闭环

• 实时与趋势：用 iftop 观察热点流，nmon 看 CPU/内存/网络，systemd-cgtop 聚焦容器/Pod 网络；必要时 tcpdump 在物理口与 VXLAN 接口联合抓包定位封装/解封装异常。
• OVS 状态：使用 ovs-vsctl show、ovs-ofctl dump-flows 检查 VXLAN 隧道、流表命中、PACKET_IN 异常。
• 容器网络：用 docker network ls/inspect 或 kubectl get network/endpoint 校验网络与后端映射；结合服务日志与事件排查健康检查/就绪探针失败导致的频繁重建。
• 指标可视化：以 Prometheus + Grafana 采集主机/容器/网络指标，建立 P95/P99 延迟、丢包率、重传率、GSO/TSO 命中率 等面板，驱动参数回滚与再优化。

五 常见陷阱与规避

• 将 OverlayFS（容器/镜像分层文件系统）与 Overlay 网络（VXLAN/Geneve 等隧道网络）混为一谈，导致优化方向偏离；前者关注 层数、挂载选项、缓存/存储，后者关注 封装、队列、内核/驱动。
• 在 CentOS 7.9 这类 3.10 老内核上强行运行 Kubernetes 1.31 + 现代 CNI，会因 IPVS/eBPF/conntrack/VXLAN 支持不足出现“网络慢如蜗牛”，应优先升级至 5.10+ LTS。
• 未开启 GSO/TSO/LRO 或中断/RSS 配置不当，导致 CPU 100% 而吞吐上不去；务必在物理口与 VXLAN 接口同时校验。
• 过度依赖 conntrack 且无监控与限流，长连接/短连接混合业务易触发 conntrack 表项耗尽；需结合业务调参与内核优化。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！