如何监控CentOS Overlay网络

监控目标与总体思路

• 覆盖三层可观测性：
  • 主机与数据面：网卡、隧道、转发、丢包、错误包、队列等基础指标与抓包。
  • 容器与网络面：容器网络 I/O、网络错误、Overlay 网络拓扑与端点连通性。
  • 控制面与编排：Swarm/Kubernetes 的网络组件健康、服务发现与配置分发状态。
• 建议以“命令行快速排障 + 指标时序长期存储与可视化”的组合方式落地，既快又可持续。

快速排障命令清单

• 查看 Overlay 接口与状态
  • ip：ip addr/link/route，确认 vxlan/隧道接口是否存在、UP、MTU、IP 配置。
  • 系统资源：nmon、systemd-cgtop，观察 CPU、内存、网络占用是否异常。
• 容器与 Docker 网络
  • docker network ls/inspect ：查看 Overlay 网络 与已连接容器、子网、网关。
  • docker stats：实时查看容器 网络 I/O 与资源使用。
• Open vSwitch（如使用 OVS 实现 Overlay）
  • ovs-vsctl show：桥、端口、接口、隧道（vxlan）配置与状态一览。
• 实时流量与抓包
  • iftop -i ：按连接/端口查看带宽占用。
  • tcpdump -i -nn：抓包分析异常流量、重传、TTL 异常等。
• 安全与策略面
  • iptables/nftables：查看与 Overlay 相关的规则命中与丢包计数（如 -v 查看包/字节计数）。

基于 Prometheus 与 Grafana 的持续监控

• 采集层
  • cAdvisor：暴露容器 CPU/内存/网络 等基础指标，常用端口 8080。
  • 节点/系统：Node Exporter 采集主机网络、网卡错误、丢包、软中断等。
  • Docker 守护进程指标：启用 Docker 的 metrics 接口（/metrics），供 Prometheus 抓取容器与网络相关指标。
  • 可选：若使用 OVS，部署 ovs_exporter 采集网桥、端口、隧道流量与错误计数。
• 配置与可视化
  • Prometheus：在 scrape_configs 中新增 job（如 cadvisor、node_exporter、docker、ovs_exporter）。
  • Grafana：添加 Prometheus 数据源，导入容器/主机网络相关 Dashboard（如“Docker Host & Container Overview”“Node Exporter Full”等），并针对 Overlay 接口 建立图表（带宽、丢包、错误、重传、P95/P99 延迟等）。
• 告警建议
  • 主机/接口：网卡 errors/drops 持续增长、接口 down、带宽利用率持续 > 80%。
  • 容器：单个容器 网络发送/接收速率 异常飙升或持续为 0。
  • 控制面：编排组件（Swarm/Kubernetes 网络插件） Unhealthy、Endpoint 异常、服务不可达。

按网络实现的监控要点

• Docker Swarm Overlay
  • 使用 docker network inspect < overlay_net> 查看 子网、网关、已连接容器；结合 docker stats 观察容器网络 I/O。
  • 排查控制面：检查 Swarm 节点状态、服务/任务分布与网络策略；必要时抓取 vxlan 接口流量定位跨主机通信问题。
• Kubernetes Overlay（如 Flannel VXLAN/Calico IPIP 等）
  • 关注节点 cni0/flannel.1 等网桥/隧道接口状态与 MTU；使用 ip/ifconfig/tcpdump 排查跨节点连通性与封装问题。
  • 结合 kube-state-metrics、cAdvisor、Node Exporter 与网络插件 Exporter 构建统一视图。
• 基于 Open vSwitch 的 Overlay
  • 使用 ovs-vsctl/ovs-ofctl 检查 bridge、port、vxlan 配置与对端隧道信息；关注 packet drops/errors。
  • 通过 ovs_exporter/Prometheus 持续采集 网桥/端口/隧道 指标，并在 Grafana 建立隧道健康与带宽面板。

安全与优化提示

• 避免将 Docker 的远程 API 暴露在 0.0.0.0:2375 明文端口；如必须远程采集，请使用 TLS 证书 或 Unix Socket + 代理，并配合 firewalld 精细放行。
• 合理设置 MTU（Overlay 封装会占用约 50–60 字节），避免分片与性能劣化。
• 为抓包与排障预留 临时权限 与 日志留存；生产环境建议以 只读指标 为主，抓包操作限时、限量。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！