kafka在ubuntu上的网络优化

Ubuntu上Kafka网络优化实操指南

一 基础网络与监听配置

• 使用 Netplan 配置稳定网络（Ubuntu 20.04/22.04 常见）：编辑 /etc/netplan/*.yaml，设置静态 IP、网关与 DNS，执行 sudo netplan apply 使配置生效。示例片段：

  network:
    version: 2
    renderer: networkd
    ethernets:
      eth0:
        dhcp4: no
        addresses: [192.168.1.10/24]
        gateway4: 192.168.1.1
        nameservers:
          addresses: [8.8.8.8,1.1.1.1]
  

• 正确设置 listeners 与 advertised.listeners，避免内外网错配与客户端无法连接：

  listeners=PLAINTEXT://0.0.0.0:9092
  advertised.listeners=PLAINTEXT://<
      服务器公网或内网IP>
      :9092
  zookeeper.connect=zk1:2181,zk2:2181,zk3:2181
  

• 防火墙放行端口（UFW）：

  sudo ufw allow 9092/tcp
  sudo ufw allow 2181/tcp
  sudo ufw reload
  

• 建议将 Kafka 与 Zookeeper 分别部署在不同节点，并为集群使用 域名或固定 IP，减少因地址变更导致的网络异常。

二 操作系统层网络参数

• 提高文件描述符与连接承载能力（/etc/security/limits.conf 或 systemd 服务 LimitNOFILE）：

  * soft nofile 65536
  * hard nofile 65536
  

• 提升内核网络队列与连接 backlog：

  sudo sysctl -w net.core.somaxconn=65535
  sudo sysctl -w net.ipv4.tcp_max_syn_backlog=4096
  sudo sysctl -p
  

• 启用 RPS/RFS（多核网卡加速，示例为单队列 4 核 CPU，按实际队列与核数调整）：

  # 查看队列数
  ethtool -l eth0
  # 开启 RPS（将 4 替换为实际 CPU 核数）
  echo f >
       /sys/class/net/eth0/queues/rx-0/rps_cpus
  echo 4096 >
       /sys/class/net/eth0/queues/rx-0/rps_flow_cnt
  # 如需 RFS，设置 rfs_flow_entries（如 32768），并开启 rfs
  

• 启用 GRO/LRO/GSO（合并/分段卸载，提升大流量吞吐，按网卡与驱动支持情况启用）：

  sudo ethtool -K eth0 gro on lro on gso on
  

• 建议将 Kafka 与 Zookeeper 绑定到同一可用区的高速网卡，并优先使用 1Gbps/10Gbps 网络以降低传输时延。

三 Kafka Broker网络参数

• 线程与网络缓冲：

  num.network.threads=8
  num.io.threads=16
  socket.send.buffer.bytes=102400
  socket.receive.buffer.bytes=102400
  socket.request.max.bytes=104857600
  

• 连接与可靠性：

  max.connections=100000
  replica.socket.timeout.ms=30000
  replica.fetch.max.bytes=10485760
  

• 分区与副本（按业务吞吐与可用性设计）：

  # 主题创建时按需设置分区数（示例）
  num.partitions=12
  # 副本因子与最小同步副本
  default.replication.factor=3
  min.insync.replicas=2
  

• 说明：增大 分区数 可提升并发与吞吐；副本因子 3 与 min.insync.replicas=2 能在网络抖动时兼顾可靠性与可用性。

四 生产者与消费者网络优化

• 生产者（提升吞吐、降低请求次数）：

  batch.size=16384
  linger.ms=20
  compression.type=lz4
  max.in.flight.requests.per.connection=5
  acks=1  # 强一致可设为 all，但网络/磁盘压力更高
  

• 消费者（减少空轮询、提升批取效率）：

  fetch.min.bytes=1048576
  fetch.max.wait.ms=500
  max.partition.fetch.bytes=10485760
  

• 建议：优先使用 lz4/snappy 压缩；在允许轻微延迟的场景下适度提高 linger.ms 与 fetch.max.wait.ms 以换取更大批次与更高吞吐。

五 验证与监控

• 连通性与基础验证：

  # 创建主题
  ./bin/kafka-topics.sh --create --topic test --bootstrap-server <
      broker_ip>
      :9092 --partitions 6 --replication-factor 3
  # 列出主题
  ./bin/kafka-topics.sh --list --bootstrap-server <
      broker_ip>
      :9092
  # 控制台生产/消费
  ./bin/kafka-console-producer.sh --bootstrap-server <
      broker_ip>
      :9092 --topic test
  ./bin/kafka-console-consumer.sh --bootstrap-server <
      broker_ip>
      :9092 --topic test --from-beginning
  

• 监控与容量规划：
  • 部署 Prometheus + Grafana，采集 Kafka Exporter/Broker JMX 指标，关注：网络入/出字节速率、请求耗时、请求错误率、请求排队、生产/消费滞后（Lag）。
  • 定期巡检 网络丢包/重传、TCP 重传率、软中断分布，结合 RPS/RFS 与网卡队列绑定验证多核负载是否均衡。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！