Kafka在Ubuntu上的最佳配置实践

一 环境与系统准备

• 安装 Java 8 或 11（两者均被支持），建议固定版本并配置 JAVA_HOME，例如：sudo apt update & & sudo apt install -y openjdk-11-jdk。
• 创建专用系统用户（如 kafka）与数据目录（如 /var/lib/kafka、/var/lib/zookeeper），并赋予权限，避免使用 /tmp。
• 规划磁盘与目录：为 log.dirs 配置多个目录并挂载到不同物理磁盘可显著提升吞吐与容错。
• 网络与防火墙：开放 2181（Zookeeper） 与 9092（Kafka） 端口；云环境同步配置安全组。
• 建议通过 systemd 托管服务并设置开机自启，便于生产运维。

二 关键配置清单 server.properties 与 zoo.cfg

• 基础标识与网络
  • broker.id：每个 Broker 唯一（如 0/1/2）。
  • listeners 与 advertised.listeners：区分内外访问地址，避免内外网解析不一致，例如：
    • listeners=PLAINTEXT://0.0.0.0:9092
    • advertised.listeners=PLAINTEXT://< 本机可路由IP或域名> :9092
• 存储与恢复
  • log.dirs：多磁盘目录用逗号分隔（如 /data/kafka1,/data/kafka2）。
  • num.recovery.threads.per.data.dir：每个数据目录恢复线程数（如 8）。
• 主题与副本（生产建议）
  • auto.create.topics.enable：false（避免误建 Topic）。
  • num.partitions：新建 Topic 默认分区数（如 3）。
  • default.replication.factor：3；offsets.topic.replication.factor：3；transaction.state.log.replication.factor：3；transaction.state.log.min.isr：2。
• 日志保留与段
  • log.retention.hours：168（7 天）；log.retention.bytes：按容量控制（如 107374182400 即 100GB）。
  • log.segment.bytes：1073741824（1GB）；log.retention.check.interval.ms：300000。
• Zookeeper
  • zookeeper.connect：zk1:2181,zk2:2181,zk3:2181；zookeeper.connection.timeout.ms：18000。
• 网络与 I/O 线程
  • num.network.threads：8–16；num.io.threads：16–32（按 CPU/磁盘调整）。
  • socket.send.buffer.bytes：1048576；socket.receive.buffer.bytes：1048576；socket.request.max.bytes：104857600（100MB）。
• 消费者组稳定性
  • group.initial.rebalance.delay.ms：3000（减少首次再均衡风暴）。

三 性能与稳定性优化

• 生产者端（提升吞吐与可靠性）
  • acks：all；retries：Integer.MAX_VALUE；enable.idempotence：true。
  • compression.type：snappy 或 lz4；batch.size：16384–65536；linger.ms：5–20。
• Broker 端（I/O 与恢复）
  • 多磁盘 log.dirs 分摊写放大；num.recovery.threads.per.data.dir 适度增大以加速启动/恢复。
  • 合理设置 log.retention.hours/bytes 与 log.segment.bytes，避免频繁段滚动与过度占用磁盘。
• 消费者端（稳定拉取与处理）
  • fetch.min.bytes：1048576（1MB）；fetch.max.wait.ms：500；max.partition.fetch.bytes：5242880（5MB）。
  • max.poll.records：10000；max.poll.interval.ms：300000；session.timeout.ms：30000；heartbeat.interval.ms：10000。
• 线程与网络栈
  • num.network.threads / num.io.threads 结合 CPU 核数与磁盘并发度调优；socket 缓冲适度放大以适配大消息与高带宽。

四 安全与访问控制

• 传输加密与认证
  • 启用 SSL/TLS：配置 security.protocol=SSL，设置 ssl.truststore.location / ssl.truststore.password 等。
  • 启用 SASL：如 security.protocol=SASL_PLAINTEXT 或 SASL_SSL，sasl.mechanism=PLAIN（生产建议与 TLS 组合）。
• 授权与访问控制
  • 使用 ACL 精细化控制 Topic/Group/Cluster 权限，遵循最小权限原则。
• 网络安全
  • 仅开放必要端口（2181/9092），并限制来源网段；云上同步配置安全组与 VPC 策略。

五 运维监控与自动化

• 服务托管
  • 使用 systemd 管理 Zookeeper 与 Kafka，设置 Restart=on-failure，并配置合适的 JVM 参数（如 -Xmx/-Xms 与 -XX:+UseG1GC）。
• 监控与告警
  • 暴露 JMX 指标，结合 Prometheus + Grafana 构建监控大盘与阈值告警（如请求耗时、请求错误率、UnderReplicatedPartitions、ISR 收缩等）。
• 日志与审计
  • 配置 logrotate 对 server.log 与 GC 日志进行轮转与保留，避免磁盘被占满。
• 验证与演练
  • 部署后用命令行工具创建 Topic、生产/消费消息进行连通性与性能验证；定期演练 Broker 扩容、磁盘更换、Zookeeper 切换 等运维场景。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！