kafka在ubuntu上的最佳实践分享

Ubuntu 上部署与运行 Kafka 的最佳实践

一 环境与基础配置

• 使用受支持的 Java LTS，推荐 OpenJDK 11，并正确设置 JAVA_HOME 与 PATH，便于脚本与 systemd 调用。
• 规划数据与日志目录（如 /var/lib/zookeeper、/var/lib/kafka），避免使用 /tmp；提前创建专用系统用户 kafka 并授权目录，遵循最小权限原则。
• 规划网络与端口：开放 2181（ZooKeeper） 与 9092（Kafka），云上或跨主机需配置安全组/防火墙放行；Broker 对外通信需正确设置 listeners 与 advertised.listeners，避免内外网错配。
• 建议将 Kafka 与 ZooKeeper 以 systemd 服务方式管理，设置开机自启、日志轮转与资源限制，便于生产运维。

二 安装与目录规划

• 安装 OpenJDK 11 并验证版本；下载解压 Kafka 至 /usr/local/kafka 或 /opt/kafka，设置环境变量（如 KAFKA_HOME、PATH）。
• 创建数据与日志目录并赋权：
  • ZooKeeper：dataDir=/var/lib/zookeeper
  • Kafka：log.dirs=/var/lib/kafka/logs
• 初始化最小配置并验证：
  • ZooKeeper 配置示例：tickTime=2000，dataDir=/var/lib/zookeeper，clientPort=2181
  • Kafka 配置要点：broker.id（唯一）、listeners=PLAINTEXT://:9092、advertised.listeners=PLAINTEXT://< 服务器IP> :9092、log.dirs、zookeeper.connect=localhost:2181
• 启动顺序：先 ZooKeeper，后 Kafka；使用命令行工具创建 Topic 并进行生产/消费连通性验证。

三 安全加固

• 启用 SSL/TLS 加密传输（配置 truststore/keystore、协议与端口），防止数据链路窃听与篡改。
• 启用 SASL 认证（如 PLAIN/SCRAM），对客户端接入进行身份校验；与 ACL 配合实现细粒度授权。
• 网络边界与主机加固：仅暴露必要端口，限制来源网段；Broker、ZooKeeper 进程以 非 root 运行；密钥与证书妥善管控与轮换。

四 性能与可靠性调优

• Broker 线程与网络：根据负载调整 num.network.threads、num.io.threads；适度增大 socket.send.buffer.bytes、socket.receive.buffer.bytes，并合理设置 socket.request.max.bytes 防止过载。
• 生产者关键参数：提高 batch.size（如 1 MB） 与 linger.ms（如 100 ms） 提升吞吐；启用 compression.type（snappy/lz4/zstd） 降低网络与磁盘占用；可靠性场景设置 acks=all 并结合 min.insync.replicas 保障不丢数据。
• 消费者参数：根据业务延迟与吞吐权衡 fetch.min.bytes 与 fetch.max.wait.ms，减少空轮询与过度请求。
• 分区与副本：按吞吐目标与并行度设计 分区数（通常不小于消费者并发数），生产环境建议 副本因子≥3；主题创建示例：replication-factor=3、partitions=8。
• 操作系统与硬件：提升 文件描述符限制（如 65536），优化 TCP 队列与连接参数；优先 SSD、充足内存与高带宽网络。

五 运维监控与日常维护

• 以 systemd 托管进程并设置 Restart=on-failure，配置 journald 或文件日志轮转，避免磁盘被日志撑满。
• 打开 JMX 暴露指标，结合 Prometheus + Grafana 建立监控大盘（如请求耗时、请求错误率、生产/消费滞后、网络与磁盘 IO、ZooKeeper 延迟等），并设置告警阈值。
• 合理规划 日志保留与清理策略（如基于时间/大小的保留与压缩），定期巡检磁盘与网络健康；变更配置与版本升级先在测试环境验证，再灰度滚动发布。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！