如何快速配置ubuntu kafka

如何在Ubuntu上快速配置Apache Kafka

1. 准备工作

• 确保Ubuntu系统已更新：sudo apt update & & sudo apt upgrade -y
• 确保系统内存≥4GB（Kafka最低要求），硬盘空间≥500GB（根据数据量调整）。

2. 安装Java环境（Kafka依赖）

Kafka需要Java运行环境，推荐使用OpenJDK 11及以上版本：

sudo apt install openjdk-11-jdk -y
# 验证Java安装
java -version

输出应显示Java版本信息（如openjdk version "11.0.xx"）。

3. 下载并解压Kafka

从Apache Kafka官网下载最新稳定版本（如3.7.0），解压至/opt目录（系统级软件推荐路径）：

wget https://downloads.apache.org/kafka/3.7.0/kafka_2.13-3.7.0.tgz
sudo tar -xzf kafka_2.13-3.7.0.tgz -C /opt
sudo mv /opt/kafka_2.13-3.7.0 /opt/kafka  # 重命名便于管理

创建Kafka专用用户（提升安全性，避免root运行）：

sudo useradd -m -s /bin/bash kafka
sudo passwd kafka  # 设置密码
sudo chown -R kafka:kafka /opt/kafka  # 赋予用户目录所有权

切换至kafka用户：sudo su - kafka。

4. 配置Kafka

进入Kafka配置目录，编辑核心配置文件server.properties（关键参数说明见注释）：

nano ~/kafka/config/server.properties

修改以下核心配置：

# Broker唯一标识（集群中需唯一）
broker.id=0  
# 监听地址（0.0.0.0允许远程访问，本地测试用localhost）
listeners=PLAINTEXT://:9092  
# 对外暴露的地址（远程访问需替换为服务器IP）
advertised.listeners=PLAINTEXT://your_server_ip:9092  
# 日志存储目录（需提前创建）
log.dirs=/home/kafka/kafka/data/kafka  
# Zookeeper连接地址（本地测试用localhost）
zookeeper.connect=localhost:2181  
# 开启自动删除过期Topic（可选，默认false）
delete.topic.enable=true  

保存并退出（Ctrl+O→Enter→Ctrl+X）。

5. 配置Zookeeper（Kafka依赖）

Kafka使用Zookeeper进行集群管理，开发测试可使用Kafka自带的Zookeeper：

# 创建Zookeeper数据目录
mkdir -p ~/kafka/data/zookeeper
# 复制Zookeeper配置模板并修改
cp ~/kafka/config/zookeeper.properties ~/kafka/config/zookeeper.properties.bak
nano ~/kafka/config/zookeeper.properties

修改以下配置：

# 数据存储目录（需与上面创建的目录一致）
dataDir=/home/kafka/kafka/data/zookeeper  
# 客户端连接端口
clientPort=2181  
# 会话超时时间（毫秒）
tickTime=2000  

启动Zookeeper：

~/kafka/bin/zookeeper-server-start.sh ~/kafka/config/zookeeper.properties &
    

验证Zookeeper是否启动（显示LISTEN表示成功）：

netstat -plnt | grep 2181

6. 启动Kafka服务

启动Kafka（后台模式，避免占用终端）：

~/kafka/bin/kafka-server-start.sh ~/kafka/config/server.properties &
    

验证Kafka是否启动（显示LISTEN表示成功）：

netstat -plnt | grep 9092

7. 测试Kafka功能

7.1 创建Topic

创建名为test的Topic（1个分区，1个副本，适合测试）：

~/kafka/bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test

查看所有Topic（确认test已创建）：

~/kafka/bin/kafka-topics.sh --list --bootstrap-server localhost:9092

7.2 生产消息

启动生产者，向test Topic发送消息：

~/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

输入消息（如Hello, Kafka on Ubuntu！），按Ctrl+D结束输入。

7.3 消费消息

启动消费者，从test Topic接收消息：

~/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

应能看到生产者发送的消息。

注意事项

• 生产环境中，需配置专用Zookeeper集群（而非自带）、增加副本因子（replication.factor≥2）、调整日志保留策略（log.retention.hours）等。
• 若需远程访问，需修改listeners和advertised.listeners为服务器IP，并开放防火墙端口（9092、2181）。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！