centos kafka集群部署

在CentOS上部署Kafka集群涉及多个步骤，包括安装Java、配置Zookeeper和Kafka服务器。以下是一个基本的指南：

1. 安装Java

Kafka需要Java运行时环境。你可以使用OpenJDK或Oracle JDK。

sudo yum install java-1.8.0-openjdk-devel

验证安装：

java -version

2. 下载并解压Kafka

从Apache Kafka官方网站下载最新版本的Kafka，并解压到指定目录。

wget https://downloads.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz
tar -xzf kafka_2.13-3.2.0.tgz
cd kafka_2.13-3.2.0

3. 配置Zookeeper

Kafka使用Zookeeper进行集群管理。首先启动Zookeeper。

启动单个Zookeeper实例

编辑config/zookeeper.properties文件：

dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0
server.1=localhost:2888:3888

创建myid文件：

echo "1" >
     /var/lib/zookeeper/myid

启动Zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

启动多个Zookeeper实例（集群模式）

假设你有三个Zookeeper节点，分别配置如下：

节点1:

• dataDir=/var/lib/zookeeper1
• clientPort=2181
• server.1=localhost:2888:3888
• server.2=node2:2888:3888
• server.3=node3:2888:3888

节点2:

• dataDir=/var/lib/zookeeper2
• clientPort=2182
• server.1=node1:2888:3888
• server.2=localhost:2888:3888
• server.3=node3:2888:3888

节点3:

• dataDir=/var/lib/zookeeper3
• clientPort=2183
• server.1=node1:2888:3888
• server.2=node2:2888:3888
• server.3=localhost:2888:3888

在每个节点的myid文件中写入对应的ID：

echo "1" >
     /var/lib/zookeeper1/myid
echo "2" >
     /var/lib/zookeeper2/myid
echo "3" >
     /var/lib/zookeeper3/myid

分别启动每个节点的Zookeeper：

bin/zookeeper-server-start.sh config/zookeeper.properties

4. 配置Kafka服务器

编辑config/server.properties文件：

broker.id=1
listeners=PLAINTEXT://:9092
log.dirs=/tmp/kafka-logs
zookeeper.connect=localhost:2181

对于其他节点，修改broker.id和listeners端口，并更新zookeeper.connect：

节点2:

broker.id=2
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs
zookeeper.connect=node1:2181,node2:2182,node3:2183

节点3:

broker.id=3
listeners=PLAINTEXT://:9094
log.dirs=/tmp/kafka-logs
zookeeper.connect=node1:2181,node2:2182,node3:2183

5. 启动Kafka服务器

在每个节点上启动Kafka服务器：

bin/kafka-server-start.sh config/server.properties

6. 创建主题

创建一个主题来测试集群：

bin/kafka-topics.sh --create --topic test --bootstrap-server localhost:9092 --replication-factor 3 --partitions 3

7. 验证集群

列出所有主题：

bin/kafka-topics.sh --list --bootstrap-server localhost:9092

查看主题详细信息：

bin/kafka-topics.sh --describe --topic test --bootstrap-server localhost:9092

通过这些步骤，你应该能够在CentOS上成功部署一个Kafka集群。根据实际需求，你可能需要进一步调整配置和优化性能。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！