centos上kafka的存储配置有哪些

在CentOS上配置Kafka的存储主要涉及修改Kafka的配置文件server.properties。以下是一些关键的存储配置项：

1. broker.id:

   • 每个broker的唯一标识符。
   • 例如：broker.id=0

2. log.dirs:

   • Kafka数据存储的目录列表。
   • 例如：log.dirs=/tmp/kafka-logs,/var/lib/kafka-logs

3. log.retention.hours:

   • 日志保留时间，超过这个时间的日志将被删除。
   • 例如：log.retention.hours=168

4. log.retention.bytes:

   • 单个日志文件的最大大小，超过这个大小的日志将被分割。
   • 例如：log.retention.bytes=1073741824

5. log.segment.bytes:

   • 每个日志段的最大大小。
   • 例如：log.segment.bytes=1073741824

6. log.flush.interval.messages:

   • 在强制刷新到磁盘之前，可以写入的最大消息数。
   • 例如：log.flush.interval.messages=10000

7. log.flush.interval.ms:

   • 在强制刷新到磁盘之前，可以等待的最大时间（毫秒）。
   • 例如：log.flush.interval.ms=30000

8. num.partitions:

   • 主题的默认分区数。
   • 例如：num.partitions=8

9. default.replication.factor:

   • 主题的默认副本因子。
   • 例如：default.replication.factor=3

10. min.insync.replicas:

    • 写操作在返回成功之前，必须确认的最小副本数。
    • 例如：min.insync.replicas=2

11. unclean.leader.election.enable:

    • 是否允许在ISR（In-Sync Replicas）不完整的情况下进行leader选举。
    • 例如：unclean.leader.election.enable=false

12. log.cleanup.policy:

    • 日志清理策略，可以是delete或compact。
    • 例如：log.cleanup.policy=delete

13. log.cleanup.interval.mins:

    • 日志清理任务运行的间隔时间（分钟）。
    • 例如：log.cleanup.interval.mins=15

14. zookeeper.connect:

    • Zookeeper集群的连接字符串。
    • 例如：zookeeper.connect=localhost:2181

15. offsets.topic.replication.factor:

    • Kafka内部offsets主题的副本因子。
    • 例如：offsets.topic.replication.factor=3

16. transaction.state.log.replication.factor:

    • Kafka内部transaction state log的副本因子。
    • 例如：transaction.state.log.replication.factor=3

17. transaction.state.log.min.isr:

    • Kafka内部transaction state log的最小ISR大小。
    • 例如：transaction.state.log.min.isr=2

这些配置项可以根据你的具体需求进行调整。修改配置文件后，需要重启Kafka服务以使更改生效。你可以使用以下命令来重启Kafka：

sudo systemctl restart kafka

或者如果你使用的是init.d脚本：

sudo service kafka restart

请确保在修改配置之前备份原始的server.properties文件，以便在需要时可以恢复。

声明：本文内容由网友自发贡献，本站不承担相应法律责任。对本内容有异议或投诉，请联系2913721942#qq.com核实处理，我们将尽快回复您，谢谢合作！