Kafka 集群的安装

 3个月前     3  

文章目录

Kafka 需要依赖于 Zookeeper 协调服务器工作,所以在安装 Kafka 之前需要安装好 Zookeeper,此处不详述 Zookeeper 的安装过程。

第一步:解压安装包

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /usr/local/kafka_home

第二步:创建 logs 文件夹

mkdir /usr/local/kafka_home/logs

第三步:修改配置文件

主要修改下面几项:

  • broker.id :broker 的全局唯一编号,不同节点的 id 不能相同
  • delete.topic.enable:开启删除 topic 功能
  • log.dirs:日志文件地址
  • zookeeper.connect:Zookeeper 集群地址
#broker 的全局唯一编号,不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径	
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址,形式:hostname:port/path,/path 是可选配置,用于指定 Kafka 依赖 Zookeeper 的根节点
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

第四步:启动节点

./bin/kafka-server-start.sh -daemon config/server.properties

关闭节点:

./bin/kafka-server-stop.sh stop

暂无评论

暂无评论...