System Information Department Technology Stack

author：周坤

createTime：2022-01-21

培训结束时间：2022-02-24

# kafka与zookeeper的集群部署简介

# 使用的版本

  • zookeeper版本
    • 3.4.13
    • 最新版本3.7.0
  • kafka版本
    • 2.12-2.4.0 2.12是scale版本，真正的版本是2.4.0
    • 最新版本 2.12-3.0.0

# zookeeper的集群部署

  • 配置文件路径

    • zookeeper/conf/zoo.cfg

  • 集群的成员个数

    • 3个

  • 配置文件说明

    #基本时间单元，用作心跳
tickTime=2000
#初始化时长，flower连接leader的时长限制（initLimit * tickTime)
initLimit=10
#flower同步leader的最大时长限制(syncLimit * tickTime)
syncLimit=5

#数据存储地址
dataDir=/data/tools/zookeeper/logs
#客户端访问的端口
clientPort=2181

#集群参数设置
#server.A=B:C:D
# A表示zknode的节点编号,需要在dataDir=/data/tools/zookeeper/logs目录下，创建文本文件myid并写入节点编号，比如：0
# B表示zknode的ip地址
# C表示zknode连接leader的端口号
# D表示zknode的leader选举端口号
server.1=172.16.10.7:2888:3888
server.2=172.16.10.8:2888:3888
server.3=172.16.10.9:2888:3888

  • 启动zookeeper

    • bin/zkServer.sh start conf/zoo.cfg

  • 查看当前节点的状态

    • bin/zkServer.sh status

# kafka的集群部署

  • 配置文件路径

    • config/server.properties

  • 集群的成员个数

    • 3个

  • 配置说明

    
#kafka的节点编号
broker.id=1
#数据保存路径
log.dirs=/data/tools/kafka/broker
#partition，数据保存的基本单元，根据实际情况合理配置，可以起到数据负载均衡的效果
num.partitions=1
#数据保留时长，默认7天
log.retention.hours=168
#连接zookeeper的配置
zookeeper.connect=192.168.0.1:2181,192.168.0.2:2181,192.168.0.3 :2181

#未使用ssl
listeners=PLAINTEXT://172.16.10.8:9092

#ssl的配置
listeners=PLAINTEXT://172.16.10.8:9092,SSL://dev3kafka.lowaniot.wang:9093
ssl.keystore.location=/data/tools/kafka/ssl/server.keystore.jks
ssl.keystore.password=lowan123@#
ssl.key.password=lowan123@#
ssl.truststore.location=/data/tools/kafka/ssl/server.truststore.jks
ssl.truststore.password=lowan123@#

  • 启动kafka

    • bin/kafka-server-start.sh config/server.properties

# kafka集群管理工具

← emqx-acl鉴权 →