Zookeeper 集群操作

一、集群安装

这里由于是测试环境，直接在一台服务器上启动三个节点，如果是多台服务器，部署到多台不同服务器即可

1.1、解压

$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C ./zookeeper1
$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C ./zookeeper2
$ tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz -C ./zookeeper3

1.2、配置服务器编号

$ mkdir -p zookeeper1/zkData zookeeper2/zkData zookeeper3/zkData

分别在三个目录的 zkData 目录下创建一个 myid 文件，在文件中添加与 server 对应的编号，不能重复

$ vim myid

1

1.3、配置 `zoo.cfg`文件

$ vim conf/zoo.cfg

在配置文件中添加如下配置

# cluster
server.1=127.0.0.1:2191:2192
server.2=127.0.0.1:2291:2292
server.3=127.0.0.1:2391:2392

配置参数解读

server.A=B:C:D

A：是一个数字，表示第几个服务器，集群模式下配置一个文件 myid，这个文件里面有一个数据，就是A的值，Zookeeper 启动时就读取此文件，拿到里面的数据与 zoo.cfg 里面的配置信息比较，从而判断到底是哪个 server。

B：这个服务器的地址，如果是部署在不同的服务器，ip是不同的

C：这个服务器 Follower 与集群中的 Leader 服务器交换系你行的端口

D：万一集群中的 Leader 服务宕机了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器通信的端口。

1.4、集群操作

1.4.1、分别启动 zookeeper

# 启动 zookeeper1
$ zookeeper1/bin/zkServer.sh start

# 启动第一个节点时，查看状态是 Error 的
$ zookeeper1/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /Users/hudu/Environment/zookeeper/zookeeper1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Error contacting service. It is probably not running.

# 再次启动 zookeeper2
$ zookeeper2/bin/zkServer.sh start

# 此时查看 zookeeper2 状态，为 leader 节点
$ zookeeper2/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /Users/hudu/Environment/zookeeper/zookeeper2/bin/../conf/zoo.cfg
Client port found: 2182. Client address: localhost.
Mode: leader

# 回过去查看 zookeeper1，变成了 follower 节点
$ zookeeper1/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /Users/hudu/Environment/zookeeper/zookeeper1/bin/../conf/zoo.cfg
Client port found: 2181. Client address: localhost.
Mode: follower

# 启动 zookeeper3
$ zookeeper3/bin/zkServer.sh start

# 查看状态，为 follower节点
$ zookeeper3/bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /Users/hudu/Environment/zookeeper/zookeeper-3.5.7-3/bin/../conf/zoo.cfg
Client port found: 2183. Client address: localhost.
Mode: follower

二、集群选举机制

2.1、第一次启动

Zookeeper 集群操作

SID：服务ID。用来唯一标识一台 Zookeeper 集群中的机器，每台机器中的机器，每台机器不能重复，和 myid 一致。
ZXID：事务 ID，ZXID 是一个事物 ID，用来标识一次服务器状态的变更。在某一时刻，集群中的每台机器的 ZXID 值不一定完全一致，这和 Zookeeper 服务器对于客户端 “更新请求” 的处理逻辑有关。
Epoch：每个 Leader 任期的代号，没有 Leader 时同一轮投票过程中的逻辑时钟值时相同的。每投完一次票这个数据就会增加。

服务器 1 启动，发起一次选举。服务器 1 投自己一票。此时服务器 1 票数一票，不够半数以上(3票)，选举无法完成，服务器 1 状态保持为 LOOKING；
服务器 2 启动，再发起一次选举。服务器 1 和 2 分别投自己一票并交换选票信息：此时服务器1发现服务器 2 的 myid 比自己目前投票推举的（服务器1）大，更改选票为推举服务器2。此时服务器 1 票数为 0 票，服务器 2 票数为 2 票，没有半数以上结果，选举无法完成，服务器 1，2 状态保持LOOKING；
服务器3启动，发起一次选举。此时服务器 1 和 2 都会更改选票为服务器 3。此次投票结果：服务器1 为 0 票，服务器 2 为 0 票，服务器 3 为 3 票。此时服务器 3 的票数已经超过半数，服务器 3 当选Leader。服务器 1，2 更改状态为 FOLLOWNG，服务器 3 更改状态为 LEADING；
服务器 4 启动，发起一次选举。此时服务器 1，2，3 已经不是 LOOKING 状态，不会更改选票信忌。父换选票信息结果：服务器 3 为 3 票，服务器 4 为 1 票。此时服务器 4 服从多数，更改选票信息为服务器3，并更改状态为FOLLOWING；
服务器 5 启动，同 4 一样为 FOLLOWER。

2.2、非第一次启动

Zookeeper 集群操作

当ZooKeeper集群中的一台服务器出现以下两种情况之一时，就会开始进入Leader选举：
1. 服务器初始化启动
2. 服务器运行期间无法和 Leader 保持连接。
而当一台机器进入 Leader 选举流程时，当前集群也可能会处于以下两种状态:
1. 集群中本来就已经存在一个Leader。对于第一种已经存在Leader的情况，机器试图去选举Leader时，会被告知当前服务器的Leader信息，对于该机器来说，仅仅需要和Leader机器建立连接，并进行状态同步即可。
2. 集群中确实不存在 Leader。假设 Zookeeper 由 5 台服务器组成，SID 分别为 1、2、3、4、5，ZXID 分别为 8、8、8、7、7，并且此时 SID 为 3 的服务器时 Leader。某一时刻，3 和 5 服务器出现故障，因此开始进行 Leader 选举。SID 为 1、2、4 的机器投票情况：(EPOCH,ZXID,SID) 为 (1,8,1)、(1,8,2)、(1,7,4)，选举规则为，EPOCH 大的直接胜出，EPOCH 相同的，事务 id 大的胜出，事务 id 相同，服务器 id 大的胜出。这里结果服务器 2 为 Leader。

三、Zookeeper 启动停止脚本

$ vim zk.sh

#!/bin/bash

case $1 in
"start"){
    for i in zookeeper1 zookeeper2 zookeeper3
    do
        echo ------ $i 启动 ------
        # ssh $i "zookeeper/bin/zkServer.sh start"
        "/Users/hudu/Environment/zookeeper/$i/bin/zkServer.sh" start
    done
};;
"stop"){
    for i in zookeeper1 zookeeper2 zookeeper3
    do
        echo ------ $i 停止 ------
        # ssh $i "zookeeper/bin/zkServer.sh stop"
        "/Users/hudu/Environment/zookeeper/$i/bin/zkServer.sh" stop
    done
};;
"status"){
    for i in zookeeper1 zookeeper2 zookeeper3
    do
        echo ------ $i 状态 ------
        # ssh $i "zookeeper/bin/zkServer.sh status"
        "/Users/hudu/Environment/zookeeper/$i/bin/zkServer.sh" status
    done
};;
esac

增加脚本执行权限

$ chomod u+x zk.sh

启动

$ zk.sh start

停止

$ zk.sh stop

四、客户端命令行操作

4.1、命令行语法

命令基本语法	功能描述
help	显示所有操作命令
ls path	使用 ls 命令查看当前 znode 的子节点 [可监听] -w 监听子节点变化 -s 附加次级信息
create	普通创建 -s 含有序列 -e 临时(重启或者超时失效)
get path	获得节点的值[可监听] -w 监听节点内容变化 -s 附加次级信息
set	设置节点具体值
stat	查看节点状态
delete	删除节点
deleteall	递归删除节点

启动客户端

$ bin/zkCli.sh -server localhost:2181

显示所有操作

[zk: 127.0.0.1:2181(CONNECTED) 0] help

4.2、znode 节点数据信息

# 查看 znode 中所包含的内容
[zk: 127.0.0.1:2181(CONNECTED) 1] ls /
[zookeeper]

# 查看当前节点详细数据
[zk: 127.0.0.1:2181(CONNECTED) 2] ls -s /
[zookeeper]cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 1

cZxid：创建节点的事务 zxid：每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务ID是ZooKeeper 中所有修改总的次序。每次修改都有唯一的 zxid，如果 zxid1 小于 zxid2，那么 zxid1 在zxid2 之前发生。
ctime：znode 被创建的毫秒数（从 1970 年开始）
mZxid：znode 最后更新的事务 zxid
mtime：znode 最后修改的毫秒数（从 1970 年开始）
pZxid：znode 最后更新的子节点 zxid
cversion：znode 子节点变化号，znode 子节点修改次数
dataversion：znode 数据变化号
aclVersion：znode 访问控制列表的变化号
ephemeralOwner：如果是临时节点，这个是 znode 拥有者的 session id。如果不是临时节点则是 0。
dataLength：znode 的数据长度
numChildren：znode 子节点数量

4.3、节点类型（持久/短暂/有序号/无序号）

持久（Persistent）：客户端和服务端断开连接后，创建的节点不删除
短暂（Ephemeral）：客户端和服务端端开连接后，创建的节点自动删除

说明：创建 znode 时，设置顺序标识，znode 名称后会附加一个值，顺序号是一个单调递增的计数器，由父节点维护
注意：在分布式系统中，顺序号可以被用于为所有的事件进行全局排序，这样客户端可以通过顺序号推断事件的顺序。

(1)、持久化目录节点：客户端与 zookeeper 断开连接后，该节点依旧存在。
(2)、持久化顺序编号目录节点：客户端与 zookeeper 断开连接后，该节点依旧存在，只是 zookeeper 给该节点名称进行顺序编号。
(3)、临时目录节点：客户端与 zookeeper 断开连接后，该节点被删除。
(4)、临时顺序编号目录节点：客户端与 zookeeper 断开连接后，该节点被删除，只是 zookeeper 给该节点名称进行顺序编号。

4.3.1、创建持久化目录节点

[zk: 127.0.0.1:2182(CONNECTED) 1] create /test1 "test1"
Created /test1
[zk: 127.0.0.1:2182(CONNECTED) 2] create /test1/test1-1 "test1-1"
Created /test1/test1-1

注意：创建节点时，要赋值

获取节点的值

[zk: 127.0.0.1:2182(CONNECTED) 4] get /test1
test1

[zk: 127.0.0.1:2182(CONNECTED) 5] get -s /test1
test1
cZxid = 0x700000007
ctime = Sat Oct 08 09:31:36 CST 2022
mZxid = 0x700000007
mtime = Sat Oct 08 09:31:36 CST 2022
pZxid = 0x700000008
cversion = 1
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 5
numChildren = 1

[zk: 127.0.0.1:2182(CONNECTED) 6] get -s /test1/test1-1
test1-1
cZxid = 0x700000008
ctime = Sat Oct 08 09:32:02 CST 2022
mZxid = 0x700000008
mtime = Sat Oct 08 09:32:02 CST 2022
pZxid = 0x700000008
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 7
numChildren = 0

退出再进入，创建的节点还在

4.3.2、持久化顺序编号目录节点

[zk: 127.0.0.1:2182(CONNECTED) 3] create -s /test1/test2 "test2"
Created /test1/test20000000001
[zk: 127.0.0.1:2182(CONNECTED) 4] create -s /test1/test2 "test2"
Created /test1/test20000000002
[zk: 127.0.0.1:2182(CONNECTED) 5] create -s /test1/test2 "test2"
Created /test1/test20000000003
[zk: 127.0.0.1:2182(CONNECTED) 6] ls /test1
[test1-1, test20000000001, test20000000002, test20000000003]

如果原来没有序号节点，序号从 0 开始依次递增。如果原节点下已有 2 个节点，则再排序从 2 开始，以此类推。

4.3.3、创建临时目录节点

[zk: 127.0.0.1:2182(CONNECTED) 9] create -e /test3
Created /test3

[zk: 127.0.0.1:2182(CONNECTED) 10] create -e /test3/test3 "test3"
Ephemerals cannot have children: /test3/test3

[zk: 127.0.0.1:2182(CONNECTED) 11] ls /
[test1, test3, zookeeper]

[zk: 127.0.0.1:2182(CONNECTED) 12] quit

# 退出后再次连接，临时节点自动删除

[zk: 127.0.0.1:2182(CONNECTED) 0] ls /
[test1, zookeeper]

注意：临时节点无法添加子节点

4.3.4、临时顺序编号目录节点

[zk: 127.0.0.1:2182(CONNECTED) 7] ls /test1
[test1-1, test20000000001, test20000000002, test20000000003]
[zk: 127.0.0.1:2182(CONNECTED) 8] create -e /test1/test4
Created /test1/test4
[zk: 127.0.0.1:2182(CONNECTED) 9] create -e -s /test1/test4
Created /test1/test40000000006
[zk: 127.0.0.1:2182(CONNECTED) 10] ls /test1
[test1-1, test20000000001, test20000000002, test20000000003, test4, test40000000006]
[zk: 127.0.0.1:2182(CONNECTED) 11] quit

[zk: 127.0.0.1:2182(CONNECTED) 0] ls /test1
[test1-1, test20000000001, test20000000002, test20000000003]

修改节点数据

[zk: 127.0.0.1:2182(CONNECTED) 5] get /test1
test1
[zk: 127.0.0.1:2182(CONNECTED) 6] set /test1 "test"
[zk: 127.0.0.1:2182(CONNECTED) 7] get /test1
test

4.4、监听器原理

客户端注册监听它关心的目录节点，当目录节点发生变化(数据改变、节点删除、子目录节点增加删除)时，ZooKeeper会通知客户端。监听机制保证 ZooKeeper 保存的任何的数据的任何改变都能快速的响应到监听了该节点的应用程序。

4.4.1、原理详解

首先有一个 main() 线程
在 main 线程中创建 Zookeeper 客户端，这时就会创建两个线程，一个负责网络连接通信(connect)，一个负责监听(listener)。
通过 connect 线程，将注册的监听事件发送给 Zookeeper。
在 Zookeeper 的注册监听器列表中将注册的监听事件添加到列表中。
Zookeeper 监听到有数据或路径的变化，就会将消息发送给 listener 线程。
listener 线程内部调用了 process() 方法。

常见的监听有

监听节点的变化：get path [watch]
监听子节点的变化：ls path [watch]

Zookeeper 集群操作

4.4.2、节点的值变化监听

1、在 2183 节点上注册监听 /test1 节点数据变化

[zk: 127.0.0.1:2183(CONNECTED) 0] ls /
[test1, zookeeper]
[zk: 127.0.0.1:2183(CONNECTED) 1] get -w /test1
test

2、在 2182 节点上修改 /test1 节点数据

[zk: 127.0.0.1:2182(CONNECTED) 0] set /test1 "test1"

3、观察 2183 节点收到数据变化的监听

WATCHER::

WatchedEvent state:SyncConnected type:NodeDataChanged path:/test1

注意：注意:在 2182 再多次修改test的值，2183 上不会再收到监听。因为注册一次，只能监听一次。想再次监听，需要再次注册。

4.4.3、节点的子节点变化监听(路径变化)

1、在 2183 节点上注册监听 /test1 节点的子节点变化

[zk: 127.0.0.1:2183(CONNECTED) 0] ls -w /test1
[test1-1, test20000000001, test20000000002, test20000000003]

2、在 2182 节点上创建子节点

[zk: 127.0.0.1:2182(CONNECTED) 0] create /test1/test1-2 "test2"
Created /test1/test1-2

3、观察 2183 主机接收到子节点变化的监听

WATCHER::

WatchedEvent state:SyncConnected type:NodeChildrenChanged path:/test1

注意：节点的路径变化，也是注册一次，生效一次。想多次生效，就需要多次注册。

4.5、节点的删除与查看

1、删除节点

[zk: 127.0.0.1:2182(CONNECTED) 2] delete /test1/test1-2

2、递归删除节点

[zk: 127.0.0.1:2182(CONNECTED) 3] deleteall /test1

3、查看节点状态

[zk: 127.0.0.1:2182(CONNECTED) 4] stat /zookeeper
cZxid = 0x0
ctime = Thu Jan 01 08:00:00 CST 1970
mZxid = 0x0
mtime = Thu Jan 01 08:00:00 CST 1970
pZxid = 0x0
cversion = -2
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 0
numChildren = 2

zookeeper

本作品采用《CC 协议》，转载必须注明作者和本文链接

HuDu

版主 819 声望

我好菜啊(=_=)

0 人点赞

讨论数量: 0

(=￣ω￣=)··· 暂无内容！

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

Zookeeper 集群操作

一、集群安装

1.1、解压

1.2、配置服务器编号

1.3、配置 `zoo.cfg`文件

1.4、集群操作

1.4.1、分别启动 zookeeper

二、集群选举机制

2.1、第一次启动

2.2、非第一次启动

三、Zookeeper 启动停止脚本

四、客户端命令行操作

4.1、命令行语法

4.2、znode 节点数据信息

4.3、节点类型（持久/短暂/有序号/无序号）

4.3.1、创建持久化目录节点

4.3.2、持久化顺序编号目录节点

4.3.3、创建临时目录节点

4.3.4、临时顺序编号目录节点

4.4、监听器原理

4.4.1、原理详解

4.4.2、节点的值变化监听

4.4.3、节点的子节点变化监听(路径变化)

4.5、节点的删除与查看

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

Zookeeper 集群操作

一、集群安装

1.1、解压

1.2、配置服务器编号

1.3、配置 zoo.cfg文件

1.4、集群操作

1.4.1、分别启动 zookeeper

二、集群选举机制

2.1、第一次启动

2.2、非第一次启动

三、Zookeeper 启动停止脚本

四、客户端命令行操作

4.1、命令行语法

4.2、znode 节点数据信息

4.3、节点类型（持久/短暂/有序号/无序号）

4.3.1、创建持久化目录节点

4.3.2、持久化顺序编号目录节点

4.3.3、创建临时目录节点

4.3.4、临时顺序编号目录节点

4.4、监听器原理

4.4.1、原理详解

4.4.2、节点的值变化监听

4.4.3、节点的子节点变化监听(路径变化)

4.5、节点的删除与查看

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录

1.3、配置 `zoo.cfg`文件