websocket服务器测试

梦想星辰大海的个人博客 / 2 / 20 / 创建于 1年前 / 更新于 1年前

[TOC]

代码地址：github.com/buexplain/netsvr

netsvr 网关进程，是 websocket 服务器，运行在 Linux 虚拟机内，启动后的初始内存：19KiB
business 业务进程，是模拟业务逻辑的服务器端的，运行在宿主机上
stress 压测进程，是模拟客户端的，运行在宿主机上

宿主机配置

Linux 虚拟机配置
Linux虚拟机配置

场景 1：一万个只有心跳的连接#

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停 60 秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔 30 秒，发起一次心跳，服务端会响应心跳。
所有阶段的连接建立完毕后，持续 3 分钟后，输出统计结果，关闭连接。

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景 2：一万个单播的连接#

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停 60 秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔 30 秒，发起一次心跳，服务端会响应心跳。
每个连接间，每隔 5 秒向服务器发起一次单播（自己发给自己），消息长度是 128 字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续 3 分钟后，输出统计结果，关闭连接。

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景 3：一万个批量单播的连接#

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停 60 秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔 30 秒，发起一次心跳，服务端会响应心跳。
每个连接间，每隔 5 秒向服务器发起一次批量单播（自己发给自己），消息长度是 128 字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续 3 分钟后，输出统计结果，关闭连接。

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景 4：一万个组播的连接#

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停 60 秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔 30 秒，发起一次心跳，服务端会响应心跳。
每个连接间，每隔 5 秒向服务器发起一次组播（一次性给多个人发消息），目标连接数是 15 个，消息长度是 128 字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续 3 分钟后，输出统计结果，关闭连接。

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景 5：一千个订阅主题、取消订阅主题、按主题发布数据的连接#

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停 60 秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔 30 秒，发起一次心跳，服务端会响应心跳。
每个连接，每隔 5 秒向服务器发起一次订阅 100 个主题、取消订阅 50 个主题、基于 1 个主题发布 128 字节的数据。
所有阶段的连接建立完毕后，持续 3 分钟后，输出统计结果，关闭连接。

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

当所有连接建立完毕后，netsvr 中的主题数量是 1225 个主题，平均每个主题被 303 个连接订阅。

场景 6：一个连接广播给一万个连接#

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停 60 秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔 30 秒，发起一次心跳，服务端会响应心跳。
1 个连接，每隔 5 秒向服务器发起一次广播，消息长度是 128 字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续 3 分钟后，输出统计结果，关闭连接。

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景 7：一万个登录、登出操作的连接#

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停 60 秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔 30 秒，发起一次心跳，服务端会响应心跳。
每个连接，每隔 5 秒向服务器发起一次登录、登出操作，登录操作是：往网关存储新的 uniqId、1kb 的 session 数据、订阅 10 个主题，登出操作是：移除连接在网关中的 uniqId、session、主题。
所有阶段的连接建立完毕后，持续 3 分钟后，输出统计结果，关闭连接。

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

当所有连接建立完毕后，netsvr 中的主题数量是 1226 个主题，平均每个主题被 38 个连接订阅。

场景 8：综合以上场景做一个全套测试#

压测逻辑太冗长了，不再描述，只给压测配置：

# 日志级别 debug、info、warn、error
LogLevel = "debug"
# customer服务的websocket连接地址
CustomerWsAddress = "ws://192.168.241.2:6060/netsvr"
# worker服务的监听地址
WorkerListenAddress = "192.168.241.2:6061"
# 该值与netsvr.toml的配置保持一致
ConnOpenCustomUniqIdKey = ""
# 表示消息被哪个workerId的业务进程处理
WorkerId = 1
# 每个连接间隔多少秒进行心跳
Heartbeat = 30
# 是否并发初始化每个压测模块
Concurrent = true
# 当所有连接建立完毕后的持续时间，单位秒
Suspend = 180
# 沉默的连接
[Silent]
Enable = true
Step = [
    #每个阶段初始化的连接数、每秒初始化的连接数、本阶段初始化完毕后的暂停秒数
    { ConnNum = 600, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 600, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 800, ConnectNum = 100, Suspend = 60 },
]

# 疯狂登录登出的连接
[Sign]
Enable = true
# 每个连接间隔多少秒进行一次登录、登出操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂单播的连接
[SingleCast]
Enable = true
# 单播时发送的消息大小
MessageLen = 128
# 每个连接间隔多少秒进行一次单播操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂批量单播的连接
[SingleCastBulk]
Enable = true
MessageLen = 256
# 一组包含的uniqId数量
UniqIdNum = 15
# 每个连接间隔多少秒进行一次批量单播操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂组播的连接
[Multicast]
Enable = true
MessageLen = 256
# 一组包含的uniqId数量
UniqIdNum = 15
# 每个连接间隔多少秒进行一次组播操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂订阅、取消订阅、发布，下面这套配置下，主题总数是1225个主题，平均每个主题被80个连接订阅，当然因为机器性能、网络等原因，实际订阅数可能不一样
[Topic]
Enable = true
# 每个连接的备选主题数量，该值是随机产生的，该值越大，则一个主题会被多个连接订阅的概率越小
AlternateTopicNum = 600
# 主题字符串的长度，4有1413720种排列 3有42840种排列，2有1260种排列，该值越大，则一个主题会被多个连接订阅的概率越小
AlternateTopicLen = 2
# 连接建立的步骤
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]
[Topic.Subscribe]
# 运行模式 0 延长多少秒执行，1 间隔多少秒执行一次
Mode = 1
# 延长或间隔的秒数
ModeSecond = 5
# 每次订阅的主题数量，该值是轮询AlternateTopicNum得到的，第零个主题一定会被订阅
TopicNum = 100
[Topic.Unsubscribe]
# 运行模式 0 延长多少秒执行，1 间隔多少秒执行一次
Mode = 1
# 延长或间隔的秒数
ModeSecond = 5
# 每次取消订阅的主题数量，该值是轮询AlternateTopicNum得到的，但是不会取消连接订阅的第零个主题
TopicNum = 50
[Topic.Publish]
# 发布数据的大小
MessageLen = 512
# 运行模式 0 延长多少秒执行，1 间隔多少秒执行一次
Mode = 1
# 延长或间隔的秒数
ModeSecond = 5
# 每次发布消息的主题数量，该值是轮询AlternateTopicNum得到的，但是连接订阅的第零个主题是一定会被用于消息发布的
TopicNum = 1

# 疯狂广播的连接
[Broadcast]
Enable = true
MessageLen = 1024
# 每个连接间隔多少秒进行一次广播操作
MessageInterval = 5
Step = [
    { ConnNum = 2, ConnectNum = 10, Suspend = 60 },
    { ConnNum = 4, ConnectNum = 10, Suspend = 60 },
    { ConnNum = 6, ConnectNum = 10, Suspend = 60 },
]

netsvr 监控，该图是所有连接建立完毕，持续 1 分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

总结#

在以上场景下，github.com/buexplain/netsvr 的代码运行稳定。

golang websocket

本作品采用《CC 协议》，转载必须注明作者和本文链接

// Broadcast 广播 func Broadcast(param []byte, _ *workerManager.ConnProcessor) { //解析业务进程发来的需要广播的数据 payload := objPool.Broadcast.Get() defer objPool.Broadcast.Put(payload) if err := proto.Unmarshal(param, payload); err != nil { log.Logger.Error().Err(err).Msg("Proto unmarshal netsvrProtocol.Broadcast failed") return } //如果数据是空，直接退出 if len(payload.Data) == 0 { return } //取出所有的连接 //加1024的目的是担心获取连接的过程中又有连接进来，导致slice的底层发生扩容，引起内存拷贝 connections := objPool.ConnSlice.Get(customerManager.Manager.Len() + 1024) for _, c := range customerManager.Manager { //从客户端连接管理对象中得到所有在线的连接 c.GetConnections(connections) } //循环所有的连接，挨个发送出去 for _, conn := range *connections { if err := conn.WriteMessage(websocket.TextMessage, payload.Data); err == nil { //发送成功，变更统计数据 metrics.Registry[metrics.ItemCustomerWriteNumber].Meter.Mark(1) metrics.Registry[metrics.ItemCustomerWriteByte].Meter.Mark(int64(len(payload.Data))) } else { _ = conn.Close() } } objPool.ConnSlice.Put(connections) }

ret := &netsvrProtocol.SingleCast{} //构建单播对象 ret.UniqId = "0064DF23A97849A100" //设置接收方 ret.Data = []byte("code:0,msg:导入进度是10%") //设置客户端需的数据 testUtils.RequestNetSvr(ret, netsvrProtocol.Cmd_SingleCast, nil) //发送到网关

讨论数量: 20

Insua

见习版主 240 声望 / owner @ insua.me

websocket 怎么压测

1年前评论

梦想星辰大海（楼主）

写客户端逻辑去压测

kureCC

0 声望

可以在生产环境使用该项目吗？

理论上可以的，代码都有测试过，但是为了维护你的利益，我不能打包票，所以我只是说理论上可以。我建议你先考察一下，有啥问题我可以解答和修复。

kureCC （作者）

@梦想星辰大海我这边打算在生产环境上使用这个，咱们拉个群吧，方便交流？

@kureCC 微信号发我邮箱，YnVleHBsYWluQDE2My5jb20=，我加你好友

@梦想星辰大海已发送

@kureCC 我已发出申请

耳东

见习助教 57 声望

我比较好奇，怎么快速给一万客户端发消息

因为一个连接是不允许被多个线程、协程同时写入的，否则数据会乱，所以无论是开协程、线程去分批写入都没有用，没啥技巧，就是客户端的连接id准备好，循环一个个发。
这个是我发广播的代码：

@梦想星辰大海往连接里写入数据，应该改成管道的吧，如果此时本身连接有收发消息，这边又被其他连接广播下发消息，可能会引起ws连接并发panic

@kureCC 写和读可以同时的，因为tcp是全双工通信的呀。

@梦想星辰大海我的意思是双写，读写是ok

连接的底层对象有一把锁，我使用的websocket包是这个：github.com/lesismal/nbio/

@梦想星辰大海 nice，原生conn双写会出问题。

lxzan

@kureCC net.Conn是线程安全的, 底层有锁

Lien_Go

6 声望

我们生产有个场景，客户会导入 excel 我们作为任务来处理，但是处理的时间会有一点长，目前是通过轮询来查看任务，请问可以用你的项目吗？我的想法是完成任务以后发个消息后续通过 websocket 来告诉前端。

可以的，不过我并没有提供go语言的高级sdk，我这个项目主要是为php做websocket网关层的，提供的也是php语言的高级sdk，如果你是go开发者，可以考虑直接用websocket包实现你需求，因为我感觉你的需求比较简单，没必要搞个大东西上去。

大佬请教下有什么比较简单的方式吗是可以引入现成的包吗

我找了这两个websocket包，你可以参考一下。
gorilla/websocket
lesismal/nbio

如果还是觉得开发麻烦，想直接使用我这个，可以看看这个代码：func RequestNetSvr(req proto.Message, cmd netsvrProtocol.Cmd, resp proto.Message)
这个是我封装的与netsvr的worker服务器交互的方法，这个代码我刚才又优化了一版，你如果要复制到你的项目下，你得review一下，我刚才提交后又review一波，发现了一些小bug。

你的需求，用我这个项目来实现，大概的思路是：

安装并启动netsvr，注意将配置netsvr.toml的ConnOpenCustomUniqIdKey = ""，改为ConnOpenCustomUniqIdKey = "uniqId"

新增客户端获取接入netsvr的token的接口，服务端获取netsvr的token的代码如下：

resp := &netsvrProtocol.ConnOpenCustomUniqIdTokenResp{}
testUtils.RequestNetSvr(nil, netsvrProtocol.Cmd_ConnOpenCustomUniqIdToken, resp)

客户端连接到netsvr成功后，请求服务端，告知服务端，客户端连接成功，服务端应该将该客户端的连接信息存储起来，便于后续使用，客户端连接到netsvr的地址示例：
```
//token和uniqId都是服务端给
new websocket("ws://127.0.0.1:6060/netsvr?uniqId=01xxx&token=o0o0o")
```

改造导入excel的接口，通过单播到netsvr的方式，将导入进度下发给客户端，代码如下：

客户端编写接收网关下发的导入进度的数据的处理逻辑

注意：以上思路都是基于netsvr只部署了一台机器的情况，如果要考虑部署多台机器的情况，有点复杂。

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

websocket服务器测试

场景 1：一万个只有心跳的连接#

场景 2：一万个单播的连接#

场景 3：一万个批量单播的连接#

场景 4：一万个组播的连接#

场景 5：一千个订阅主题、取消订阅主题、按主题发布数据的连接#

场景 6：一个连接广播给一万个连接#

场景 7：一万个登录、登出操作的连接#

场景 8：综合以上场景做一个全套测试#

总结#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

websocket服务器测试

场景 1：一万个只有心跳的连接#

场景 2：一万个单播的连接#

场景 3：一万个批量单播的连接#

场景 4：一万个组播的连接#

场景 5：一千个订阅主题、取消订阅主题、按主题发布数据的连接#

场景 6：一个连接广播给一万个连接#

场景 7：一万个登录、登出操作的连接#

场景 8：综合以上场景做一个全套测试#

总结#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录