websocket服务器测试

梦想星辰大海的个人博客 / 344 / 20 / 创建于 10个月前 / 更新于 8个月前

[TOC]

代码地址：github.com/buexplain/netsvr

netsvr网关进程，是websocket服务器，运行在Linux虚拟机内，启动后的初始内存：19KiB
business业务进程，是模拟业务逻辑的服务器端的，运行在宿主机上
stress压测进程，是模拟客户端的，运行在宿主机上

宿主机配置

Linux虚拟机配置

场景1：一万个只有心跳的连接

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停60秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔30秒，发起一次心跳，服务端会响应心跳。
所有阶段的连接建立完毕后，持续3分钟后，输出统计结果，关闭连接。

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景2：一万个单播的连接

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停60秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔30秒，发起一次心跳，服务端会响应心跳。
每个连接间，每隔5秒向服务器发起一次单播（自己发给自己），消息长度是128字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续3分钟后，输出统计结果，关闭连接。

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景3：一万个批量单播的连接

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停60秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔30秒，发起一次心跳，服务端会响应心跳。
每个连接间，每隔5秒向服务器发起一次批量单播（自己发给自己），消息长度是128字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续3分钟后，输出统计结果，关闭连接。

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景4：一万个组播的连接

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停60秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔30秒，发起一次心跳，服务端会响应心跳。
每个连接间，每隔5秒向服务器发起一次组播（一次性给多个人发消息），目标连接数是15个，消息长度是128字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续3分钟后，输出统计结果，关闭连接。

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景5：一千个订阅主题、取消订阅主题、按主题发布数据的连接

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停60秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔30秒，发起一次心跳，服务端会响应心跳。
每个连接，每隔5秒向服务器发起一次订阅100个主题、取消订阅50个主题、基于1个主题发布128字节的数据。
所有阶段的连接建立完毕后，持续3分钟后，输出统计结果，关闭连接。

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

当所有连接建立完毕后，netsvr中的主题数量是1225个主题，平均每个主题被303个连接订阅。

场景6：一个连接广播给一万个连接

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停60秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔30秒，发起一次心跳，服务端会响应心跳。
1个连接，每隔5秒向服务器发起一次广播，消息长度是128字节，注意这个长度不是数据打包后的长度。
所有阶段的连接建立完毕后，持续3分钟后，输出统计结果，关闭连接。

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

场景7：一万个登录、登出操作的连接

压测代码逻辑：

分三个阶段，每个阶段发起一部分连接，每个阶段连接建立完毕后，暂停60秒后，再进行下一个阶段，最后一个阶段不做暂停操作。
每个连接，每隔30秒，发起一次心跳，服务端会响应心跳。
每个连接，每隔5秒向服务器发起一次登录、登出操作，登录操作是：往网关存储新的uniqId、1kb的session数据、订阅10个主题，登出操作是：移除连接在网关中的uniqId、session、主题。
所有阶段的连接建立完毕后，持续3分钟后，输出统计结果，关闭连接。

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

当所有连接建立完毕后，netsvr中的主题数量是1226个主题，平均每个主题被38个连接订阅。

场景8：综合以上场景做一个全套测试

压测逻辑太冗长了，不再描述，只给压测配置：

# 日志级别 debug、info、warn、error
LogLevel = "debug"
# customer服务的websocket连接地址
CustomerWsAddress = "ws://192.168.241.2:6060/netsvr"
# worker服务的监听地址
WorkerListenAddress = "192.168.241.2:6061"
# 该值与netsvr.toml的配置保持一致
ConnOpenCustomUniqIdKey = ""
# 表示消息被哪个workerId的业务进程处理
WorkerId = 1
# 每个连接间隔多少秒进行心跳
Heartbeat = 30
# 是否并发初始化每个压测模块
Concurrent = true
# 当所有连接建立完毕后的持续时间，单位秒
Suspend = 180
# 沉默的连接
[Silent]
Enable = true
Step = [
    #每个阶段初始化的连接数、每秒初始化的连接数、本阶段初始化完毕后的暂停秒数
    { ConnNum = 600, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 600, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 800, ConnectNum = 100, Suspend = 60 },
]

# 疯狂登录登出的连接
[Sign]
Enable = true
# 每个连接间隔多少秒进行一次登录、登出操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂单播的连接
[SingleCast]
Enable = true
# 单播时发送的消息大小
MessageLen = 128
# 每个连接间隔多少秒进行一次单播操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂批量单播的连接
[SingleCastBulk]
Enable = true
MessageLen = 256
# 一组包含的uniqId数量
UniqIdNum = 15
# 每个连接间隔多少秒进行一次批量单播操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂组播的连接
[Multicast]
Enable = true
MessageLen = 256
# 一组包含的uniqId数量
UniqIdNum = 15
# 每个连接间隔多少秒进行一次组播操作
MessageInterval = 5
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]

# 疯狂订阅、取消订阅、发布，下面这套配置下，主题总数是1225个主题，平均每个主题被80个连接订阅，当然因为机器性能、网络等原因，实际订阅数可能不一样
[Topic]
Enable = true
# 每个连接的备选主题数量，该值是随机产生的，该值越大，则一个主题会被多个连接订阅的概率越小
AlternateTopicNum = 600
# 主题字符串的长度，4有1413720种排列 3有42840种排列，2有1260种排列，该值越大，则一个主题会被多个连接订阅的概率越小
AlternateTopicLen = 2
# 连接建立的步骤
Step = [
    { ConnNum = 50, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 100, ConnectNum = 100, Suspend = 60 },
    { ConnNum = 200, ConnectNum = 100, Suspend = 60 },
]
[Topic.Subscribe]
# 运行模式 0 延长多少秒执行，1 间隔多少秒执行一次
Mode = 1
# 延长或间隔的秒数
ModeSecond = 5
# 每次订阅的主题数量，该值是轮询AlternateTopicNum得到的，第零个主题一定会被订阅
TopicNum = 100
[Topic.Unsubscribe]
# 运行模式 0 延长多少秒执行，1 间隔多少秒执行一次
Mode = 1
# 延长或间隔的秒数
ModeSecond = 5
# 每次取消订阅的主题数量，该值是轮询AlternateTopicNum得到的，但是不会取消连接订阅的第零个主题
TopicNum = 50
[Topic.Publish]
# 发布数据的大小
MessageLen = 512
# 运行模式 0 延长多少秒执行，1 间隔多少秒执行一次
Mode = 1
# 延长或间隔的秒数
ModeSecond = 5
# 每次发布消息的主题数量，该值是轮询AlternateTopicNum得到的，但是连接订阅的第零个主题是一定会被用于消息发布的
TopicNum = 1

# 疯狂广播的连接
[Broadcast]
Enable = true
MessageLen = 1024
# 每个连接间隔多少秒进行一次广播操作
MessageInterval = 5
Step = [
    { ConnNum = 2, ConnectNum = 10, Suspend = 60 },
    { ConnNum = 4, ConnectNum = 10, Suspend = 60 },
    { ConnNum = 6, ConnectNum = 10, Suspend = 60 },
]

netsvr监控，该图是所有连接建立完毕，持续1分钟后的截图
websocket服务器测试
该图是压测代码的运行日志与统计结果

总结

在以上场景下，github.com/buexplain/netsvr 的代码运行稳定。

golang websocket

本作品采用《CC 协议》，转载必须注明作者和本文链接

讨论数量: 20

Insua

见习版主 240 声望 / owner @ insua.me

websocket 怎么压测

10个月前评论

梦想星辰大海（楼主）

写客户端逻辑去压测

kureCC

0 声望

可以在生产环境使用该项目吗？

8个月前评论

理论上可以的，代码都有测试过，但是为了维护你的利益，我不能打包票，所以我只是说理论上可以。我建议你先考察一下，有啥问题我可以解答和修复。

kureCC （作者）

@梦想星辰大海我这边打算在生产环境上使用这个，咱们拉个群吧，方便交流？

@kureCC 微信号发我邮箱，YnVleHBsYWluQDE2My5jb20=，我加你好友

@梦想星辰大海已发送

@kureCC 我已发出申请

耳东

见习助教 53 声望

我比较好奇，怎么快速给一万客户端发消息

因为一个连接是不允许被多个线程、协程同时写入的，否则数据会乱，所以无论是开协程、线程去分批写入都没有用，没啥技巧，就是客户端的连接id准备好，循环一个个发。
这个是我发广播的代码：

// Broadcast 广播
func Broadcast(param []byte, _ *workerManager.ConnProcessor) {
    //解析业务进程发来的需要广播的数据
    payload := objPool.Broadcast.Get()
    defer objPool.Broadcast.Put(payload)
    if err := proto.Unmarshal(param, payload); err != nil {
        log.Logger.Error().Err(err).Msg("Proto unmarshal netsvrProtocol.Broadcast failed")
        return
    }
    //如果数据是空，直接退出
    if len(payload.Data) == 0 {
        return
    }
    //取出所有的连接
    //加1024的目的是担心获取连接的过程中又有连接进来，导致slice的底层发生扩容，引起内存拷贝
    connections := objPool.ConnSlice.Get(customerManager.Manager.Len() + 1024)
    for _, c := range customerManager.Manager {
        //从客户端连接管理对象中得到所有在线的连接
        c.GetConnections(connections)
    }
    //循环所有的连接，挨个发送出去
    for _, conn := range *connections {
        if err := conn.WriteMessage(websocket.TextMessage, payload.Data); err == nil {
            //发送成功，变更统计数据
            metrics.Registry[metrics.ItemCustomerWriteNumber].Meter.Mark(1)
            metrics.Registry[metrics.ItemCustomerWriteByte].Meter.Mark(int64(len(payload.Data)))
        } else {
            _ = conn.Close()
        }
    }
    objPool.ConnSlice.Put(connections)
}

@梦想星辰大海往连接里写入数据，应该改成管道的吧，如果此时本身连接有收发消息，这边又被其他连接广播下发消息，可能会引起ws连接并发panic

@kureCC 写和读可以同时的，因为tcp是全双工通信的呀。

@梦想星辰大海我的意思是双写，读写是ok

连接的底层对象有一把锁，我使用的websocket包是这个：github.com/lesismal/nbio/

@梦想星辰大海 nice，原生conn双写会出问题。

lxzan

@kureCC net.Conn是线程安全的, 底层有锁

Lien_Go

6 声望

我们生产有个场景，客户会导入excel我们作为任务来处理，但是处理的时间会有一点长，目前是通过轮询来查看任务，请问可以用你的项目吗？我的想法是完成任务以后发个消息后续通过websocket来告诉前端。

可以的，不过我并没有提供go语言的高级sdk，我这个项目主要是为php做websocket网关层的，提供的也是php语言的高级sdk，如果你是go开发者，可以考虑直接用websocket包实现你需求，因为我感觉你的需求比较简单，没必要搞个大东西上去。

大佬请教下有什么比较简单的方式吗是可以引入现成的包吗

我找了这两个websocket包，你可以参考一下。
gorilla/websocket
lesismal/nbio

如果还是觉得开发麻烦，想直接使用我这个，可以看看这个代码：func RequestNetSvr(req proto.Message, cmd netsvrProtocol.Cmd, resp proto.Message)
这个是我封装的与netsvr的worker服务器交互的方法，这个代码我刚才又优化了一版，你如果要复制到你的项目下，你得review一下，我刚才提交后又review一波，发现了一些小bug。

你的需求，用我这个项目来实现，大概的思路是：

安装并启动netsvr，注意将配置netsvr.toml的ConnOpenCustomUniqIdKey = ""，改为ConnOpenCustomUniqIdKey = "uniqId"

新增客户端获取接入netsvr的token的接口，服务端获取netsvr的token的代码如下：

resp := &netsvrProtocol.ConnOpenCustomUniqIdTokenResp{}
testUtils.RequestNetSvr(nil, netsvrProtocol.Cmd_ConnOpenCustomUniqIdToken, resp)

客户端连接到netsvr成功后，请求服务端，告知服务端，客户端连接成功，服务端应该将该客户端的连接信息存储起来，便于后续使用，客户端连接到netsvr的地址示例：
```
//token和uniqId都是服务端给
new websocket("ws://127.0.0.1:6060/netsvr?uniqId=01xxx&token=o0o0o")
```

改造导入excel的接口，通过单播到netsvr的方式，将导入进度下发给客户端，代码如下：

ret := &netsvrProtocol.SingleCast{} //构建单播对象
ret.UniqId = "0064DF23A97849A100"   //设置接收方
ret.Data = []byte("code:0,msg:导入进度是10%")       //设置客户端需的数据
testUtils.RequestNetSvr(ret, netsvrProtocol.Cmd_SingleCast, nil) //发送到网关

客户端编写接收网关下发的导入进度的数据的处理逻辑

注意：以上思路都是基于netsvr只部署了一台机器的情况，如果要考虑部署多台机器的情况，有点复杂。

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

websocket服务器测试

场景1：一万个只有心跳的连接

场景2：一万个单播的连接

场景3：一万个批量单播的连接

场景4：一万个组播的连接

场景5：一千个订阅主题、取消订阅主题、按主题发布数据的连接

场景6：一个连接广播给一万个连接

场景7：一万个登录、登出操作的连接

场景8：综合以上场景做一个全套测试

总结

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

websocket服务器测试

场景1：一万个只有心跳的连接

场景2：一万个单播的连接

场景3：一万个批量单播的连接

场景4：一万个组播的连接

场景5：一千个订阅主题、取消订阅主题、按主题发布数据的连接

场景6：一个连接广播给一万个连接

场景7：一万个登录、登出操作的连接

场景8：综合以上场景做一个全套测试

总结

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录