一分钟多进程百万数据导出到csv并上传到oss

分享 / 4 / 31 / 创建于 1年前 / 更新于 1年前

需求

产品要导出某个团队某些用户的步行日志到csv文件里，并且要在一个文件内，而且速度要快不能太耗时间。

问题

日志往往意味着数据量大。
要导在一个文件内，数据量虽然大也能解决，无非就是分页查询并写入csv。
速度快时间短，也能解决无非就是多进程导出多个文件，没有什么难的，但是需求是一个文件！

解决思路

先查询出要导出的数据总量
投入到批次队列里面启动多个消费者查询并写入到多个csv里面。
投递队列时记录每个队列写入的csv具体路径和文件名称。
利用批次队列的特性在执行完毕时，把上一步记录的多个csv按照顺序合并到一个csv里面
合并完成之后，删除合并前的多个csv,保留合并的csv并上传到oss

结果

经过测试50多万数据，批次队列里面每个队列分配5万条数据去处理，走完一个流程耗时不到一分钟，这种方式有多快取决于服务器能启动多少个消费者多少个进程，我测试时用的是自动策略，最高是同时8个消费者在执行。

一分钟多进程百万数据导出到csv并上传到oss

public function csv(array $data,string $file) { $fp = fopen(public_path('export/'.$file), 'w'); $bom = pack('CCC', 0xef, 0xbb, 0xbf); fwrite($fp, $bom); foreach ($data as $fields) { fputcsv($fp, $fields); } fclose($fp); }

讨论数量: 31

mowangjuanzi

Laravel 9.x 译者 258 声望 / PHP工程师 @ null

其实还有一个优化点。那就是OSS不是支持字符串上传嘛。你直接将本地合并的功能，通过OSS来实现，这样不就把本地文件合并的时间给省下来了么。就是不知道这玩意能省下几秒钟了。 :joy:

1年前评论

LXK （楼主）

也是哈文件越大省的时间越多，我试试，不过这样的话要队列有序执行，才能按顺序上传合并。

mowangjuanzi （作者）

@LXK 哦，你合并的 csv 还得有顺序啊。那就看你实现了。反正我理解，就是把你多个csv写入一个文件的逻辑，改为写入到OSS就可以了

徵羽宫

课程读者 298 声望

或许可以换个思路，用python（其他语言也可以，总之是运行在本地电脑）写个客户端脚本实现这个功能。通过 laravel 广播，或者 python 直接连线上 Redis 然后通过发布订阅接收消息（不推荐，这样服务器安全组需要放行 6379 端口，有一定安全隐患）。当导出事件触发时，laravel队列直接发送消息给 python 客户端, 然后 python 处理完之后通过 ossutil64 或者 OSS python SDK 上传。这样的好处就是不受服务器性能限制。而且可以很方便的在客户端再搞一个多线程。并且办公室加一台电脑的成本比线上加一台服务器成本低的多。

徵羽宫（作者）

php 做客户端的话，如果客户端搞多进程需要 swoole， swoole 又需要 linux。相对 python 在运行环境上可能要麻烦一点。

是的，有想过用golang实现或者laravel10新插件进程管理来实现，但是考虑到公司技术栈就用php来实现了。

24K大白羊

选择 python 的原因是什么呢？效率问题吗？

@24K大白羊 python 相对简单，环境搭建容易，功能却又很强大。它有协程库也有多进程库，可以方便的操作文件系统，还可以直接调用其他可执行文件，用py + qt 的技术栈还可以做 gui。后期功能扩展的话，不管是深度还是广度，感觉python在语言层面都没有局限性。

西巴以及

课程读者 117 声望

放代码或者写个文档来大家学习一下嘛

其实关键点就三个，写入csv原生或者好多插件都行，队列批次官方文档看就行，合并文件用的cat命令。

西巴以及（作者）

@LXK 我用的Laravel-Excel 写入大文件直接会内存溢出。

@西巴以及那用原生的分页或者分块写入。

CodingHePing

课程读者 159 声望 / 后端开发工程师 @ 快牛

用swow哇

一直听说，还没有学习，改天看看，用golang实现了一版。

CodingHePing （作者）

@LXK 都行

qufo

Laravel 8.x 译者 292 声望

你的需求真这么简单的话，我觉得 MySQL 自己的 select into outfile 更简单和直接。虽然没测过，但应该效率不会差。

没有登录服务器的权限。

好吧，还有一个方案就是，查询数据的sql 也可以在 go func 中执行。多启几个 go func ,按 id 制去查。每个 go func 查 5万行或者10万行。一般我们的 id 都是顺序的，这样能查全也不会重。这样分布式的查写传效率应该还能高一点。

是的sql查询也应该放到协程里面，确实效率能高不少。

laravelphp_game

课程读者 15 声望

用的哪个消息队列,我看官方的queue里面没有开启多消费者一说...代码在码云或者Github分享一下 :joy: :joy:

Laravel

队列《Laravel 8 中文文档》 Supervisor

laravelphp_game （作者）

@LXK 好勒,多谢.我先瞅瞅

@LXK 额,还是没看到他这个queue 有多消费者一说啊. 话说你一般是用queue:listen还是queue:work --daemon

sanders

@laravelphp_game supervisor 是专门用于进程管理的软件，可以配置启动进程数量，其他的替代方案可以参考 horizon，可以根据队列长度动态调整进程数。

bishi123

5 声望

只能swoole了，redis队列也不行的，也会慢

试了下，swoole协程在这种大数据导出上面性能不怎么好。

派大旺

课程读者 19 声望

楼主有没有尝试 xlswriter 这个扩展, 可以对比一下用时对比我也是百万数据导出直接用游标查询 + xlswriter 百万数据也是30s

我试试

派大旺（作者）

@LXK OK 等你结论

@派大旺试了下，不如多进程消费者和goalng协程导出。同样是百万数据，有的字段多或者查询的表多，其中能影响时间的因素不少。其实我们之前是原生函数持续写入csv，不过毕竟是单线程虽然不会爆内存，但是遇见字段多的和查询表多的，就不如多线程和多协程了。

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

一分钟多进程百万数据导出到csv并上传到oss

需求

问题

解决思路

结果

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

一分钟多进程百万数据导出到csv并上传到oss

需求

问题

解决思路

结果

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录