请教下Excel前端导入，后端go程序读取存到数据库问题

问答 / 154 / 10 / 创建于 10个月前

1. 运行环境

go 1.20, linux/amd64，前端vue3.2

2. 问题描述？

前端客户使用vue界面进行excel导入，后端go程序读取里面的数据，存到数据库，现在客户的excel偏大，每个导入的表格接近200M，里面表的数据少的有10几万条，多的几十万条，请教下有什么合适的方式处理

3. 您期望得到的结果？

1、表格导入上传成功；
2、表格数据存入数据库成功；
3、耗时尽量少

4. 您实际得到的结果？

暂时没有研究出合适方案

课程读者 36 声望

暂无个人描述~

推荐文章：

更多推荐...

分享一本一直更新的Gitbook，[为你自己学Go] 18 / 11 |

一： 2023 go岗位-跳槽-学习规划（求补充） 16 / 16 |

GO面试题集锦快答[持续更新] 55 / 10 |

GoWeb框架Gin学习总结 38 / 16 |

从开发到部署微服务保姆级视频教程 33 / 3 |

构建 Go 应用 docker 镜像的十八种姿势 87 / 15 |

讨论数量: 10

Imuyu

课程读者 777 声望

文件上传，后端读取到数据，存储临时数据库，前台分页展示，可修改，点击提交在创建到真正的数据

10个月前评论

Losunlee （楼主）

我直接简单粗暴的搞了切片上传，客户平时导入就一月一次，直接上传完后协程都没开，直接读取存数据库，前端分页显示

风吹枫落

课程读者 23 声望 / 首席搬砖 @ 沈阳工地

没特殊要求的话可以用js转成csv再由后端处理，速度很快的

10个月前评论

Losunlee （楼主）

这个还没试过，着急交付，先把功能搞出来交过去了

Losunlee （楼主）

csv试了下用excelize好像处理不了

风吹枫落（作者）

@Losunlee csv 就是文本文件，没必要用excelize

Losunlee （楼主）

@风吹枫落那再请教下我数据要存数据库怎么玩，有类似的操作库嘛，纯内容处理太麻烦了

Henry_

0 声望

可以暂时表格数据，异步处理数据并返回每行数据的处理结果；

10个月前评论

Losunlee （楼主）

异步处理前端半天没反应，交互不好处理

sosure

见习助教 30 声望 / 没有 @ 没有

文件上传提交给服务器，服务器读取数据，将数据分片开启多个协程批量插入数据。
然后可以将前n页的数据缓存到redis中，等数据库插入数据完毕后删除缓存，插入数据的过程中需要设置锁，用于控制请求读取是否走缓存。
这样用户既可以及时请求到导入的数据，又不影响后台数据插入数据库。

9个月前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助