请教下Excel前端导入，后端go程序读取存到数据库问题

问答 / 0 / 10 / 创建于 1年前

1. 运行环境

go 1.20, linux/amd64，前端vue3.2

2. 问题描述？

前端客户使用vue界面进行excel导入，后端go程序读取里面的数据，存到数据库，现在客户的excel偏大，每个导入的表格接近200M，里面表的数据少的有10几万条，多的几十万条，请教下有什么合适的方式处理

3. 您期望得到的结果？

1、表格导入上传成功；
2、表格数据存入数据库成功；
3、耗时尽量少

4. 您实际得到的结果？

暂时没有研究出合适方案

Losunlee

课程读者 36 声望

暂无个人描述~

0 人点赞

讨论数量: 10

Imuyu

课程读者 861 声望

文件上传，后端读取到数据，存储临时数据库，前台分页展示，可修改，点击提交在创建到真正的数据

1年前评论

Losunlee （楼主）

我直接简单粗暴的搞了切片上传，客户平时导入就一月一次，直接上传完后协程都没开，直接读取存数据库，前端分页显示

风吹枫落

课程读者 23 声望 / 首席搬砖 @ 沈阳工地

没特殊要求的话可以用js转成csv再由后端处理，速度很快的

1年前评论

Losunlee （楼主）

这个还没试过，着急交付，先把功能搞出来交过去了

Losunlee （楼主）

csv试了下用excelize好像处理不了

风吹枫落（作者）

@Losunlee csv 就是文本文件，没必要用excelize

Losunlee （楼主）

@风吹枫落那再请教下我数据要存数据库怎么玩，有类似的操作库嘛，纯内容处理太麻烦了

Henry_

0 声望

可以暂时表格数据，异步处理数据并返回每行数据的处理结果；

1年前评论

Losunlee （楼主）

异步处理前端半天没反应，交互不好处理

sosure

见习助教 30 声望 / 没有 @ 没有

文件上传提交给服务器，服务器读取数据，将数据分片开启多个协程批量插入数据。
然后可以将前n页的数据缓存到redis中，等数据库插入数据完毕后删除缓存，插入数据的过程中需要设置锁，用于控制请求读取是否走缓存。
这样用户既可以及时请求到导入的数据，又不影响后台数据插入数据库。

1年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

请教下Excel前端导入，后端go程序读取存到数据库问题

1. 运行环境

2. 问题描述？

3. 您期望得到的结果？

4. 您实际得到的结果？

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请教下Excel前端导入，后端go程序读取存到数据库问题

1. 运行环境

2. 问题描述？

3. 您期望得到的结果？

4. 您实际得到的结果？

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录