千万重复数据需要去重，怎么处理？

面试题 / 67 / 7 / 创建于 3年前

请尝试在评论区里写下答案（如不能清楚表述，那么你可能没真正理解）。欢迎参与，为下一次求职做准备。

如题

王大牛

课程读者 408 声望

暂无个人描述~

0 人点赞

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

讨论数量: 7

dannier

0 声望

借助第三方服务，比如mongo、redis等等，数据插入redis，set类型之类的，在导出就是去过重的

3年前评论

chowjiawei

Laravel 8.x 译者 1.4k 声望 / 测开 @ 新大陆数字技术股份有限公司

队列命令慢慢删除重复数据即可注意这个慢慢的频率其实数据才千万从中删除重复的可能百万的样子你弄个几十秒就足够跑完命令了。

3年前评论

Taoqun

你怎么知道第一条和第一千万条数据是重复的

chowjiawei （作者）

@Taoqun mysql 查询全部的和重复的删除

游离不2

181 声望 / 后端代码搬运工 @ 不二科技

创建新表，根据重复的条件建立唯一索引
insert ignore into 新表 select * from 旧版

3年前评论

cheer

课程读者 64 声望

分治

3年前评论

九霄道长

课程读者 200 声望 / 全干工程师 @ 家里蹲

大数据量布隆过滤器

3年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

千万重复数据需要去重，怎么处理？

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

千万重复数据需要去重，怎么处理？

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录