千万重复数据需要去重，怎么处理？

面试题 / 1364 / 7 / 创建于 2年前

请尝试在评论区里写下答案（如不能清楚表述，那么你可能没真正理解）。欢迎参与，为下一次求职做准备。

如题

课程读者 404 声望

暂无个人描述~

《L02 从零构建论坛系统》

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

面试 POPER 的后端开发工程师的离奇经历 34 / 104 |

高效办公小技巧——如何批量处理 SQL 文件？ 19 / 10 |

百万级数据导入(hyperf+xlswriter+task+websocket) 19 / 12 |

📙《高并发的哲学原理》开源图书发布十一天 star 数已经破千！ 47 / 16 |

[踩了个坑] Laravel 访问https网址，url('/')竟然只返回 http？ 16 / 14 |

基于Hyperf + Vue + Element 构建的后台管理系统（内置聊天系统） 68 / 21 |

讨论数量: 7

dannier

0 声望

借助第三方服务，比如mongo、redis等等，数据插入redis，set类型之类的，在导出就是去过重的

2年前评论

chowjiawei

Laravel 8.x 译者 1.4k 声望 / 想转行啊 @ 新大陆数字技术

队列命令慢慢删除重复数据即可注意这个慢慢的频率其实数据才千万从中删除重复的可能百万的样子你弄个几十秒就足够跑完命令了。

2年前评论

Taoqun

你怎么知道第一条和第一千万条数据是重复的

chowjiawei （作者）

@Taoqun mysql 查询全部的和重复的删除

游离不2

166 声望 / 后端代码搬运工 @ 不二科技

创建新表，根据重复的条件建立唯一索引
insert ignore into 新表 select * from 旧版

1年前评论

cheer

课程读者 64 声望

分治

1年前评论

九霄道长

课程读者 200 声望 / 全干工程师 @ 家里蹲

大数据量布隆过滤器

1年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助