千万重复数据需要去重，怎么处理？

面试题 / 1369 / 7 / 创建于 2年前

请尝试在评论区里写下答案（如不能清楚表述，那么你可能没真正理解）。欢迎参与，为下一次求职做准备。

如题

课程读者 406 声望

暂无个人描述~

《L01 基础入门》

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

《L03 构架 API 服务器》

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

推荐文章：

更多推荐...

面试 POPER 的后端开发工程师的离奇经历 35 / 104 |

高效办公小技巧——如何批量处理 SQL 文件？ 19 / 10 |

百万级数据导入(hyperf+xlswriter+task+websocket) 19 / 12 |

📙《高并发的哲学原理》开源图书发布十一天 star 数已经破千！ 47 / 16 |

[踩了个坑] Laravel 访问https网址，url('/')竟然只返回 http？ 16 / 14 |

基于Hyperf + Vue + Element 构建的后台管理系统（内置聊天系统） 68 / 21 |

讨论数量: 7

游离不2

166 声望 / 后端代码搬运工 @ 不二科技

创建新表，根据重复的条件建立唯一索引
insert ignore into 新表 select * from 旧版

2年前评论

dannier

0 声望

借助第三方服务，比如mongo、redis等等，数据插入redis，set类型之类的，在导出就是去过重的

2年前评论

chowjiawei

Laravel 8.x 译者 1.4k 声望 / 想转行啊 @ 新大陆数字技术

队列命令慢慢删除重复数据即可注意这个慢慢的频率其实数据才千万从中删除重复的可能百万的样子你弄个几十秒就足够跑完命令了。

2年前评论

Taoqun

你怎么知道第一条和第一千万条数据是重复的

chowjiawei （作者）

@Taoqun mysql 查询全部的和重复的删除

cheer

课程读者 64 声望

分治

2年前评论

九霄道长

课程读者 200 声望 / 全干工程师 @ 家里蹲

大数据量布隆过滤器

2年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助