Mysql查询去重

需求:查询学生表中的学生id,姓名,班级,年龄,分数

学生表 students

但是由于历史遗留的原因,导致里面有很多很多的重复数据,先需要排除姓名相同的数据,然后保留其中age最大的,当age相同的话,保留grad最大的数据

select t1.* from students t1 where id in (
    select min(id) id from students t1 ,(
        select name,max(age)as age,max(grade) as grade from students group by name
    ) t2 where t1.name = t2.name and t1.age = t2.age and t1.grade = t2.grade 
    group by t1.name
) 

查询完后,发现600W的数据,用时在16S左右。
不知道有谁有优化方案?

本作品采用《CC 协议》,转载必须注明作者和本文链接
《L05 电商实战》
从零开发一个电商项目,功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等
《L03 构架 API 服务器》
你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程,JWT 概念及使用 和 API 开发相关的进阶知识。
讨论数量: 6

一次性去重跑到一个表里面去

3年前 评论
Hello_Smile (楼主) 3年前
LiamHao 3年前

试下这样查出来的结果对不对:

SELECT * FROM students GROUP BY name ORDER BY age DESC, grade DESC
3年前 评论
Hello_Smile (楼主) 3年前

难道就没有名字一样的学生吗?要去名字重复?

3年前 评论

你这感觉不是优化查询的问题,可以的话尽早考虑从根源解决问题吧。不然数据越多,后边维护起来越麻烦。@半人间 的意思是让你执行一次你需要的查询,然后把查询出来的数据放到另外一个表里边。具体怎么处理你的问题还得看你的实际情况。

3年前 评论
Hello_Smile (楼主) 3年前

是不是要先用 explain 分析下语句有没有走索引之类的, 另外一楼的方法个人感觉不错

3年前 评论
Hello_Smile (楼主) 3年前
SELECT max(age), max(grade) FROM students GROUP BY name;

记得加个联合索引 name,age,grade。不然会很慢。

3年前 评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容,与人为善,比聪明更重要!