mysql数据库数据分析实现热词统计

问答 / 164 / 1 / 创建于 2年前 / 更新于 2年前

有这么一个场景，如果一个表里有10万篇文章，怎么能知道哪个关键词出现的次数最多？
php + mysql
1.如果考虑性怎么做。
2.如果不考虑性能怎么做。

mysql 数据分析搜索优化实现热词统计

sky1121

8 声望

技术小组长 @ 阿里巴巴

暂无个人描述~

0 人点赞

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

工作

[求职]在郑州工作4年的程序媛的简历优化 13 / 172 |

博客

工作小锦囊系列——如何实现一个车辆预定功能（下） 13 / 15 |

面试 POPER 的后端开发工程师的离奇经历 35 / 104 |

博客

Laravel Route(路由)注册源码分析 17 / 2 |

博客

Laravel Octane 源码简单分析 14 / 8 |

Mysql 的 varchar 字段最大长度真的是 65535 吗？ 34 / 10 |

讨论数量: 1

wj2015

版主 826 声望

考虑性能：

专业的事情交给专业的中间件去做，比如把文章数据同步 ES，就可以自动分词然后聚合出热词及数量

不考虑性能：

可以调用分词工具后，将拆分出来的关键字存入数据库中，不存在就新增，存在就令其 count +1，但麻烦的点在于文章更新后，关键词统计维护就会很麻烦。

2年前评论

wj2015 （作者）

@sky1121 Python 进行数据分析的话，这个场景下做的事情也跟 ES 差不多，ES 还能借一把开源的力，而且是业内比较通用的方案

sky1121 （楼主）

不考虑性能的情况：需要找到频率最高的呢

sky1121 （楼主）

之前想的是分布式 Python进行数据分析，提取热词。然后生成词云图。

wj2015 （作者）

@sky1121 不考虑性能用 mysql 存的话，order by count desc 就好了，但真的，性能会很糟糕，以一篇文章平均1000新词估算，10w的文数据量就可能破亿了

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

mysql数据库数据分析实现热词统计

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

mysql数据库 数据分析 实现热词统计

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录

mysql数据库数据分析实现热词统计