如何将爬虫爬的信息去重后入库？

问答 / 0 / 0 / 创建于 7年前

如题，现遇到以下问题：爬虫爬到的信息内容某些情况下会出现80%左右的相似度，有没有什么比较好的解决方案？
是先将信息入库然后后续爬到的信息与这个信息进行对比去重？（总感觉如果数据量大的话效率会很慢。。）
还是将爬到的信息存放至缓存中进行一些算法比对去重(如simhash等)，若使用此方法的话是挨个数据进行比对还是有其他高效率的方法？
望各位大佬指点。。感谢。。

课程读者 16 声望

yap

《L04 微信小程序从零到发布》

从小程序个人账户申请开始，带你一步步进行开发一个微信小程序，直到提交微信控制台上线发布。

《L01 基础入门》

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

推荐文章：

更多推荐...

用 Laravel12 Startkit 做了一个 composer 私有包托管平台 😂 点赞超过 20 个开源，看看需要的人多不多 28 / 19 |

如何打造令后端面试官印象深刻的简历？ 14 / 10 |

花了四个月打磨的 Laravel Plus 开源 30 / 98 |

冯老师的困惑 —— 一个跑了两年的 BUG 19 / 16 |

在laravel下实现全双工的websocket开发 21 / 8 |

无需修改任何代码和扩展将你的Laravel项目性能提高20倍 101 / 98 |

讨论数量: 0

(=￣ω￣=)··· 暂无内容！

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助