如何将爬虫爬的信息去重后入库？

问答 / 0 / 0 / 创建于 8年前

如题，现遇到以下问题：爬虫爬到的信息内容某些情况下会出现80%左右的相似度，有没有什么比较好的解决方案？
是先将信息入库然后后续爬到的信息与这个信息进行对比去重？（总感觉如果数据量大的话效率会很慢。。）
还是将爬到的信息存放至缓存中进行一些算法比对去重(如simhash等)，若使用此方法的话是挨个数据进行比对还是有其他高效率的方法？
望各位大佬指点。。感谢。。