ELK 数据量与数据库不同步以及索引生成速度缓慢如何解决？

问答 / 28 / 2 / 创建于 4年前

第一个问题：
3月27日测试环境通过logstash全量生成一次索引，28日装插件后重启了es服务，今天发现索引中数据量与数据库中数据量不一致，相差5w左右，请问这个是什么原因导致的呢，
问题二：
通过logstash生成索引速度很慢，开始时速度还可以，越到后面越慢，数据量2000w用了12个小时。请问可以优化生成索引的速度吗
ELK数据量与数据库不同步以及索引生成速度缓慢如何解决？
2000w地址数据

0408

1 声望

暂无个人描述~

0 人点赞

讨论数量: 2

CrazyZard

版主 1.3k 声望 / 程序猿 @ 西湖心辰

你看下你的 mapping 信息，还有的你 es 版本是多少我看了下好像是7.x 的版本

4年前评论

0408 （楼主）

我是6.4.0版本的，mapping信息在评论里我贴了个图

CrazyZard （作者）

@0408 我只接触过 7.X 的版本不知道 _type 这个字段是否对搜索有影响

0408

1 声望

file

4年前评论

CrazyZard

mapping 是自己定义的吗？是否禁止 Dynamic Index Mapping

0408 （作者）（楼主）

@CrazyZard mapping不是自定义的，初学es基本照着百度教程一步步搭起来的，没禁止Dynamic Index Mapping，我下次尝试禁止看看生成速度会不会快一些。

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

ELK 数据量与数据库不同步以及索引生成速度缓慢如何解决？

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

ELK 数据量与数据库不同步以及索引生成速度缓慢如何解决？

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录