Elasticsearch 自定义 doc_id 时，写入能力下降

问答 / 30 / 1 / 创建于 3年前

es在自定义doc_id去重数据时，当一个分片的数据量达到4g左右时，写入就很慢了，请教在自定义doc_id的基础上和一个副本的前提下，如何提升写入能力呢？
或者是如何在保证写入数据不重复的条件下，能够提升写入性能？期待大神指教，谢谢

elasticsearch 自定义doc_id es数据去重

3 声望

暂无个人描述~

推荐文章：

更多推荐...

PHP 操作 ElasticSearch7.8.1 17 / 3 |

讨论数量: 1

Steven_chen

9 声望

可以尝试通过bulk insert的方式批量提交，在设置了_id的时候ES默认会在数据插入的时候做一遍 get，类似mysql里的select * from a where $primaryId = $_id.

另外，将索引设置为异步刷盘，增大刷盘间隔也可以提高数据写入效率

3年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助