Elasticsearch 自定义 doc_id 时,写入能力下降
es在自定义doc_id去重数据时,当一个分片的数据量达到4g左右时,写入就很慢了,请教在自定义doc_id的基础上和一个副本的前提下,如何提升写入能力呢?
或者是如何在保证写入数据不重复的条件下,能够提升写入性能?期待大神指教,谢谢
可以尝试通过bulk insert的方式批量提交,在设置了_id的时候ES默认会在数据插入的时候做一遍 get,类似mysql里的select * from a where $primaryId = $_id.
另外,将索引设置为异步刷盘,增大刷盘间隔也可以提高数据写入效率