2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？
24 / 0 / 创建于 9个月前
moonfdd 的个人博客
2023-07-14：讲一讲Kafka与RocketMQ中存储设计的异同？
答案2023-07-14：
在Kafka中，文件的布局采用了Topic/Partition的方式，每个分区对应一个物理文件夹，且在分区文件级别上实现了顺序写入。然而，当一个Kafka集群拥有大量的主题和每个主题拥有数百个分区时，在高并发写入消息的情况下，IO操作会变得零散。这是因为消息的落盘策略导致磁盘IO的竞争变得激烈，成为系统性能的瓶颈。实际上，由于IO操作变得随机，所以在消息写入时，Kafka的IO性能会随着主题和分区数量的增加而先上升，然后下降。
RocketMQ追求在消息写入时实现极致的顺序写。所有的消息都会按顺序写入commitlog文件，不论主题或分区的数量增加，都不会影响其顺序性。
在消息的发送和消费共存的场景中，随着Topic数量的增加，Kafka的吞吐量会急剧下降，而RocketMQ则能够保持较为稳定的性能表现。因此，Kafka更适用于少量Topic和消费端的业务场景，而RocketMQ则更适合于涉及多个Topic和多个消费端的业务场景。
本作品采用《CC 协议》，转载必须注明作者和本文链接
关于 LearnKu
粤公网安备 44030502004330号
推荐文章：