行业新闻

科普rabbitmq,rocketmq,kafka三者的架构比较

2024-04-03 阅读次数:

对比

架构对比


从架构可以看出三者有些类似,但是在细节上有很多不同。下面我们就从它们的各个组件,介绍它们:

RabbitMQ

是一种开源的消息队列中间件。下面是RabbitMQ中与其相关的几个概念:

1.生产者(Producer):生产者是消息的发送者,将消息发送到RabbitMQ的消息队列中。

2.消费者(Consumer):消费者是消息的接收者,从RabbitMQ的消息队列中获取消息并进行处理。

3.消息队列(Message Queue):消息队列是RabbitMQ的核心组件,用于存储待处理的消息。生产者将消息发送到队列中,消费者从队列中获取消息进行处理。

4.交换机(Exchange):交换机负责接收生产者发送的消息,并根据一定的规则将消息路由到一个或多个消息队列中。常见的交换机类型包括直连交换机(direct exchange)、主题交换机(topic exchange)、扇形交换机(fanout exchange)等。

5.绑定(Binding):绑定是指将交换机和消息队列进行关联,定义了交换机将消息路由到哪些队列中。绑定通常使用规则(routing key)来匹配消息和队列。

6.路由键(Routing Key):路由键是生产者在将消息发送给交换机时附带的关键字,用于指定消息的路由规则。

RocketMQ

是阿里巴巴开源的分布式消息中间件,下面是 RocketMQ 中与其相关的一些概念:

1.生产者(Producer):生产者负责生成并发送消息到 RocketMQ 中。

2.消费者(Consumer):消费者从 RocketMQ 中订阅并消费消息。

3.主题(Topic):主题是消息的逻辑分类,每个消息都属于一个特定的主题。生产者将消息发送到指定的主题,消费者通过订阅主题来接收相关的消息。

4.消息队列(Message Queue):主题被拆分成多个消息队列,每个消息队列按照顺序存储消息。消费者从消息队列中拉取消息进行消费。

5.消费者组(Consumer Group):消费者组是一组具有相同 Group ID 的消费者实例。每个消息只会被消费者组中的其中一个消费者实例消费,实现负载均衡和高可用性。

6.Broker:Broker 是 RocketMQ 的核心组件,它负责接收、存储和转发消息。一个 RocketMQ 系统通常由多个 Broker 组成,每个 Broker 负责管理若干个消息队列。每个消息队列只属于一个 Broker,但一个 Broker 可以管理多个消息队列。

7.Name Server:Name Server 是 RocketMQ 的命名服务组件,用于管理整个 RocketMQ 系统的元数据信息。生产者和消费者通过 Name Server 定位到对应的 Broker 服务器。Name Server 还负责管理主题、消费者组、路由信息等。

运行流程
1.生产者和消费者在启动时会向Name Server注册自己的信息,包括IP地址、端口号等基本信息,以便于Name Server能够为它们提供服务路由信息,此外broker节点通过心跳机制将自己的信息定时上报到Name Server中
2.当生产者要发送消息时,首先需要通过Name Server获取指定Topic目前可用的Broker(可以是多个),然后根据负载均衡算法选择其中一个Broker发送消息。消息会被刷盘机制持久化存储
3.消息在经过同步刷盘或异步刷盘机制持久化存储之后,会被放入该Topic对应的队列中。
4.消费者在订阅指定的Topic和Tag之后,会从Broker服务器中拉取消息进行消费。消费者首先会向Name Server获取指定Topic目前可用的Broker,然后根据自身消费能力获取消息

Kafka

是由 Apache 软件基金会开源的分布式流处理平台,其核心组件包括以下几个:

1.Broker:Kafka 的核心组件之一,负责存储和处理数据。一个 Kafka 系统通常由多个 Broker 组成,每个 Broker 负责管理一部分数据副本。

2.Topic:Topic 是指数据的类别或主题,每条消息都属于一个特定的主题。生产者将消息发送到指定的主题,消费者通过订阅主题来接收相关的消息。

3.Partition:Partition 是将一个 Topic 分割成多个较小的、有序的数据单元。每个 Partition 存储了 Topic 对应的部分消息数据。分区的好处是可以提高并发处理能力和扩展性。

4.生产者(Producer):生产者负责生成并发送消息到 Kafka 的 Broker。Producer 可以选择将消息发送到指定的 Topic 和 Partition。

5.消费者(Consumer):消费者从 Kafka 的 Broker 订阅并消费消息。可以通过消费者组的方式对消息进行分组,每个消费者组中的消费者共同消费一个 Topic。

6.消费者组(Consumer Group):消费者组是一组具有相同 Group ID 的消费者实例。每个消息只会被消费者组中的其中一个消费者实例消费,实现负载均衡和高可用性。

7.ZooKeeper:Kafka 使用 ZooKeeper 来进行集群管理、元数据存储和领导者选举等操作。ZooKeeper 负责协调 Broker 和其他组件之间的通信。

不同:
在发送消息和拉取消息方面,Kafka、RocketMQ 和 RabbitMQ 有一些区别。

1.RabbitMQ
发送消息:RabbitMQ 中的生产者(Producer)将消息发送到指定的 Exchange。生产者发送消息时可以指定消息的 Routing Key,Exchange 根据 Routing Key 将消息路由到相应的队列。
拉取消息:RabbitMQ 中的消费者(Consumer)通过订阅队列来拉取消息。消费者可以按照默认顺序或自定义顺序消费队列中的消息。消费者可以选择轮询方式拉取消息,也可以使用 Basic.Consume RPC 方法主动拉取消息。

2.RocketMQ
发送消息:RocketMQ 的生产者(Producer)将消息发送到指定的 Topic,并不能直接选择要发送到的队列,而是由 Broker 负责将消息分发到相应的队列中。发送消息时可以选择同步或异步方式。
拉取消息:RocketMQ 的消费者(Consumer)通过订阅 Topic 和指定消费者组(Consumer Group)来拉取消息。RocketMQ 提供了两种消费模式:集群模式(负载均衡消费)和广播模式(每个消费者都会收到全部消息)。消费者可以按照默认顺序拉取消息或指定顺序拉取消息。

3.Kafka:
发送消息:Kafka 中的生产者(Producer)将消息发送到指定的 Topic,并选择要发送到的 Partition。生产者可以异步发送消息,不必等待消息被写入磁盘。
拉取消息:Kafka 中的消费者(Consumer)通过订阅 Topic 来拉取消息。消费者可以自主控制从哪个 Offset(偏移量)开始拉取消息,并可以按照自己的速度消费消息。Kafka 提供了高性能的批量拉取机制,可以一次性拉取多条消息。

前二者可以实现延迟队列,死信队列,而kafka不行。

经典面试题:

1.如何保证消息的可靠性?

本质上都是解决 生成者 ----> mq -----> 消费者 消息在链路中不会被丢失
rabbitmq:
1.生产者确认机制:实现两个方法ReturnCallback,ConfirmCallback 。ReturnCallback是保证消息从交换机到队列。每次发送消息时都需要实现ConfirmCallback,该方式需要生成一个唯一ID,避免ack冲突,ConfirmCallback:保证了消息从生产者到交换机再到队列中,如果没有到队列中会返回nack。
2.队列中消息持久化:RabbitMQ会将消息持久化到磁盘,以确保消息在服务器重启或发生故障时能够得到恢复。前提是在发送消息时,将消息标记为持久化,即设置 MessageProperties.PERSISTENT_TEXT_PLAIN 属性。
3.消费者确认机制:默认确认机制是自动的,消费后自动ack,ack会删除队列指定的消息
4.失败重试机制:发送重试,消费重试

rocketmq:
1.发消息时,重要的消息可以使用同步发送,内部已经实现了ack机制,该发送会有返回值可以获取消息的发送状态,增加重试机制
2.消息到达了rockemq之后它内部已经实现了持久化机制,RocketMQ 将消息以日志形式持久化到磁盘中(使用同步刷盘机制)
3.消费者通过手动确认机制(ACK)
4.失败重试机制:消费失败默认会回到队列中重新投递

2.如何解决消息重复消费的问题

rabbitmq
1.消费端手动ACK确认机制
在消费端使用RabbitMQ提供的手动ACK确认机制,在消费者成功处理消息后,手动将消息从队列中删除。这样可以确保消息只会被处理一次,避免了重复消费的问题。
2.消费端去重保证机制
可以在消费端处理每条消息之前,通过分布式锁或者数据库唯一索引等方式,判断当前消息是否已经被处理过。如果已经处理过,则忽略该消息;否则正常处理,并将消息标记为已处理。

rocketmq:因为内部的重试机制,很难避免重复消费。一般需要消费端去重保证机制(同上)

3.如何解决消息堆积

一般
限流:限制消息的生产速度
增加消费速度:增加消费者(rocketmq中:<=队列数量),增加线程数消费
增加队列容量
rabbit:惰性队列 增加队列容量
从RabbitMQ的3.6.0版本开始,就增加了Lazy Queues的概念,也就是惰性队列。惰性队列的特征如下:
接收到消息后直接存入磁盘而非内存
消费者要消费消息时才会从磁盘中读取并加载到内存
支持数百万条的消息存储
惰性队列是一种用于减少内存占用的优化策略,它的设计目的是在队列中存在大量未消费的消息时,只有当消息被消费者拉取时才将它们加载到内存中。这样可以降低内存使用,并提高系统的性能和吞吐量。