Apache Kafka - 集群架构

Broker

Kafka 集群通常由多个代理组成以保持负载平衡。 Kafka 代理是无状态的，因此他们使用 ZooKeeper 来维护他们的集群状态。 一个 Kafka 代理实例每秒可以处理数十万次读写，每个代理可以处理 TB 的消息而不会影响性能。 Kafka broker 的领导人选举可以由 ZooKeeper 完成。

ZooKeeper

ZooKeeper 用于管理和协调 Kafka 代理。 ZooKeeper 服务主要用于通知生产者和消费者 Kafka 系统中是否存在任何新的代理或 Kafka 系统中的代理失败。 根据 Zookeeper 收到的关于代理存在或失败的通知，生产者和消费者做出决定并开始与其他代理协调他们的任务。

Producers

生产者将数据推送给经纪人。 当新代理启动时，所有生产者都会搜索它并自动向该新代理发送消息。 Kafka 生产者不等待代理的确认，而是以代理可以处理的最快速度发送消息。

Consumers

由于 Kafka 代理是无状态的，这意味着消费者必须通过使用分区偏移量来维护已经消费了多少消息。 如果消费者确认特定的消息偏移量，则意味着消费者已经消费了所有先前的消息。 消费者向代理发出异步拉取请求，以准备好使用的字节缓冲区。 消费者可以简单地通过提供偏移值来回退或跳到分区中的任何点。 消费者偏移值由 ZooKeeper 通知。