Apache Kafka - 基础
在深入了解 Kafka 之前，您必须了解主题、代理、生产者和消费者等主要术语。 下图说明了主要术语，表格详细描述了图表组件。
在上图中，一个主题被配置为三个分区。 分区 1 有两个偏移因子 0 和 1。分区 2 有四个偏移因子 0、1、2 和 3。分区 3 有一个偏移因子 0。副本的 id 与托管它的服务器的 id 相同。
假设，如果主题的复制因子设置为 3，那么 Kafka 将为每个分区创建 3 个相同的副本，并将它们放置在集群中以供其所有操作使用。 为了平衡集群中的负载，每个代理存储一个或多个这些分区。 多个生产者和消费者可以同时发布和检索消息。
| S.No | 组件和说明 |
|---|---|
| 1 | Topics 属于特定类别的消息流称为主题。 数据存储在主题中。 主题被分成多个分区。 对于每个主题，Kafka 保留一个分区的最小数量。 每个这样的分区都包含不可变有序序列中的消息。 分区被实现为一组大小相等的段文件。 |
| 2 | Partition 主题可能有很多分区，因此它可以处理任意数量的数据。 |
| 3 |
Partition offset 每个分区消息都有一个唯一的序列 id，称为 |
| 4 |
Replicas of partition 副本只不过是分区的 |
| 5 |
Brokers
|
| 6 |
Kafka Cluster 拥有多个代理的 Kafka 称为 Kafka 集群。 可以在不停机的情况下扩展 Kafka 集群。 这些集群用于管理消息数据的持久性和复制。 |
| 7 |
Producers 生产者是一个或多个 Kafka 主题的消息发布者。 生产者向 Kafka 代理发送数据。 每次生产者向代理发布消息时，代理只需将消息附加到最后一个段文件。 实际上，消息将附加到一个分区。 生产者还可以将消息发送到他们选择的分区。 |
| 8 |
Consumers 消费者从经纪人那里读取数据。 消费者订阅一个或多个主题，并通过从代理中提取数据来使用已发布的消息。 |
| 9 |
Leader
|
| 10 |
Follower 遵循 Leader 指令的节点称为追随者。 如果leader失败，其中一个follower将自动成为新的leader。 追随者充当普通消费者，拉取消息并更新自己的数据存储。 |
