Kafka学习笔记（一）：概念介绍

在当今的数据驱动时代，实时数据处理和流计算变得越来越重要。Kafka 作为一个高性能、分布式的消息队列系统，已经成为了很多企业处理海量数据流的首选工具。本系列学习笔记将深入探讨 Kafka 的各个方面，本文作为系列的第一篇，将主要介绍 Kafka 的基本概念，帮助读者对 Kafka 有一个初步的认识。

目录#

  1. Kafka 简介
  2. 主要概念
  3. Kafka 的架构
  4. 常见实践和最佳实践
  5. 示例用法
  6. 总结
  7. 参考资料

Kafka 简介#

Apache Kafka 是一个开源的分布式消息队列系统，最初由 LinkedIn 开发，后来贡献给了 Apache 软件基金会。Kafka 具有高吞吐量、低延迟、可扩展性和容错性等特点，适用于各种实时数据处理场景，如日志收集、消息传递、流式处理等。

Kafka 的核心设计理念是将消息存储在磁盘上，通过顺序读写来提高 I/O 性能，同时利用分布式架构来实现高可用性和水平扩展。

主要概念#

消息（Message）#

消息是 Kafka 中最基本的数据单元，也可以称为记录（Record）。每个消息包含一个键（Key）、一个值（Value）和一个时间戳（Timestamp）。键和值可以是任意的字节数组，时间戳记录了消息的创建时间。

主题（Topic）#

主题是 Kafka 中消息的逻辑分类，类似于数据库中的表。生产者将消息发送到特定的主题，消费者从主题中订阅消息。一个 Kafka 集群可以包含多个主题，每个主题可以有不同的用途，例如将用户登录日志、业务操作日志等分别存储在不同的主题中。

分区（Partition）#

主题可以被划分为一个或多个分区，分区是 Kafka 实现分布式和并行处理的基础。每个分区是一个有序且不可变的消息序列，消息在分区中按照顺序追加存储。

分区的优点在于可以将数据分散存储在多个节点上，提高系统的吞吐量和可扩展性。同时，每个分区可以有多个副本（Replica），以实现数据的容错和高可用性。

生产者（Producer）#

生产者是向 Kafka 主题发送消息的客户端。生产者可以将消息发送到指定主题的特定分区，也可以通过分区器（Partitioner）根据消息的键自动选择分区。

消费者（Consumer）#

消费者是从 Kafka 主题中读取消息的客户端。消费者可以订阅一个或多个主题，并按照顺序读取分区中的消息。消费者通过偏移量（Offset）来记录自己在分区中的消费位置。

消费者组（Consumer Group）#

消费者组是一组协同工作的消费者，它们共同订阅一个或多个主题。消费者组中的每个消费者负责消费部分分区的消息，从而实现消息的并行消费。

当一个消费者组中的消费者数量超过主题的分区数量时，多余的消费者将处于空闲状态。因此，为了充分利用分区的并行性，建议消费者组中的消费者数量不超过分区数量。

Broker#

Broker 是 Kafka 集群中的一个服务器节点，负责存储和管理消息。每个 Broker 可以存储多个主题的分区副本。Kafka 集群由多个 Broker 组成，它们通过 Zookeeper 进行协调和管理。

Kafka 的架构#

Kafka 的架构主要由以下几个部分组成：

  • 生产者（Producer）：负责向 Kafka 主题发送消息。
  • Kafka 集群（Broker）：由多个 Broker 组成，存储和管理消息的分区副本。
  • Zookeeper：负责协调和管理 Kafka 集群，包括 Broker 的注册、主题的管理、分区的分配等。
  • 消费者（Consumer）：从 Kafka 主题中读取消息。

生产者将消息发送到 Broker 中的主题分区，消费者从 Broker 中订阅并消费消息。Zookeeper 负责监控 Broker 和消费者的状态，确保集群的稳定性和可用性。

常见实践和最佳实践#

主题和分区的设计#

  • 主题设计：根据业务需求合理划分主题，例如将不同类型的日志数据存储在不同的主题中，方便后续的处理和分析。
  • 分区数量：分区数量应根据业务的吞吐量和并发度来确定。一般来说，分区数量越多，系统的并发处理能力越强，但也会增加管理和维护的成本。
  • 分区策略：可以根据消息的键和业务特点选择合适的分区策略，例如将同一用户的消息发送到同一个分区，以便进行顺序处理。

生产者和消费者的配置#

  • 生产者配置：合理设置生产者的批量发送、重试机制等参数，提高消息发送的性能和可靠性。
  • 消费者配置：根据业务需求设置消费者的自动提交偏移量、消费模式等参数，确保消息的正确消费。

示例用法#

创建主题#

使用 Kafka 自带的命令行工具可以创建一个新的主题：

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 3 --topic my_topic

上述命令创建了一个名为 my_topic 的主题，包含 3 个分区，副本因子为 1。

生产者发送消息#

以下是一个使用 Java 代码实现的简单生产者示例：

import org.apache.kafka.clients.producer.*;
import java.util.Properties;
 
public class KafkaProducerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer");
        props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer");
 
        Producer<String, String> producer = new KafkaProducer<>(props);
        for (int i = 0; i < 10; i++) {
            ProducerRecord<String, String> record = new ProducerRecord<>("my_topic", Integer.toString(i), "Message " + i);
            producer.send(record, new Callback() {
                @Override
                public void onCompletion(RecordMetadata metadata, Exception exception) {
                    if (exception != null) {
                        System.err.println("Failed to send message: " + exception.getMessage());
                    } else {
                        System.out.println("Message sent to partition " + metadata.partition() + ", offset " + metadata.offset());
                    }
                }
            });
        }
        producer.close();
    }
}

消费者接收消息#

以下是一个使用 Java 代码实现的简单消费者示例：

import org.apache.kafka.clients.consumer.*;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;
 
public class KafkaConsumerExample {
    public static void main(String[] args) {
        Properties props = new Properties();
        props.put("bootstrap.servers", "localhost:9092");
        props.put("group.id", "my_consumer_group");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
 
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("my_topic"));
 
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.printf("Received message: key = %s, value = %s, partition = %d, offset = %d%n",
                        record.key(), record.value(), record.partition(), record.offset());
            }
        }
    }
}

总结#

本文介绍了 Kafka 的基本概念，包括消息、主题、分区、生产者、消费者、消费者组和 Broker 等。同时，还介绍了 Kafka 的架构、常见实践和最佳实践，并提供了创建主题、生产者发送消息和消费者接收消息的示例代码。通过对这些基本概念的理解，读者可以为进一步学习和使用 Kafka 打下坚实的基础。

参考资料#

2026-05