Kafka 源码分析

主题

Kafka 源码分析深入浅出 Kafka 4.x

从启动流程到事务机制，从存储引擎到网络协议——一份系统、完整的 Kafka 源码学习教程

开始阅读
常见问题 FAQ
GitHub
🚀

服务端启动

KafkaServer 完整启动链路、组件初始化顺序与配置加载机制。

📦

日志存储引擎

LogSegment、索引、追加/读取流程、日志压缩与清理的全景解析。

🔄

副本与 ISR

副本状态机、Leader 选举、HW/LEO 同步、分区重分配。

🧭

Controller (KRaft)

KRaft 架构、QuorumController、Raft 协议实现与元数据发布。

⚖️

事务机制

两阶段提交、幂等性、TransactionCoordinator 与事务日志。

📡

网络协议

请求响应格式、消息格式演进、版本协商与 NetworkClient。

完整文档索引 ​

📚 深入浅出的 Kafka 4.x 源码分析教程，包含 98+ 个文档，涵盖核心实现机制

📖 快速导航 ​

🚀 快速开始 ​

新手入门路径 ​

1. [架构概览](00-intro/00-architecture-overview.md) → 了解整体设计
2. [源码结构](00-intro/01-source-structure.md) → 熟悉代码组织
3. [调试环境](00-intro/02-build-debug-setup.md) → 搭建开发环境
4. [核心概念](00-intro/03-core-concepts-deep-dive.md) → 理解核心机制

有经验开发者路径 ​

1. [SocketServer 网络层](02-request-processing/01-socketserver.md) → 高并发处理
2. [日志存储机制](03-log-storage/02-log-segment.md) → 高性能存储
3. [副本管理](04-replica-management/03-replica-sync-deep-dive.md) → 可靠性保障
4. [KRaft Controller](05-controller/01-krft-overview.md) → 元数据管理

📖 完整目录 ​

00. 入门与架构 ​

文档内容难度
00-architecture-overview.mdKafka 架构概览、KRaft vs ZooKeeper⭐
01-source-structure.md源码目录结构、Gradle 构建系统⭐
02-build-debug-setup.md环境搭建、IDE 配置、调试技巧⭐
03-core-concepts-deep-dive.md核心概念深度解析⭐⭐

01. 服务启动流程 ​

文档内容难度
01-startup-overview.md启动流程概述、入口点分析⭐⭐
02-kafkaserver-startup.mdKafkaServer 启动流程详解⭐⭐⭐
03-startup-config.md启动配置详解⭐⭐

02. 请求处理架构 ​

文档内容难度
01-socketserver.mdSocketServer 网络层深度解析⭐⭐⭐
02-request-handler.mdKafkaApis 请求处理架构⭐⭐⭐

03. 日志存储机制 ​

文档内容难度
01-log-overview.md日志存储架构概述⭐
02-log-segment.mdLogSegment 结构详解⭐⭐
03-log-index.md日志索引机制⭐⭐
04-log-append.md日志追加流程⭐⭐⭐
05-log-read.md日志读取流程、零拷贝⭐⭐⭐
06-log-cleanup.md日志清理机制⭐⭐
07-log-compaction.md日志压缩详解⭐⭐
08-log-operations.md日志操作命令⭐
09-log-monitoring.md日志监控指标⭐⭐
10-log-troubleshooting.md故障排查指南⭐⭐

04. 副本管理 ​

文档内容难度
01-replica-overview.md副本管理概述⭐
02-partition-leader.md分区 Leader 选举⭐⭐
03-replica-sync-deep-dive.md副本同步深度解析⭐⭐⭐
04-replica-fetcher.md副本拉取机制⭐⭐⭐
05-replica-state.md副本状态机⭐⭐
06-replica-sync.md副本同步与 ISR⭐⭐
07-replica-operations.md副本操作⭐
08-reassignment.md分区重分配⭐⭐
09-replica-monitoring.md监控指标⭐
10-replica-troubleshooting.md故障排查⭐⭐
11-replica-config.md配置详解⭐

05. KRaft Controller ​

文档内容难度
01-krft-overview.mdKRaft 架构概述⭐⭐
02-startup-flow.md启动流程⭐⭐
03-quorum-controller.mdQuorumController 实现⭐⭐⭐
04-raft-implementation.mdRaft 协议实现⭐⭐⭐
05-metadata-publishing.md元数据发布机制⭐⭐
06-high-availability.md高可用性设计⭐⭐
07-leader-election.mdLeader 选举⭐⭐
08-deployment-guide.md部署指南⭐
09-operations.md运维操作⭐
10-monitoring.md监控指标⭐
11-troubleshooting.md故障排查⭐⭐
12-configuration.md配置详解⭐
13-performance-tuning.md性能调优⭐⭐
14-debugging.md调试技巧⭐⭐
15-best-practices.md最佳实践⭐
16-security.md安全配置⭐⭐
17-backup-recovery.md备份恢复⭐⭐
18-migration-guide.md迁移指南⭐⭐
19-faq.md常见问题⭐
20-comparison.md架构对比⭐

06. GroupCoordinator 协调器 ​

文档内容难度
01-coordinator-overview.md协调器概述⭐
02-group-management.md消费组管理⭐⭐
03-rebalance-protocol.mdRebalance 协议⭐⭐⭐
04-rebalance-process.mdRebalance 流程⭐⭐⭐
05-offset-management.mdOffset 管理⭐⭐
06-group-state-machine.md消费组状态机⭐⭐
07-coordinator-operations.md运维操作⭐
08-rebalance-optimization.mdRebalance 优化⭐⭐
09-coordinator-monitoring.md监控指标⭐
10-coordinator-troubleshooting.md故障排查⭐⭐
11-coordinator-config.md配置详解⭐

07. 事务机制 ​

文档内容难度
01-transaction-overview.md事务概述⭐⭐
02-transaction-coordinator.mdTransactionCoordinator⭐⭐⭐
03-transaction-protocol.md事务协议⭐⭐⭐
04-two-phase-commit.md两阶段提交⭐⭐⭐
05-transaction-log.md事务日志⭐⭐
06-idempotence.md幂等生产者⭐⭐
07-transaction-operations.md运维操作⭐
08-transaction-monitoring.md监控指标⭐
09-transaction-troubleshooting.md故障排查⭐⭐
10-transaction-config.md配置详解⭐
11-transaction-patterns.md事务模式⭐⭐

08. 其他 ​

文档内容难度
raft-protocol-explained.mdRaft 协议通俗指南⭐⭐

09. Producer 生产者 ​

文档内容难度
01-producer-overview.mdProducer 架构概述⭐
02-record-accumulator.mdRecordAccumulator 缓冲区⭐⭐⭐
03-sender-thread.mdSender 线程详解⭐⭐⭐
04-metadata-management.md元数据管理⭐⭐
05-partitioner.md分区器实现⭐⭐
06-interceptors.md拦截器机制⭐
07-transaction-manager.md事务管理器⭐⭐⭐
08-producer-config.md配置详解⭐
09-producer-practical-guide.md实战指南⭐⭐

10. Consumer 消费者 ​

文档内容难度
01-consumer-overview.mdConsumer 架构概述⭐
02-fetcher-mechanism.mdFetcher 拉取机制⭐⭐⭐
03-consumer-coordinator.mdConsumerCoordinator 消费组协调器⭐⭐⭐
04-partition-assignor.md分区分配策略⭐⭐
05-rebalance-process.mdRebalance 重平衡详解⭐⭐⭐
06-offset-management.mdOffset 管理策略⭐⭐
07-new-consumer.md新版 AsyncKafkaConsumer (3.0+)⭐⭐⭐
08-consumer-config.md配置详解⭐
09-consumer-practical-guide.md实战指南⭐⭐

11. 网络协议 ​

文档内容难度
01-protocol-overview.md协议概述⭐
02-request-response-format.md请求响应格式⭐⭐
03-message-format.md消息格式演进⭐⭐⭐
04-version-negotiation.md版本协商机制⭐⭐
05-serialization.md序列化机制⭐⭐
06-network-client.mdNetworkClient 实现⭐⭐⭐
07-security-protocol.md安全协议⭐⭐

🎯 主题速查 ​

按主题查找 ​

网络层 ​

存储层 ​

副本管理 ​

KRaft 架构 ​

消费者组 ​

事务 ​

Producer ​

Consumer ​

网络协议 ​

📊 统计信息 ​

  • 总文档数: 98+
  • 总字数: 约 190,000+ 字
  • 代码示例: 500+ 段
  • 流程图: 120+ 个
  • 章节数: 11 个
  • Kafka 版本: 4.x
  • 最后更新: 2026-03-03

🔗 外部资源 ​

官方资源 ​

推荐阅读 ​

最后更新: 2026-03-03

维护者: Kafka 源码学习社区