本书基于作者多年的教学与实践进行编写,重点介绍Kafka消息系统的核心原理与架构,内容涉及开发、运维、管理与架构。全书共11章,第1章,介绍Kafka体系架构基础,包括消息系统的基本知识、Kafka的体系架构与ZooKeeper;第2章,介绍Kafka的环境部署,以及基本的应用程序开发;第3章,介绍Kafka的生产者及其运行机制,包括生产者的创建和执行过程、生产者的消息发送模式和生产者的高级特性等;第4章,介绍Kafka的消费者及其运行机制,包括消费者的消费模式、消费者组与消费者、消费者的偏移量与提交及消费者的高级特性等;第5章,介绍Kafka服务器端的核心原理,包括主题与分区、消息的持久性与传输保障、Kafka配额与日志的管理;第6章,介绍Kafka的流处理引擎KafkaStream;第7章,介绍使用不同的工具监控Kafka,包括Kafka Manager、Kafka Tool、KafkaOffsetMonitor和JConsole;第8章至第11章,介绍Kafka与外部系统的集成,包括集成Flink、集成Storm、集成Spark和集成Flume。
作者简介
内容简介
前言
第1章 Kafka体系架构基础
1.1 什么是消息系统
1.2 消息系统的分类
1.3 Kafka的体系架构
1.4 分布式协调服务ZooKeeper
1.5 准备实验环境
第2章 部署Kafka
2.1 部署ZooKeeper
2.2 安装部署Kafka
2.3 Kafka配置参数详解
2.4 Kafka在ZooKeeper中保存的数据
2.5 开发客户端程序测试Kafka
第3章 Kafka的生产者
3.1 Kafka生产者的执行过程
3.2 创建Kafka生产者
3.3 生产者的消息发送模式
3.4 生产者的高级特性
3.5 生产者的参数配置
第4章 Kafka的消费者
4.1 Kafka消费者的消费模式
4.2 创建Kafka消费者
4.3 消费者与消费者组
4.4 消费者的偏移量与提交
4.5 消费者的高级特性
4.6 消费者的参数配置
第5章 Kafka的服务器端
5.1 主题与分区
5.2 消息的持久性
5.3 消息的传输保障
5.4 副本和Leader副本的选举
5.5 Kafka配额的管理
5.6 Kafka的日志删除与压缩
5.7 Kafka与ZooKeeper
5.8 服务器端参数设置
第6章 流处理引擎KafkaStream
6.1 KafkaStream的体系架构
6.2 开发自己的KafkaStream应用程序
6.3 KafkaStream中的数据模型
6.4 KafkaStream中的窗口计算
第7章 监控Kafka
7.1 Kafka的监控指标
7.2 使用Kafka客户端监控工具
7.3 监控ZooKeeper
第8章 Kafka与Flink集成
8.1 Flink的体系架构
8.2 安装部署FlinkStandalone模式
8.3 FlinkDataSetAPI算子
8.4 FlinkDataStreamAPI算子
8.5 集成Flink与Kafka
第9章 Kafka与Storm集成
9.1 离线计算与流式计算
9.2 ApacheStorm的体系架构
9.3 部署ApacheStorm
9.4 执行ApacheStorm任务
9.5 开发自己的Storm任务
9.6 集成Kafka与Storm
第10章 Kafka与Spark集成
10.1 Spark基础
10.2 安装部署Spark环境
10.3 执行Spark任务
10.4 Spark的核心编程模型
10.5 流式计算引擎SparkStreaming
10.6 集成Kafka与SparkStreaming
第11章 Kafka与Flume集成
11.1 ApacheFlume基础
11.2 Flume的Source组件
11.3 Flume的Channel组件
11.4 Flume的Sink组件
11.5 集成Kafka与Flume
