作品简介

本书基于作者多年的教学与实践进行编写,重点介绍Kafka消息系统的核心原理与架构,内容涉及开发、运维、管理与架构。全书共11章,第1章,介绍Kafka体系架构基础,包括消息系统的基本知识、Kafka的体系架构与ZooKeeper;第2章,介绍Kafka的环境部署,以及基本的应用程序开发;第3章,介绍Kafka的生产者及其运行机制,包括生产者的创建和执行过程、生产者的消息发送模式和生产者的高级特性等;第4章,介绍Kafka的消费者及其运行机制,包括消费者的消费模式、消费者组与消费者、消费者的偏移量与提交及消费者的高级特性等;第5章,介绍Kafka服务器端的核心原理,包括主题与分区、消息的持久性与传输保障、Kafka配额与日志的管理;第6章,介绍Kafka的流处理引擎Kafka Stream;第7章,介绍使用不同的工具监控Kafka,包括Kafka Manager、Kafka Tool、KafkaOffsetMonitor和JConsole;第8章至第11章,介绍Kafka与外部系统的集成,包括集成Flink、集成Storm、集成Spark和集成Flume。

赵渝强(赵强老师),18年以上的IT行业从业经历,清华大学计算机软件专业毕业,大学大数据学院院长,Oracle中国有限公司高级技术顾问,华为官方认证讲师,曾在BEA、甲骨文、摩托罗拉等世界500强公司担任高级软件架构师或咨询顾问等要职,精通大数据、数据库、容器技术、中间件技术和Java技术。

作品目录

  • 前言
  • 第1章 Kafka体系架构基础
  • 1.1 什么是消息系统
  • 1.2 消息系统的分类
  • 1.3 Kafka的体系架构
  • 1.4 分布式协调服务ZooKeeper
  • 1.5 准备实验环境
  • 第2章 部署Kafka
  • 2.1 部署ZooKeeper
  • 2.2 安装部署Kafka
  • 2.3 Kafka配置参数详解
  • 2.4 Kafka在ZooKeeper中保存的数据
  • 2.5 开发客户端程序测试Kafka
  • 第3章 Kafka的生产者
  • 3.1 Kafka生产者的执行过程
  • 3.2 创建Kafka生产者
  • 3.3 生产者的消息发送模式
  • 3.4 生产者的高级特性
  • 3.5 生产者的参数配置
  • 第4章 Kafka的消费者
  • 4.1 Kafka消费者的消费模式
  • 4.2 创建Kafka消费者
  • 4.3 消费者与消费者组
  • 4.4 消费者的偏移量与提交
  • 4.5 消费者的高级特性
  • 4.6 消费者的参数配置
  • 第5章 Kafka的服务器端
  • 5.1 主题与分区
  • 5.2 消息的持久性
  • 5.3 消息的传输保障
  • 5.4 副本和Leader副本的选举
  • 5.5 Kafka配额的管理
  • 5.6 Kafka的日志删除与压缩
  • 5.7 Kafka与ZooKeeper
  • 5.8 服务器端参数设置
  • 第6章 流处理引擎Kafka Stream
  • 6.1 Kafka Stream的体系架构
  • 6.2 开发自己的Kafka Stream应用程序
  • 6.3 Kafka Stream中的数据模型
  • 6.4 Kafka Stream中的窗口计算
  • 第7章 监控Kafka
  • 7.1 Kafka的监控指标
  • 7.2 使用Kafka客户端监控工具
  • 7.3 监控ZooKeeper
  • 第8章 Kafka与Flink集成
  • 8.1 Flink的体系架构
  • 8.2 安装部署Flink Standalone模式
  • 8.3 Flink DataSet API算子
  • 8.4 Flink DataStream API算子
  • 8.5 集成Flink与Kafka
  • 第9章 Kafka与Storm集成
  • 9.1 离线计算与流式计算
  • 9.2 Apache Storm的体系架构
  • 9.3 部署Apache Storm
  • 9.4 执行Apache Storm任务
  • 9.5 开发自己的Storm任务
  • 9.6 集成Kafka与Storm
  • 第10章 Kafka与Spark集成
  • 10.1 Spark基础
  • 10.2 安装部署Spark环境
  • 10.3 执行Spark任务
  • 10.4 Spark的核心编程模型
  • 10.5 流式计算引擎Spark Streaming
  • 10.6 集成Kafka与Spark Streaming
  • 第11章 Kafka与Flume集成
  • 11.1 Apache Flume基础
  • 11.2 Flume的Source组件
  • 11.3 Flume的Channel组件
  • 11.4 Flume的Sink组件
  • 11.5 集成Kafka与Flume
展开全部