Flink与Kylin深度实践

作品简介

本书从实用角度出发，首先介绍了Flink的功能模块、运行模式、部署安装等内容，然后着重介绍了Flink中的实时处理技术和批量处理技术，接着讲解了Flink的Table与SQL、CEP机制、调优与监控、实时数据同步解析，最后通过Flink结合Kylin实现了实时数据统计的功能。本书内容全面，由浅入深，包含大量的代码示例，并提供下载服务，每章配有重要知识点串讲视频和小结，以指导读者轻松入门。本书适合有一定编程及大数据开发经验，有数据实时处理工作需求或者想要从事相关工作的读者阅读。

开课吧组编；王超，李沙编著

作品目录

• 致数字化人才的一封信
• 前言
• 第1章 Flink及其运行模式简介
• 1.1 Flink介绍
• 1.2 Flink的特性
• 1.3 功能模块
• 1.4 编程模型
• 1.5 重新编译
• 1.6 任务提交模型
• 1.7 部署运行模式
• 1.8 本章小结
• 第2章 Flink的部署安装及入门案例
• 2.1 local模式部署安装
• 2.2 standalone模式部署安装
• 2.3 standalone模式的HA环境
• 2.4 standalone模式在HA环境下提交任务
• 2.5 Flink on YARN模式
• 2.6 入门案例
• 2.7 shell命令行代码调试
• 2.8 本章小结
• 第3章 Flink实时处理之DataStream
• 3.1 DataStream的数据源
• 3.2 DataStream常用算子
• 3.3 窗口和时间
• 3.4 用watermark解决乱序与数据延迟问题
• 3.5 DataStream的状态保存和恢复
• 3.6 DataStream集成Kafka
• 3.7 本章小结
• 第4章 Flink批量处理之DataSet
• 4.1 DataSet的内置数据源
• 4.2 DataSet常用算子
• 4.3 DataSet的参数传递
• 4.4 DataSet连接器
• 4.5 广播变量、累加器与分布式缓存
• 4.6 本章小结
• 第5章 Flink的Table与SQL
• 5.1 Table与SQL简介
• 5.2 为什么需要SQL
• 5.3 Table与SQL的语法解析
• 5.4 Table与SQL编程开发
• 5.5 本章小结
• 第6章 Flink数据去重与数据连接
• 6.1 数据去重
• 6.2 流的连接实现
• 6.3 本章小结
• 第7章 Flink中的复杂事件处理（CEP）机制
• 7.1 CEP简介
• 7.2 CEP中的模式
• 7.3 CEP综合案例
• 7.4 本章小结
• 第8章 Flink调优与监控
• 8.1 监控指标
• 8.2 反压机制与监控
• 8.3 checkpoint监控
• 8.4 checkpoint调优
• 8.5 内存管理调优
• 8.6 本章小结
• 第9章 基于Flink实现实时数据同步解析
• 9.1 实时数仓架构
• 9.2 MySQL数据实时同步
• 9.3 数据库建表
• 9.4 开发模拟数据生成模块
• 9.5 数据获取模块开发
• 9.6 本章小结
• 第10章 基于Kylin的实时数据统计
• 10.1 Kylin简介
• 10.2 Kylin基础知识
• 10.3 Kylin环境搭建
• 10.4 Kylin的使用
• 10.5 Kylin的构建流程
• 10.6 Cube构建算法
• 10.7 Cube构建的优化
• 10.8 备份以及恢复Kylin的元数据
• 10.9 Kylin的垃圾清理
• 10.10 BI工具集成
• 10.11 使用Kylin分析HBase数据
• 10.12 本章小结