作品简介

本书从需求规划、需求实现到可视化展示等,遵循项目开发的主要流程,全景介绍了在线教育行业离线数据仓库的搭建过程。在整个数据仓库的搭建过程中,介绍了主要组件的安装部署、需求实现的具体思路、问题的解决方案等,并在其中穿插了许多大数据和数据仓库相关的理论知识,包括数据仓库的概念介绍、在线教育业务概述、数据仓库理论介绍和数据仓库建模等。本书的第1章至第3章是项目前期准备阶段,主要为读者介绍了数据仓库的概念、应用场景和搭建需求等,并初步搭建了数据仓库项目所需的基本环境;第4章至第6章是数据仓库搭建的核心部分,详细讲解了数据仓库建模理论和数据从采集到分层搭建的全过程;第7章和第8章介绍了全流程调度和指标可视化。本书适合具有一定编程基础的读者学习。通过阅读本书,读者可以快速地了解数据仓库,全面掌握数据仓库的相关技术。

尚硅谷教育是一家专业的IT教育培训机构,开设了JavaEE、大数据、HTML5前端等多门学科,在互联网上发布的JavaEE、大数据、HTML5前端、区块链、C语言、Python等技术视频教程广受赞誉。

作品目录

  • 内容简介
  • 前言
  • 第1章 大数据与数据仓库概论
  • 1.1 什么是数据仓库
  • 1.2 数据仓库的演进历史
  • 1.3 数据仓库技术
  • 1.4 数据仓库基本架构
  • 1.5 数据库和数据仓库的区别
  • 1.6 学前导读
  • 1.7 本章总结
  • 第2章 项目需求描述
  • 2.1 前期调研
  • 2.2 项目架构分析
  • 2.3 项目业务概述
  • 2.4 系统运行环境
  • 2.5 本章总结
  • 第3章 项目部署的环境准备
  • 3.1 Linux环境准备
  • 3.2 Linux环境配置
  • 3.3 Hadoop环境搭建
  • 3.4 本章总结
  • 第4章 用户行为数据采集模块
  • 4.1 日志生成
  • 4.2 消息队列Kafka
  • 4.3 采集日志的Flume
  • 4.4 消费Kafka日志的Flume
  • 4.5 采集通道启动、停止脚本
  • 4.6 本章总结
  • 第5章 业务数据采集模块
  • 5.1 在线教育业务概述
  • 5.2 业务数据采集
  • 5.3 数据采集流程总结
  • 5.4 本章总结
  • 第6章 数据仓库搭建模块
  • 6.1 数据仓库理论准备
  • 6.2 数据仓库建模实践
  • 6.3 数据仓库搭建环境准备
  • 6.4 数据仓库搭建——ODS层
  • 6.5 数据仓库搭建——DIM层
  • 6.6 数据仓库搭建——DWD层
  • 6.7 数据仓库搭建——DWS层
  • 6.8 数据仓库搭建——ADS层
  • 6.9 数据模型评价及优化
  • 6.10 本章总结
  • 第7章 DolphinScheduler全流程调度
  • 7.1 DolphinScheduler概述与安装
  • 7.2 报表数据导出
  • 7.3 全调度流程
  • 7.4 邮件报警
  • 7.5 本章总结
  • 第8章 数据可视化模块
  • 8.1 Superset部署
  • 8.2 Superset使用
  • 8.3 Superset实战
  • 8.4 ECharts可视化
  • 8.5 本章总结
展开全部