大数据技术全解

作品简介

“大数据”一词已成为当下最热门的词汇之一。人们热切期待大数据能给工作、学习和生活等方面带来前所未有的变化，而大数据的采集、存储、计算、分析挖掘、呈现和安全等技术正是实现这一变化的关键。《大数据技术全解：基础、设计、开发与实践》的重点不在于对大数据技术的原理性介绍，而是从实战角度出发，系统地阐述如何基于Hadoop开源软件为客户设计、安装和开发一个大数据系统。《大数据技术全解：基础、设计、开发与实践》还着重分享了具体实践中的一些案例，不仅对于从事大数据系统开发的IT技术人员具有珍贵的参考价值，而且对准备实施大数据系统项目的企业级客户也具有指导作用。

《大数据技术全解：基础、设计、开发与实践》可以作为计算机软件专业的本科生和研究生的大数据技术教材，也可作为大数据技术开发培训、大数据系统咨询规划培训的教材，更是大数据领域内一线的需求分析人员、系统分析人员、高级开发人员和开发管理人员的必备参考书。

作品目录

• 序1
• 序2
• 前言
• 第1篇 基础篇
• 第1章 大数据的三把利剑
• 1.1 豌豆杂交实验
• 1.2 曹冲称象启示
• 1.3 谷歌的三把利剑
• 1.4 智慧改变世界
• 第2章 企业的大数据观
• 2.1 企业面临的挑战
• 2.2 企业大数据从哪来
• 2.3 企业大数据如何存储
• 2.4 企业大数据如何加工
• 2.5 企业的大数据到哪里去
• 2.6 企业大数据观总结
• 第3章 大数据和大数据系统
• 3.1 大数据
• 3.2 大数据系统
• 第2篇 技术篇
• 第4章 分布、键值对与族
• 4.1 分布与MapReduce
• 4.2 键值对的奥妙所在
• 4.3 动态数据库表原理
• 第5章 HDFS（分布式文件系统）
• 5.1 设计目标
• 5.2 基本概念
• 5.3 系统架构
• 5.4 运行机制
• 5.5 系统功能
• 5.6 系统I/O特性
• 5.7 非Java访问接口
• 5.8 系统性能
• 第6章 MapReduce分布式编程模式
• 6.1 不同于传统
• 6.2 设计思想
• 6.3 基本概念
• 6.4 系统架构
• 6.5 运行机制
• 6.6 关键技术
• 6.7 类型与格式
• 6.8 MR的开发
• 6.9 MR工作流
• 第7章 HBase分布式数据库
• 7.1 设计目标
• 7.2 基本概念
• 7.3 系统架构
• 7.4 运行机制
• 7.5 系统功能
• 7.6 库表设计
• 7.7 访问接口
• 第3篇 设计篇
• 第8章 系统设计背景和目标
• 8.1 系统设计背景
• 8.2 系统设计目标
• 第9章 系统架构设计
• 9.1 逻辑架构设计
• 9.2 功能架构设计
• 9.3 数据架构设计
• 第10章 运行架构设计
• 10.1 物理架构设计
• 10.2 集成架构设计
• 10.3 安全架构设计
• 10.4 开发架构设计
• 第4篇 安装篇
• 第11章 安装规划
• 11.1 安装目标
• 11.2 安装步骤
• 第12章 环境准备
• 12.1 主机准备
• 12.2 介质准备
• 12.3 基础安装
• 第13章 集群安装
• 13.1 HDFS集群
• 13.2 HBase集群
• 13.3 ZooKeeper集群
• 第14章 分布式应用安装
• 14.1 Pig安装
• 14.2 Hive安装
• 14.3 Chukwa安装
• 第15章 集成联调
• 15.1 集群间的集成联调
• 15.2 分布式应用与集群间的集成联调
• 15.3 客户端与分布式系统间的集成联调
• 第5篇 开发篇
• 第16章 大数据系统应用开发思路和环境
• 16.1 总体思路
• 16.2 开发环境
• 第17章 HDFS文件读/写应用开发
• 17.1 文件列表
• 17.2 文件读取
• 17.3 文件上传
• 17.4 文件创建
• 17.5 文件写入
• 17.6 文件压缩与解压
• 17.7 目录创建
• 17.8 文件重命名
• 17.9 删除文件
• 17.10 查看文件时间
• 17.11 查看文件是否存在
• 17.12 查找文件位置
• 17.13 查找集群所有的节点
• 17.14 SequenceFile文件格式转换
• 17.15 MapFile文件格式转换
• 第18章 HBase数据库读/写应用开发
• 18.1 创建表
• 18.2 删除表
• 18.3 查询数据库中的表
• 18.4 插入记录
• 18.5 查询记录
• 18.6 修改记录
• 18.7 删除记录
• 第19章 ZooKeeper开发
• 19.1 创建节点
• 19.2 删除节点
• 19.3 加入子节点
• 19.4 列出节点成员
• 19.5 获取节点内容
• 第20章 MapReduce开发
• 20.1 定制数据类型
• 20.2 定制输入格式
• 20.3 定制输出格式
• 20.4 将整个文件作为输入
• 20.5 小文件聚合成一个文件
• 20.6 多集合文件输出
• 20.7 对压缩数据处理
• 20.8 定制partioner
• 20.9 定制combiner
• 20.10 MapReduce组合
• 20.11 多数据源连接
• 20.12 全局参数应用
• 20.13 全局文件应用
• 20.14 关系数据库访问
• 第21章 Pig开发
• 21.1 脚本编程
• 21.2 自定义函数
• 第22章 Hive开发
• 22.1 HiveQL语言
• 22.2 UDF编码
• 22.3 UDAF编码
• 22.4 客户端编码
• 第6篇 实践篇
• 第23章 企业大数据盘系统
• 23.1 系统开发背景
• 23.2 系统架构设计
• 23.3 系统功能设计
• 23.4 系统代码实现
• 第24章 Hadoop的日志分析
• 24.1 系统开发背景
• 24.2 系统架构设计
• 24.3 系统功能设计
• 24.4 系统代码实现
• 24.5 系统实现效果
• 参考文献