如果你是一位在校大学生，对大数据感兴趣，也知道使用的企业越来越多，市场需求更是日新月异，但苦于自己基础不够，心有余而力不足；也看过不少大数据方面的书籍、博客、视频等，但感觉进步不大；如果你是一位在职人员，但目前主要使用传统技术，虽然对大数据很有兴趣，也深知其对未来的影响，但因时间不够，虽有一定的基础，常常也是打两天鱼、晒三天网，进展不是很理想。如果你有上述疑惑或遇到相似问题，本书正好比较适合你。本书从OpenStack云平台搭建、软件部署、需求开发实现到结果展示，以纵向角度讲解了生产性大数据项目上线的整个流程；以完成一个实际项目需求贯穿各章节，讲述了Hadoop生态圈中互联网爬虫技术、Sqoop、Hive、HBase组件协同工作流程，并展示了Spark计算框架、R制图软件和SparkRHive组件的使用方法。本书的一大特色是提供了实际操作环境，用户可以在线登录云平台来动手操作书中的数据和代码，登录网址请参考http：//www.feiguyun.com/support。
内容简介
作者简介1
前言
第1章 为什么要自己动手做大数据系统
1.1 大数据时代
1.2 实战大数据项目
1.3 大数据演练平台
第2章 项目背景及准备
2.1 项目背景
2.2 项目简介
2.3 项目架构
2.4 操作系统
2.5 数据存储
2.6 数据处理
2.7 开发工具
2.8 调试工具
2.9 版本管理
第3章 大数据环境搭建和配置
3.1 各组件功能说明
3.2 大数据系统各组件安装部署配置
3.3 自动化安装及部署说明
3.4 本章小结
第4章 大数据的获取
4.1 使用爬虫获取互联网数据
4.2 Python和Scrapy框架的安装
4.3 抓取和解析招聘职位信息
4.4 职位信息的落地
4.5 两个爬虫配合工作
4.6 让爬虫的架构设计更加合理
4.7 获取数据的其他方式
4.8 使用Sqoop同步论坛中帖子数据
4.9 本章小结
第5章 大数据的处理
5.1 Hive是什么
5.2 为什么使用Hive做数据仓库建模
5.3 飞谷项目中Hive建模步骤
5.4 使用Hive进行数据清洗转换
5.5 数据清洗转换的必要性
5.6 使用Hive QL清洗数据、提取维度信息
5.7 定义Hive UDF封装处理逻辑
5.8 使用左外连接构造聚合表rpt_job
5.9 让数据处理自动调度
5.10 本章小结
第6章 大数据的存储
6.1 No SQL及HBase简介
6.2 HBase中的主要概念
6.3 HBase客户端及Java API
6.4 Hive数据导入HBase的两种方案
6.5 使用Java API查询HBase中的职位信息
6.6 如何显示职位表中的某条具体信息
6.7 本章小结
第7章 大数据的展示
7.1 概述
7.2 数据分析的一般步骤
7.3 用R来做数据分析展示
7.4 用Hive充当R的数据来源
7.5 本章小结
第8章 大数据的分析挖掘
8.1 基于Spark的数据挖掘技术
8.2 Spark和Hadoop的关系
8.3 在Ubuntu上安装Spark集群
8.4 Spark的运行方式
8.5 使用Spark替代Hadoop Yarn引擎
8.6 对招聘公司名称做全文检索
8.7 如何把Spark用得更好
8.8 Spark R组件的使用
8.9 本章小结
第9章 自己动手搭建支撑大数据系统的云平台
9.1 云平台架构
9.2 云平台搭建及部署
9.3 Identity(Keystone)与LDAP的整合
9.4 配置Image组件大镜像部署
9.5 配置业务系统无缝迁移
9.6 本章小结
参考文献
作者简介2
