本书较为系统地讲解了大数据处理平台Hadoop和Spark生态系统的相关技术原理、使用方法和开发技术，全书共11章，主要包括大数据技术概述、大数据处理平台Hadoop、分布式文件系统HDFS、分布式计算框架MapReduce、Hadoop的发展和演化、数据仓库Hive、分布式数据库HBase、Spark的基本概念和整体架构及集群安装、Spark核心编程、Spark生态系统、Flinkk基本概念和体系结构及编程实践。
随着计算机及互联网的飞速发展，当今社会已进入大数据时代，大数据带来了信息技术的巨大变革，并深刻影响着人类社会生产和生活的方方面面。2020 年，国家推出了新基建战略，将5G、大数据中心、人工智能和工业互联网等列为新型基础设施建设的重点。在国家政策的引领下，各行各业都将大数据产业列为优先发展目标，而任何行业的兴起最需要的就是相关人才，特别是会分析数据、懂领域业务的复合型人才，目前大数据相关人才供不应求。在新的需求背景下，我国的高等教育也进入一个新的发展时期，尤其是相关大数据与人工智能方面的教育。
本书以大数据技术为中心，系统论述了大数据处理生态系统的核心开发技术。本书共分十一章。第1 章绪论，介绍了大数据的发展背景、大数据处理的关键技术和系统框架以及大数据的应用。第2 章大数据处理框架Hadoop，论述了Hadoop 的发展历程、生态系统、特点和应用场景，并论述了Hadoop 集群搭建和安装配置。第3 章分布式文件系统HDFS，论述了HDFS 的体系结构、工作机制和访问方式，并用Java 复制文件到HDFS。第4 章分布式计算框架MapReduce，论述了MapReduce 的设计构思、运行理论、编程模型和机制，并开发词频统计MapReduce 程序。第5 章Hadoop 的发展与优化，论述了HDFS 的高可用和联邦、资源管理调度框架YARN 和分布式协调服务组件Zookeeper，并开发一个YARN 客户端应用。第6 章分布式数据HBase，论述了HBase 的使用场景、架构和存储原理以及安装，并实践HBase Shell 操作。第7 章数据仓库Hive，论述了Hive 的运行原理、数据类型与HiveQL 语句使用、分区和分桶使用、自定义函数开发等，并使用HiveQL 语句导入数据到HDFS。第8 章基于内存的分布式计算框架Spark，论述了Spark 的相关背景知识、生态系统、架构及运行原理和应用场景，以及Spark 的安装启动和Spark shell 的基本操作。第9 章Spark 核心编程，对RDD 各种操作进行了较为全面的解释，还对Spark DAG 机制和Spark Stage 进行了详细的论述，可以让读者更好地理解RDD 的执行过程。第10 章Spark 生态系统，论述了Spark SQL、Spark Streaming 及 Structured Streaming、Spark MLlib、Spark GraphX 及其应用场景等。第11 章流式数据处理引擎Flink，论述了Flink 的基本组件和架构、Flink编程模型、Flink 的部署及应用等。
本书具有以下特点：
1. 强调目标性，融入思政元素。每章设置学习目标，引导学生学习，启发学生思考。本书结合课程教学内容融入思政元素，在章末尾设置思政小讲堂，以学生为中心，将课程思政真正融入课堂教学中。
2. 强化实践性。本书基于新工科课程体系建设过程中大数据运维、大数据分析处理等技术基础的理论与实践，在介绍实用知识体系的同时注重对相关基础理论的讲解，以便学生融会贯通，达到理论与实践的有机结合，并强调实践性，在每章都提供了比较充足的实践内容。感谢合作企业的工程师和课程教学团队的每位成员，是他们的帮助，使本书得以顺利完成编写并不断完善。书中的实战内容由编者联合江苏知途教育科技有限公司的工程师共同完成。
在本书的编写过程中，编者参考了国内外出版的一些教材、报刊、文献和网络资源，吸收了学者们最新的研究成果，在此谨对所参考的资料的版权所有者表示衷心感谢！在编写过程中，得到了江苏知途教育科技有限公司李瑞芝经理的帮助，他为完善本书付出了很多努力，同时还得到了华纳信息科技有限公司的大力支持，在此一并表示感谢!
由于时间仓促、编者水平有限，书中的不足之处在所难免，尚望同行专家及读者不吝赐教，以便今后进一步完善修改。
罗金炎，工学硕士，闽江学院副教授，主要研究方向为智能优化算法、机器学习、人工智能等。主要讲授程序设计基础C语言、Hadoop原理及应用、大数据技术与应用、人工神经网络与深度学习等课程，参编教材2部。曾主持多项省自然科学基金项目、校基金项目、横向项目等，发表学术论文30多篇。 董正山，应用数学博士，现任闽江学院数学与数据科学学院讲师。主要从事优化理论与算法、机器学习、数据分析等相关领域的理论与应用研究，已经在国内外重要学术期刊上发表论文5篇。个人曾在企业从事过视频数据智能分析等相关工作3年，拥有数据分析、人工智能等工程实践经验。 雷进宇，博士，现任闽江学院数学与数据科学学院讲师。主要从事船舶轨迹数据挖掘、时空数据可视分析及智能交通信息系统的研究。主要主持或参与国家级、省级科学基金多项。在国内外学术刊物发表了10余篇学术论文，获得国家专利4项，软件著作权2项。
精品教材 更多
