Spark大数据编程基础（Scala版） 高等教育大数据科学与技术“十三五”规划教材

目 录

第1章Spark概述 （1）

1.1 Spark的背景 （1）

1.1.1 Spark发展史 （1）

1.1.2 Spark的特点 （2）

1.2 Spark生态系统 （3）

1.2.1 Spark Core （3）

1.2.2 Spark SQL （4）

1.2.3 Spark Streaming （4）

1.2.4 GraphX （5）

1.2.5 MLBase/MLlib （5）

1.2.6 SparkR （5）

1.3 Spark运行架构 （6）

1.3.1相关术语 （6）

1.3.2 Spark架构 （7）

1.3.3执行步骤 （8）

1.3.4 Spark运行模式 （10）

1.4 WordCount示例 （13）

1.4.1三种编程语言的示例程序 （13）

1.4.2 Scala版本WordCount运行分析 （16）

1.4.3 WordCount中的类调用关系 （18）

1.5本章小结 （19）

思考与习题 （19）

第2章 搭建Spark开发环境 （20）

2.1 Spark开发环境所需软件 （20）

2.2安装Spark （21）

2.2.1 spark-shell下的实例 （25）

2.2.2 SparkWEB的使用 （26）

2.3 IDEA （28）

2.3.1安装IDEA （28）

2.3.2 IDEA的实例（Scala） （32）

2.3.3 IDEA打包运行 （37）

2.4 Eclipse （40）

2.4.1安装Eclipse （40）

2.4.2 Eclipse的实例（Scala） （41）

2.5本章小结 （46）

思考与习题 （47）

第3章Scala语言基础 （48）

3.1 Scala简介 （48）

3.1.1 Scala特点 （48）

3.1.2 Scala运行方式 （48）

3.2变量与类型 （50）

3.2.1变量的定义与使用 （50）

3.2.2基本数据类型和操作 （56）

3.2.3 Range操作 （61）

3.3程序控制结构 （62）

3.3.1 if条件表达式 （62）

3.3.2循环表达式 （66）

3.3.3匹配表达式 （70）

3.4集合 （73）

3.4.1数组 （73）

3.4.2列表 （78）

3.4.3集 （81）

3.4.4映射 （85）

3.4.5 Option （90）

3.4.6迭代器与元组 （92）

3.5函数式编程 （95）

3.5.1函数 （95）

3.5.2占位符语法 （97）

3.5.3递归函数 （99）

3.5.4嵌套函数 （101）

3.5.5高阶函数 （102）

3.5.6高阶函数的使用 （104）

3.6本章小结 （108）

思考与习题 （108）

第4章Scala面向对象编程 （110）

4.1类与对象 （110）

4.1.1定义类 （110）

4.1.2创建对象 （111）

4.1.3类成员的访问 （112）

4.1.4构造函数 （113）

4.1.5常见对象类型 （116）

4.1.6抽象类与匿名类 （118）

4.2继承与多态 （120）

4.2.1类的继承 （121）

4.2.2构造函数执行顺序 （124）

4.2.3方法重写 （125）

4.2.4多态 （127）

4.3特质（trait） （128）

4.3.1特质的使用 （129）

4.3.2特质与类 （132）

4.3.3多重继承 （135）

4.4导入和包 （137）

4.4.1包 （137

4.4.2 import高级特性 （138）

4.5本章小结 （141）

思考与习题 （141）

第5章RDD编程 （143）

5.1 RDD基础 （143）

5.1.1 RDD的基本特征 （143）

5.1.2依赖关系 （144）

5.2创建RDD （148）

5.2.1从已有集合创建RDD （148）

5.2.2从外部存储创建RDD （149）

5.3 RDD操作 （150）

5.3.1 Transformation操作 （151）

5.3.2 Action操作 （159）

5.3.3不同类型RDD之间的转换 （166）

5.4数据的读取与保存 （168）

5.5 RDD缓存与容错机制 （170）

5.5.1 RDD的缓存机制（持久化） （170）

5.5.2 RDD检查点容错机制 （173）

5.6综合实例 （174）

5.7本章小结 （179）

思考与习题 （180）

第6章Spark SQL （181）

6.1 Spark SQL概述 （181）

6.1.1 Spark SQL架构 （181）

6.1.2程序主入口SparkSession （182）

6.1.3 DataFrame与RDD （184）

6.2创建DataFrame （185）

6.2.1从外部数据源创建DataFrame （185）

6.2.2 RDD转换为DataFrame （199）

6.3 DataFrame操作 （203）

6.3.1 Transformation操作 （204）

6.3.2 Action操作 （216）

6.3.3保存操作 （219）

6.4 Spark SQL实例 （220）

6.5本章小结 （226）

思考与习题 （226）