Hadoop: the definitive guide
副标题：无
分类号：
ISBN：9787302224242
微信扫一扫,移动浏览光盘
简介
本书从Hadoop的缘起开始，由浅入深，结合理论和实践，全方位地介绍Hado叩这一高性能处理海量数据集的理想工具。全书共14章，3个附录，涉及的主题包括：Haddoop简介：MapReduce简介：Hadoop分布式文件系统；Hadoop的I／O、MapReduce应用程序开发；MapReduce的工作机制：MapReduce的类型和格式；MapReduce的特性：如何安装Hadoop集群，如何管理Hadoop；Pig简介：Hbase简介：ZooKeeper简介，最后还提供了丰富的案例分析。
本书是Hadoop权威参考，程序员可从中探索如何分析海量数据集，管理员可以从中了解如何安装与运行Hadoop集群。
什么是谷歌帝国的基石?MapReduce算法是也!Apache Hadoop架构作为MapReduce算法的一种开源应用，是应对海量数据的理想工具。项目负责人TomWhite透过本书详细阐述了如何使用Hadoop构建可靠、可伸缩的分布式系统，程序员可从中探索如何分析海量数据集，管理员可以从中了解如何安装和运行Hadoop集群。
本书结合丰富的案例来展示如何用Hadoop解决特殊问题，它将帮助您：
·使用Hadoop分布式文件系统(HDFS)来存储海量数据集，
通过MapReduce对这些数据集运行分布式计算
·熟悉Hadoop的数据和IlO构件，用于压缩、数据集成、序列化和持久处理
·洞悉编~MapReduce实际应用时的常见陷阱和高级特性
·设计、构建和管理一个专用的Hadoop集群或在云上运行Hadoop
·使用高级查询语言Pig来处理大规模数据
·利用Hadoop数据库HBase来保存和处理结构化／半结构化数据
·学会使用ZooKeeper来构建分布式系统
如果您拥有海量数据，无论是GB级还是PB级，Hadoop都将是您的完美解决方案。
目录
目 录
第1章 初识hadoop 1
1.1 数据！数据 1
1.2 数据的存储和分析 3
1.3 相较于其他系统 4
1.3.1 关系型数据库管理系统 5
1.3.2 网格计算 6
1.3.3 志愿计算 8
1.4 hadoop发展简史 9
1.5 apache hadoop项目 12
第2章 mapreduce简介 15
2.1 一个气象数据集 15
2.2 使用unix tools来分析数据 17
2.3 使用hadoop进行数据分析 19
2.3.1 map和reduce 19
2.3.2 java mapreduce 20
2.4 分布化 30
2.4.1 数据流 30
2.4.2 具体定义一个combiner 34
2.4.3 运行分布式mapreduce作业 35
.2.5 hadoop流 35
2.5.1 ruby语言 36
2.5.2 python 38
2.6 hadoop管道 40
第3章 hadoop分布式文件系统 44
3.1 hdfs的设计 44
3.2 hdfs的概念 45
3.2.1 块 45
3.2.2 名称节点与数据节点 47
3.3 命令行接口 48
3.4 hadoop文件系统 50
3.5 java接口 54
3.5.1 从hadoop url中读取数据 54
3.5.2 使用filesystem api读取数据 56
3.5.3 写入数据 59
3.5.4 目录 62
3.5.5 查询文件系统 62
3.5.6 删除数据 67
3.6 数据流 68
3.6.1 文件读取剖析 68
3.6.2 文件写入剖析 71
3.6.3 一致模型 73
3.7 通过distcp进行并行复制 75
3.9 hadoop归档文件 77
3.9.1 使用hadoop archives 77
3.8.2 不足 79
第4章 hadoop的i/o 80
4.1 数据完整性 80
4.1.1 hdfs的数据完整性 81
4.1.2 本地文件系统 82
4.1.3 checksumfilesystem 82
4.2 压缩 83
4.2.1 编码/解码器 84
4.2.2 压缩和输入分割 89
4.2.3 在mapreduce中使用压缩 90
4.3 序列化 92
4.3.1 writable接口 93
4.3.2 writeable类 96
4.3.3 实现自定义的writable 104
4.3.4 序列化框架 109
4.4 基于文件的数据结构 111
4.4.1 sequencefile类 112
4.4.2 mapfile 120
第5章 mapreduce应用开发 125
5.1 api的配置 126
5.1.1 合并资源 127
5.1.2 各种扩展形式 128
5.2 配置开发环境 128
5.2.1 配置的管理 129
5.2.2 genericoptionsparser，tool和toolrunner 131
5.3 编写单元测试 134
5.3.1 mapper 135
5.3.2 reducer 137
5.4 本地运行测试数据 138
5.4.1 在本地作业运行器上运行作业 139
5.4.2 测试驱动程序 142
5.5 在集群上运行 144
5.5.1 打包 144
5.5.2 启动作业 144
5.5.3 mapreduce网络用户界面 146
5.5.4 获取结果 150
5.5.4 调试作业 151
5.5.5 使用远程调试器 157
5.6 作业调优 159
5.7 mapreduce的工作流 162
5.7.1 将问题分解成mapreduce作业 163
5.7.2 运行独立的作业 164
第6章 mapreduce的工作原理 166
6.1 运行mapreduce作业 166
6.1.1 提交作业 166
6.1.2 作业的初始化 168
6.1.3 任务的分配 168
6.1.4 任务的执行 169
6.1.5 进度和状态的更新 170
6.1.6 作业的完成 171
6.2 失败 172
6.2.1 任务失败 172
6.2.2 tasktracker失败 174
6.2.3 jobtracker失败 174
6.3 作业的调度 174
6.4 shuffle和排序 175
6.5.1 map端 176
6.5.2 reduce端 177
6.5.3 配置的调整 178
6.6 任务的执行 181
6.6.1 推测式执行 181
6.6.2 任务jvm重用 183
6.6.3 跳过坏记录 184
6.6.4 任务执行环境 185
第7章 mapreduce的类型与格式 188
7.1 mapreduce类型 188
7.2 输入格式 198
7.2.1 输入分片与记录 198
7.2.2 文本输入 210
7.2.3 二进制输入 214
7.2.4 多种输入 215
7.2.5 数据库格式的输入/输出 216
7.3 输出格式 217
7.3.1 文本输出 217
7.3.2 二进制输出 218
7.3.3 多个输出 218
7.3.4 延迟输出 226
7.3.5 数据库输出 226
第8章 mapreduce 特性 227
8.1 计数器 227
8.1.1 内置计数器 227
8.1.2 用户自定义java计数器 230
8.1.3 用户自定义流计数器 235
8.2 排序 235
8.2.1 准备 235
8.2.2 部分排序 237
8.2.3 全局排序 242
8.2.4 二次排序 246
8.3 联接 252
8.3.1 map端联接 253
8.3.2 reduce端联接 254
8.4 次要数据的分布 258
8.4.1 使用作业配置 258
8.4.2 分布式缓存 258
8.5 mapreduce的类库 263
第9章 hadoop集群的安装 264
9.1 集群说明 264
9.2 集群的建立和安装 268
9.2.1 安装java 268
9.2.2 创建hadoop用户 269
9.2.3 安装hadoop 269
9.2.4 测试安装 270
9.3 ssh配置 270
9.4 hadoop配置 271
9.4.1 配置管理 271
9.4.2 环境设置 274
9.4.3 重要的hadoop后台程序属性 278
9.4.4 hadoop后台程序地址和端口 283
9.4.5 其他hadoop属性 284
9.5 安装之后 286
9.6 hadoop集群基准测试 286
9.6.1 hadoop基准测试 287
9.6.2 用户作业 290
9.7 云计算中的hadoop 290
第10章 hadoop的管理 293
10.1 hdfs 293
10.1.1 持久化的数据结构 293
10.1.2 安全模式 298
10.1.3 审计日志 300
10.1.4 工具 300
10.2 监控 306
10.2.1 日志 306
10.2.2 度量 307
10.2.3 java 管理扩展 310
10.3 维护 313
10.3.1 例行管理程序 313
10.3.2 委托节点和撤消节点 314
10.3.3 升级 317
第11章 pig简介 321
11.1 安装和运行pig 322
11.1.1 执行类型 322
11.1.2 运行pig程序 324
11.1.3 grunt 324
11.1.4 pig latin编辑器 325
11.2 实例 325
11.3 与数据库比较 329
11.4 pig latin 330
11.4.1 结构 330
11.4.2 语句 331
11.4.3 表达式 334
11.4.4 类型 335
11.4.5 模式 337
11.4.6 函数 341
11.5 用户定义函数 343
11.5.1 过滤udf 343
11.5.2 求值udf 347
11.5.3 加载udf 348
11.6 数据处理操作符 353
11.6.1 加载和存储数据 353
11.6.2 过滤数据 353
11.6.3 数据的分组和联接 356
11.6.4 数据的排序 361
11.6.5 数据的合并和分割 362
11.7 pig实践提示与技巧 363
11.7.1 并行 363
11.7.2 参数替换 364
第12章 hbase简介 366
12.1 hbase基础 366
12.2 概念 367
12.2.1 数据模型速览 367
12.2.2 实现 368
12.3 安装 371
12.4 客户端 374
12.4.1 java 374
12.4.2 rest和thrift 376
12.5 示例 377
12.5.1 架构 378
12.5.2 加载数据 379
12.5.3. web查询 382
12.6 hbase与rdbms的比较 385
12.6.1 成功的服务 386
12.6.2 hbase 387
12.6.3 用例：streamy.com的hbase 388
12.7 实践 390
12.7.1 版本 390
12.7.2 hbase和hdfs的爱与恨 390
12.7.3 用户界面 392
12.7.4 度量 392
12.7.5 架构设计 392
第13章 zookeeper简介 394
13.1 zookeeper的安装和运行 395
13.2 范例 396
13.2.1 zookeeper中的组成员制 397
13.2.2 创建组 397
13.2.3 加入组 400
13.2.4 列出组成员 401
13.2.5 删除一个组 404
13.3 zookeeper服务 405
13.3.1 数据模型 405
13.3.2 操作 407
13.3.3 执行 411
13.3.4 一致性 412
13.3.5 会话 414
13.3.6 状态 416
13.4 使用zookeeper建立应用程序 417
13.4.1 配置服务 417
13.4.2 可恢复的zookeeper应用 421
13.4.3 锁服务 425
13.4.4 更多分布式数据结构和协议 427
13.5 工业界中的zookeeper 428
13.5.1 恢复力及性能 428
13.5.2 配置 429
第14章 案例研究 431
14.1 hadoop在last.fm的应用 431
14.1.1 last.fm：社会音乐革命 431
14.1.2 使用hadoop生成排行榜 432
14.1.3 单曲统计程序 433
14.1.4 小结 440
14.2 hadoop和hive在facebook的应用 441
14.2.1 简介 441
14.2.2 hadoop在facebook的应用 441
14.2.3 虚拟案例研究 444
14.2.4 hive 446
14.2.5 存在的问题及未来的工作 450
14.3 hadoop在nutch搜索引擎 451
14.3.1 背景 451
14.3.2 数据结构 453
14.3.3 nutch中hadoop数据处理精选实例 455
14.3.4 小结 465
14.4 hadoop用于rackspace的日志处理 466
14.4.1 需求/存在的问题 466
14.4.2 简史 467
14.4.3 选择hadoop 467
14.4.4 收集和存储 467
14.4.5 日志的mapreduce 468
14.5 cascading项目 474
14.5.1 字段、元组和管道 475
14.5.2 操作 477
14.5.3 tap、sheme和flow 479
14.5.4 cascading实践 480
14.5.5 灵活性 483
14.5.6 hadoop和cascading在sharethis的应用 484
14.5.7 小结 487
14.6 apache hadoop的1 tb排序 488
附录a apache hadoop的安装 491
附录b cloudera的hadoop分发包 497
附录c 预备ncdc气象资料 502
第1章 初识hadoop 1
1.1 数据！数据 1
1.2 数据的存储和分析 3
1.3 相较于其他系统 4
1.3.1 关系型数据库管理系统 5
1.3.2 网格计算 6
1.3.3 志愿计算 8
1.4 hadoop发展简史 9
1.5 apache hadoop项目 12
第2章 mapreduce简介 15
2.1 一个气象数据集 15
2.2 使用unix tools来分析数据 17
2.3 使用hadoop进行数据分析 19
2.3.1 map和reduce 19
2.3.2 java mapreduce 20
2.4 分布化 30
2.4.1 数据流 30
2.4.2 具体定义一个combiner 34
2.4.3 运行分布式mapreduce作业 35
.2.5 hadoop流 35
2.5.1 ruby语言 36
2.5.2 python 38
2.6 hadoop管道 40
第3章 hadoop分布式文件系统 44
3.1 hdfs的设计 44
3.2 hdfs的概念 45
3.2.1 块 45
3.2.2 名称节点与数据节点 47
3.3 命令行接口 48
3.4 hadoop文件系统 50
3.5 java接口 54
3.5.1 从hadoop url中读取数据 54
3.5.2 使用filesystem api读取数据 56
3.5.3 写入数据 59
3.5.4 目录 62
3.5.5 查询文件系统 62
3.5.6 删除数据 67
3.6 数据流 68
3.6.1 文件读取剖析 68
3.6.2 文件写入剖析 71
3.6.3 一致模型 73
3.7 通过distcp进行并行复制 75
3.9 hadoop归档文件 77
3.9.1 使用hadoop archives 77
3.8.2 不足 79
第4章 hadoop的i/o 80
4.1 数据完整性 80
4.1.1 hdfs的数据完整性 81
4.1.2 本地文件系统 82
4.1.3 checksumfilesystem 82
4.2 压缩 83
4.2.1 编码/解码器 84
4.2.2 压缩和输入分割 89
4.2.3 在mapreduce中使用压缩 90
4.3 序列化 92
4.3.1 writable接口 93
4.3.2 writeable类 96
4.3.3 实现自定义的writable 104
4.3.4 序列化框架 109
4.4 基于文件的数据结构 111
4.4.1 sequencefile类 112
4.4.2 mapfile 120
第5章 mapreduce应用开发 125
5.1 api的配置 126
5.1.1 合并资源 127
5.1.2 各种扩展形式 128
5.2 配置开发环境 128
5.2.1 配置的管理 129
5.2.2 genericoptionsparser，tool和toolrunner 131
5.3 编写单元测试 134
5.3.1 mapper 135
5.3.2 reducer 137
5.4 本地运行测试数据 138
5.4.1 在本地作业运行器上运行作业 139
5.4.2 测试驱动程序 142
5.5 在集群上运行 144
5.5.1 打包 144
5.5.2 启动作业 144
5.5.3 mapreduce网络用户界面 146
5.5.4 获取结果 150
5.5.4 调试作业 151
5.5.5 使用远程调试器 157
5.6 作业调优 159
5.7 mapreduce的工作流 162
5.7.1 将问题分解成mapreduce作业 163
5.7.2 运行独立的作业 164
第6章 mapreduce的工作原理 166
6.1 运行mapreduce作业 166
6.1.1 提交作业 166
6.1.2 作业的初始化 168
6.1.3 任务的分配 168
6.1.4 任务的执行 169
6.1.5 进度和状态的更新 170
6.1.6 作业的完成 171
6.2 失败 172
6.2.1 任务失败 172
6.2.2 tasktracker失败 174
6.2.3 jobtracker失败 174
6.3 作业的调度 174
6.4 shuffle和排序 175
6.5.1 map端 176
6.5.2 reduce端 177
6.5.3 配置的调整 178
6.6 任务的执行 181
6.6.1 推测式执行 181
6.6.2 任务jvm重用 183
6.6.3 跳过坏记录 184
6.6.4 任务执行环境 185
第7章 mapreduce的类型与格式 188
7.1 mapreduce类型 188
7.2 输入格式 198
7.2.1 输入分片与记录 198
7.2.2 文本输入 210
7.2.3 二进制输入 214
7.2.4 多种输入 215
7.2.5 数据库格式的输入/输出 216
7.3 输出格式 217
7.3.1 文本输出 217
7.3.2 二进制输出 218
7.3.3 多个输出 218
7.3.4 延迟输出 226
7.3.5 数据库输出 226
第8章 mapreduce 特性 227
8.1 计数器 227
8.1.1 内置计数器 227
8.1.2 用户自定义java计数器 230
8.1.3 用户自定义流计数器 235
8.2 排序 235
8.2.1 准备 235
8.2.2 部分排序 237
8.2.3 全局排序 242
8.2.4 二次排序 246
8.3 联接 252
8.3.1 map端联接 253
8.3.2 reduce端联接 254
8.4 次要数据的分布 258
8.4.1 使用作业配置 258
8.4.2 分布式缓存 258
8.5 mapreduce的类库 263
第9章 hadoop集群的安装 264
9.1 集群说明 264
9.2 集群的建立和安装 268
9.2.1 安装java 268
9.2.2 创建hadoop用户 269
9.2.3 安装hadoop 269
9.2.4 测试安装 270
9.3 ssh配置 270
9.4 hadoop配置 271
9.4.1 配置管理 271
9.4.2 环境设置 274
9.4.3 重要的hadoop后台程序属性 278
9.4.4 hadoop后台程序地址和端口 283
9.4.5 其他hadoop属性 284
9.5 安装之后 286
9.6 hadoop集群基准测试 286
9.6.1 hadoop基准测试 287
9.6.2 用户作业 290
9.7 云计算中的hadoop 290
第10章 hadoop的管理 293
10.1 hdfs 293
10.1.1 持久化的数据结构 293
10.1.2 安全模式 298
10.1.3 审计日志 300
10.1.4 工具 300
10.2 监控 306
10.2.1 日志 306
10.2.2 度量 307
10.2.3 java 管理扩展 310
10.3 维护 313
10.3.1 例行管理程序 313
10.3.2 委托节点和撤消节点 314
10.3.3 升级 317
第11章 pig简介 321
11.1 安装和运行pig 322
11.1.1 执行类型 322
11.1.2 运行pig程序 324
11.1.3 grunt 324
11.1.4 pig latin编辑器 325
11.2 实例 325
11.3 与数据库比较 329
11.4 pig latin 330
11.4.1 结构 330
11.4.2 语句 331
11.4.3 表达式 334
11.4.4 类型 335
11.4.5 模式 337
11.4.6 函数 341
11.5 用户定义函数 343
11.5.1 过滤udf 343
11.5.2 求值udf 347
11.5.3 加载udf 348
11.6 数据处理操作符 353
11.6.1 加载和存储数据 353
11.6.2 过滤数据 353
11.6.3 数据的分组和联接 356
11.6.4 数据的排序 361
11.6.5 数据的合并和分割 362
11.7 pig实践提示与技巧 363
11.7.1 并行 363
11.7.2 参数替换 364
第12章 hbase简介 366
12.1 hbase基础 366
12.2 概念 367
12.2.1 数据模型速览 367
12.2.2 实现 368
12.3 安装 371
12.4 客户端 374
12.4.1 java 374
12.4.2 rest和thrift 376
12.5 示例 377
12.5.1 架构 378
12.5.2 加载数据 379
12.5.3. web查询 382
12.6 hbase与rdbms的比较 385
12.6.1 成功的服务 386
12.6.2 hbase 387
12.6.3 用例：streamy.com的hbase 388
12.7 实践 390
12.7.1 版本 390
12.7.2 hbase和hdfs的爱与恨 390
12.7.3 用户界面 392
12.7.4 度量 392
12.7.5 架构设计 392
第13章 zookeeper简介 394
13.1 zookeeper的安装和运行 395
13.2 范例 396
13.2.1 zookeeper中的组成员制 397
13.2.2 创建组 397
13.2.3 加入组 400
13.2.4 列出组成员 401
13.2.5 删除一个组 404
13.3 zookeeper服务 405
13.3.1 数据模型 405
13.3.2 操作 407
13.3.3 执行 411
13.3.4 一致性 412
13.3.5 会话 414
13.3.6 状态 416
13.4 使用zookeeper建立应用程序 417
13.4.1 配置服务 417
13.4.2 可恢复的zookeeper应用 421
13.4.3 锁服务 425
13.4.4 更多分布式数据结构和协议 427
13.5 工业界中的zookeeper 428
13.5.1 恢复力及性能 428
13.5.2 配置 429
第14章 案例研究 431
14.1 hadoop在last.fm的应用 431
14.1.1 last.fm：社会音乐革命 431
14.1.2 使用hadoop生成排行榜 432
14.1.3 单曲统计程序 433
14.1.4 小结 440
14.2 hadoop和hive在facebook的应用 441
14.2.1 简介 441
14.2.2 hadoop在facebook的应用 441
14.2.3 虚拟案例研究 444
14.2.4 hive 446
14.2.5 存在的问题及未来的工作 450
14.3 hadoop在nutch搜索引擎 451
14.3.1 背景 451
14.3.2 数据结构 453
14.3.3 nutch中hadoop数据处理精选实例 455
14.3.4 小结 465
14.4 hadoop用于rackspace的日志处理 466
14.4.1 需求/存在的问题 466
14.4.2 简史 467
14.4.3 选择hadoop 467
14.4.4 收集和存储 467
14.4.5 日志的mapreduce 468
14.5 cascading项目 474
14.5.1 字段、元组和管道 475
14.5.2 操作 477
14.5.3 tap、sheme和flow 479
14.5.4 cascading实践 480
14.5.5 灵活性 483
14.5.6 hadoop和cascading在sharethis的应用 484
14.5.7 小结 487
14.6 apache hadoop的1 tb排序 488
附录a apache hadoop的安装 491
附录b cloudera的hadoop分发包 497
附录c 预备ncdc气象资料 502
Hadoop: the definitive guide
- 名称
- 类型
- 大小
光盘服务联系方式: 020-38250260 客服QQ：4006604884
云图客服：
用户发送的提问，这种方式就需要有位在线客服来回答用户的问题，这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问
Video Player
×
Audio Player
×
pdf Player
×
