Hadoop 2.X HDFS源码剖析

第1章 HDFS 11.1 HDFS概述 11.1.1 HDFS体系结构 11.1.2 HDFS基本概念 21.2 HDFS通信协议 41.2.1 Hadoop RPC接口 41.2.2 流式接口 201.3 HDFS主要流程 221.3.1 HDFS客户端读流程 221.3.2 HDFS客户端写流程 241.3.3 HDFS客户端追加写流程 251.3.4 Datanode启动、心跳以及执行名字节点指令流程 261.3.5 HA切换流程 27第2章 Hadoop RPC 292.1 概述 292.1.1 RPC框架概述 292.1.2 Hadoop RPC框架概述 302.2 Hadoop RPC的使用 362.2.1 Hadoop RPC使用概述 362.2.2 定义RPC协议 402.2.3 客户端获取Proxy对象 452.2.4 服务器获取Server对象 542.3 Hadoop RPC实现 632.3.1 RPC类实现 632.3.2 Client类实现 642.3.3 Server类实现 76第3章 Namenode（名字节点） 883.1 文件系统目录树 883.1.1 INode相关类 893.1.2 Feature相关类 1023.1.3 FSEditLog类 1173.1.4 FSImage类 1383.1.5 FSDirectory类 1583.2 数据块管理 1623.2.1 Block、Replica、BlocksMap 1623.2.2 数据块副本状态 1673.2.3 BlockManager类（done） 1773.3 数据节点管理 2113.3.1 DatanodeDescriptor 2123.3.2 DatanodeStorageInfo 2143.3.3 DatanodeManager 2173.4 租约管理 2333.4.1 LeaseManager.Lease 2333.4.2 LeaseManager 2343.5 缓存管理 2463.5.1 缓存概念 2473.5.2 缓存管理命令 2473.5.3 HDFS集中式缓存架构 2473.5.4 CacheManager类实现 2483.5.5 CacheReplicationMonitor 2503.6 ClientProtocol实现 2513.6.1 创建文件 2513.6.2 追加写文件 2543.6.3 创建新的数据块 2573.6.4 放弃数据块 2653.6.5 关闭文件 2663.7 Namenode的启动和停止 2683.7.1 安全模式 2683.7.2 HDFS High Availability 2763.7.3 名字节点的启动 3013.7.4 名字节点的停止 306第4章 Datanode（数据节点） 3074.1 Datanode逻辑结构 3074.1.1 HDFS 1.X架构 3074.1.2 HDFS Federation 3084.1.3 Datanode逻辑结构 3104.2 Datanode存储 3124.2.1 Datanode升级机制 3124.2.2 Datanode磁盘存储结构 3154.2.3 DataStorage实现 3174.3 文件系统数据集 3344.3.1 Datanode上数据块副本的状态 3354.3.2 BlockPoolSlice实现 3354.3.3 FsVolumeImpl实现 3424.3.4 FsVolumeList实现 3454.3.5 FsDatasetImpl实现 3484.4 BlockPoolManager 3754.4.1 BPServiceActor实现 3764.4.2 BPOfferService实现 3894.4.3 BlockPoolManager实现 3964.5 流式接口 3984.5.1 DataTransferProtocol定义 3984.5.2 Sender和Receiver 3994.5.3 DataXceiverServer 4034.5.4 DataXceiver 4064.5.5 读数据 4084.5.6 写数据（done） 4234.5.7 数据块替换、数据块拷贝和读数据块校验 4374.5.8 短路读操作 4374.6 数据块扫描器 4374.6.1 DataBlockScanner实现 4384.6.2 BlockPoolSliceScanner实现 4394.7 DirectoryScanner 4424.8 DataNode类的实现 4434.8.1 DataNode的启动 4444.8.2 DataNode的关闭 446第5章 HDFS客户端 4475.1 DFSClient实现 4475.1.1 构造方法 4485.1.2 关闭方法 4495.1.3 文件系统管理与配置方法 4505.1.4 HDFS文件与目录操作方法 4515.1.5 HDFS文件读写方法 4525.2 文件读操作与输入流 4525.2.1 打开文件 4525.2.2 读操作——DFSInputStream实现 4615.3 文件短路读操作 4815.3.1 短路读共享内存 4825.3.2 DataTransferProtocol 4845.3.3 DFSClient短路读操作流程 4885.3.4 Datanode短路读操作流程 5095.4 文件写操作与输出流 5125.4.1 创建文件 5125.4.2 写操作——DFSOutputStream实现 5165.4.3 追加写操作 5435.4.4 租约相关 5465.4.5 关闭输出流 5485.5 HDFS常用工具 5495.5.1 FsShell实现 5505.5.2 DFSAdmin实现 552