简介
大数据的统计计算是进行数据探索和分析挖掘的基础，在实际应用中会遇到两个问题：一个是需要使用多少资源；另一个是计算时间，它关系到数据探索分析的效率和效果。人们都希望花更少的钱，并且希望计算时间更短，但对于某个确定的计算过程，它们是成反比的。《重构大数据统计》作者就是从统计计算的算法入手，重构其计算过程，从而同时降低资源使用量和计算时间。《重构大数据统计》提出了一套完整的关于大数据统计的计算理论，包括常用的各种统计量和统计方法。基于《重构大数据统计》内容开发的数据分析工具已经在阿里巴巴集团内部的多个部门使用，并取得显著效果。另外，《重构大数据统计》还提供大量的示例程序代码帮助读者进一步了解算法细节，便于将书中的方法运用于实际计算。 《重构大数据统计》适合对大数据分析感兴趣的读者阅读，《重构大数据统计》前面章节比较容易理解，包含了常用统计量的计算；后面的各章节需要读者具备一些基础知识。建议读者根据自己的兴趣和工作需要，选择相应的内容进行参考。
目录
第1章基本概念.
1.1数据类型
1.2总体和样本
1.3参数和统计量
1.4分布式计算.
第2章单变量基本统计量.
2.1数量统计量
2.1.1样本方差为何除以n-1
2.1.2数据分布与标准差的关系
2.1.3新的计算公式
2.1.4代码实现.
2.2频数统计量
2.3次序统计量.
2.3.1通过排序方法计算次序统计量.
2.3.2不需排序就可计算的次序统计量
2.3.3基于频数信息计算次序统计量.
2.3.4中位数、众数和均值的关系
第3章单变量数据的分布
3.1直方图
3.1.1直方图的计算
3.1.2算法实现
3.1.3已知数据频数的情况下求直方图
3.1.4日期类型直方图
3.2经验分布
3.3近似分位数和近似百分位数
3.4PP、QQ概率图
3.5单变量的基本统计信息
第4章多变量的数据特征
4.1协方差
4.2相关系数.
4.3协方差和相关系数的计算实现
4.4数据表的基本统计结果
第5章数据探索
5.1扩展直方图
5.1.1计算方法
5.1.2代码实现
5.2交叉表
第6章极限定理
6.1大数定理
6.2中心极限定理
第7章常用的分布函数介绍
7.1基本定义
7.2标准正态分布（Z分布或U分布）
7.3卡方分布（分布）
7.4学生T分布
7.5F分布
第8章常用分布函数计算
8.1函数定义
8.2函数性质及相互间的关系
8.3分布函数关系图
8.4分布函数的计算
8.4.1计算
8.4.2计算
8.4.3计算.
8.4.4计算和
8.4.5其他函数的计算
8.5生成常用分布的随机数
第9章参数估计
9.1点估计与区间估计
9.2单个总体的参数估计.
9.2.1不同情况的参数估计表达式
9.2.2单个总体参数估计的实现.
9.3两个总体的参数估计
9.3.1不同情况的参数估计表达式
9.3.2两个总体参数估计的实现.
第10章假设检验
10.1基本概念.
10.2参数检验
10.3单个总体参数的检验
10.3.1各种情况下的检验方法
10.3.2单个总体参数检验方法的实现
10.3.3不同检验方法的选择.
10.4两个总体参数的检验.
10.4.1各种情况下的检验方法
10.4.2两个总体参数检验方法的实现
10.4.3不同检验方法的选择.
第11章非参数检验
11.1Pearson拟合优度检验
11.2两个变量的列联表检验.
11.3K-S检验
11.3.1单样本K-S检验
11.3.2双样本K-S检验
11.4符号检验.
11.5秩统计量和秩检验方法
11.5.1Wilcoxon秩和检验.
11.5.2Wilcoxon符号秩和检验
11.5.3Kruskal-Wallis检验.
11.5.4Friedman检验.
第12章方差分析
12.1单因素方差分析.
12.1.1计算流程
12.1.2代码实现
12.1.3方差分析与T检验的关系
12.1.4方差分析中的多重比较方法.
12.2双因素方差分析.
12.2.1无交互作用的双因素方差分析
12.2.2有交互作用的双因素方差分析
第13章多元线性回归
13.1数学模型
13.2显著性检验
13.3计算步骤
13.4代码实现
13.5多重共线性
13.5.1度量指标.
13.5.2代码实现
13.5.3应用示例
13.6逐步回归.
第14章主成分分析.
14.1计算步骤
14.2代码实现
14.3应用举例
第15章判别分析.
15.1距离判别
15.1.1Mahalanobis距离.
15.1.2模型训练和预测
15.2Fisher判别
15.3Bayes判别
15.3.1朴素Bayes判别
15.3.2模型训练和预测
15.4判别算法的综合模型.
15.5应用举例
第16章模型评估曲线
16.1相关概念.
16.2定义
16.2.1ROC曲线
16.2.2上升图和反馈率—精确率线.
16.3计算实现.
参考文献
1.1数据类型
1.2总体和样本
1.3参数和统计量
1.4分布式计算.
第2章单变量基本统计量.
2.1数量统计量
2.1.1样本方差为何除以n-1
2.1.2数据分布与标准差的关系
2.1.3新的计算公式
2.1.4代码实现.
2.2频数统计量
2.3次序统计量.
2.3.1通过排序方法计算次序统计量.
2.3.2不需排序就可计算的次序统计量
2.3.3基于频数信息计算次序统计量.
2.3.4中位数、众数和均值的关系
第3章单变量数据的分布
3.1直方图
3.1.1直方图的计算
3.1.2算法实现
3.1.3已知数据频数的情况下求直方图
3.1.4日期类型直方图
3.2经验分布
3.3近似分位数和近似百分位数
3.4PP、QQ概率图
3.5单变量的基本统计信息
第4章多变量的数据特征
4.1协方差
4.2相关系数.
4.3协方差和相关系数的计算实现
4.4数据表的基本统计结果
第5章数据探索
5.1扩展直方图
5.1.1计算方法
5.1.2代码实现
5.2交叉表
第6章极限定理
6.1大数定理
6.2中心极限定理
第7章常用的分布函数介绍
7.1基本定义
7.2标准正态分布（Z分布或U分布）
7.3卡方分布（分布）
7.4学生T分布
7.5F分布
第8章常用分布函数计算
8.1函数定义
8.2函数性质及相互间的关系
8.3分布函数关系图
8.4分布函数的计算
8.4.1计算
8.4.2计算
8.4.3计算.
8.4.4计算和
8.4.5其他函数的计算
8.5生成常用分布的随机数
第9章参数估计
9.1点估计与区间估计
9.2单个总体的参数估计.
9.2.1不同情况的参数估计表达式
9.2.2单个总体参数估计的实现.
9.3两个总体的参数估计
9.3.1不同情况的参数估计表达式
9.3.2两个总体参数估计的实现.
第10章假设检验
10.1基本概念.
10.2参数检验
10.3单个总体参数的检验
10.3.1各种情况下的检验方法
10.3.2单个总体参数检验方法的实现
10.3.3不同检验方法的选择.
10.4两个总体参数的检验.
10.4.1各种情况下的检验方法
10.4.2两个总体参数检验方法的实现
10.4.3不同检验方法的选择.
第11章非参数检验
11.1Pearson拟合优度检验
11.2两个变量的列联表检验.
11.3K-S检验
11.3.1单样本K-S检验
11.3.2双样本K-S检验
11.4符号检验.
11.5秩统计量和秩检验方法
11.5.1Wilcoxon秩和检验.
11.5.2Wilcoxon符号秩和检验
11.5.3Kruskal-Wallis检验.
11.5.4Friedman检验.
第12章方差分析
12.1单因素方差分析.
12.1.1计算流程
12.1.2代码实现
12.1.3方差分析与T检验的关系
12.1.4方差分析中的多重比较方法.
12.2双因素方差分析.
12.2.1无交互作用的双因素方差分析
12.2.2有交互作用的双因素方差分析
第13章多元线性回归
13.1数学模型
13.2显著性检验
13.3计算步骤
13.4代码实现
13.5多重共线性
13.5.1度量指标.
13.5.2代码实现
13.5.3应用示例
13.6逐步回归.
第14章主成分分析.
14.1计算步骤
14.2代码实现
14.3应用举例
第15章判别分析.
15.1距离判别
15.1.1Mahalanobis距离.
15.1.2模型训练和预测
15.2Fisher判别
15.3Bayes判别
15.3.1朴素Bayes判别
15.3.2模型训练和预测
15.4判别算法的综合模型.
15.5应用举例
第16章模型评估曲线
16.1相关概念.
16.2定义
16.2.1ROC曲线
16.2.2上升图和反馈率—精确率线.
16.3计算实现.
参考文献
重构大数据统计
- 名称
- 类型
- 大小
光盘服务联系方式: 020-38250260 客服QQ：4006604884
云图客服：
用户发送的提问，这种方式就需要有位在线客服来回答用户的问题，这种 就属于对话式的,问题是这种提问是否需要用户登录才能提问
Video Player
×
Audio Player
×
pdf Player
×
