数据科学工程实践：用户行为分析与建模、A/B实验、SQLFlow

第1章：如何分析用户的选择 1
1.1选择行为的经济学理论 1
1.1.1 选择无处不在 1
1.1.2 选择行为的经济学理论 2
1.2 用户选择行为计量分析框架：DCM 4
1.2.1 从经济模型到计量模型 4
1.2.2 常用的DCM模型及应用场景 8
1.3 DCM模型的Python实践 11
1.3.1?软件包?&?数据格式 11
1.3.2 使用Logistics Regression分析自驾选择问题 15
1.3.3 使用 Multinomial Logit Model 分析完整交通方式选择问题 21
1.3.4 使用 Nested Logit Model 分析完整交通方式选择问题 25
1.4 本章小节 27
第二章：随时间可变的行为分析 27
2.1 从“如何给二手车定价”案例说起 27
2.1.1 二手车定价背景 27
2.1.2 为什么不选择一般回归模型？ 28
2.1.3 为什么选择生存分析？ 29
2.2 生存分析的理论框架 29
2.2.2 生存函数及风险函数刻画 34
2.2.3 生存函数回归及生存概率的预测 36
2.3 生存分析在二手车定价案例中的应用实践 38
2.3.1 软件包&数据格式&数据入读 40
2.3.2 生存分析基础操作：二手车销售生存曲线绘制及差异对比 42
第三章 洞察消费者长期价值：基于神经网络的LTV建模 44
3.1 LTV的概念和商业应用 44
3.1.1 LTV——用户终生（长期）价值 45
3.1.2 用户生命周期和用户终生价值 45
3.1.3 LTV的特点 46
3.1.4 LTV分析能帮助我们回答的问题 46
3.1.5 LTV的计算方法 47
3.2 神经网络的基本原理 49
3.2.1 神经网络的历史 49
3.2.2 本章所涉及的神经网络结构 50
3.3 基于Keras的LTV模型实践 56
3.3.1 Keras介绍 56
3.3.2 数据的加载和预处理 56
3.3.3 输入数据的准备 59
3.3.4 模型搭建和训练 65
3.3.5 模型分析 68
3.4 本章总结 68
第4章 使用体系化分析方法进行场景挖掘 69
4.1. 选择经验化分析还是体系化分析 69
4.1.1经验化分析的局限性 69
4.1.2体系化方法的手段和优势 70
4.2. 体系化分析常用工具 71
4.2.1黑盒模型与白盒模型 71
4.2.2可解释模型——决策树 71
4.2.3全局代理模型 76
4.2.4场景挖掘模型分析方法框架 77
4.3. 场景挖掘分析实践 78
4.3.1数据背景及数据处理 78
4.3.2经验化分析 80
4.3.3场景挖掘模型的Python实现与模型解读 80
4.4. 本章小结 86
第5章 行为规律的发现与挖掘 86
概述 86
5.1对包含有顺序关系数据的规律分析 87
5.1.1有序数据及SVD方法概述 87
5.1.2SVD原理及推导 88
5.1.3SVD聚类建模Python实战 93
5.2对无序稀疏数据的规律分析 98
5.2.1稀疏数据及NMF方法概述 98
5.2.2NMF原理及推导 99
5.2.3NMF聚类建模Python实战 100
第6章 对观测到的事件进行因果推断 104
6.1 使用全量评估分析已发生的事件 104
6.1.1 为什么要进行全量评估 104
6.1.2 全量评估应用 105
6.2 全量评估主要方法 105
6.2.1 回归分析 105
6.2.2 DID方法 114
6.2.3 合成控制 116
6.2.4 Causal Impact 119
6.3 全量评估方法的应用 123
6.3.1 关于物流单量的全量评估应用(回归模型) 123
6.3.2 恐怖主义对经济影响评估(DID) 128
6.3.3 恐怖主义对经济影响评估(合成控制) 130
6.3.4 天气情况的评估(Causal Impact) 133
6.4 本章小结 147
第7章 如何比较两个策略的效果 147
7.1如何才能正确推断因果关系？ 147
7.1.1 什么是相关性谬误 147
7.1.2 潜在结果和因果效果 148
7.2运用A/B实验进行两策略比较 149
7.2.1 什么是A/B实验 149
7.2.2 为什么应用A/B实验 150
7.2.3 A/B实验的基本原理 150
7.3 A/B实验应用步骤（实验方法具体实施步骤） 151
7.3.1 明确实验要素 151
7.3.2 实验设计 153
7.3.3实验过程监控 155
7.4 A/B实验案例介绍 156
7.4.1 实验场景介绍 156
7.4.3实验效果评估 158
7.5 本章小结 159
第8章 如何提高实验效能 160
8.1 控制实验指标方差的必要性和手段 160
8.2 用随机区组设计控制实验指标方差 161
8.2.1 利用随机区组实验实验设计降低方差 161
8.2.2 随机区组实验的特征选择 162
8.3 随机区组实验应用步骤 163
8.3.1 明确实验目标及背景： 163
8.3.2 实验设计： 163
8.3.3 实验过程监控： 163
8.3.4 实验评估中用到的方差分析的基本原理： 163
8.4 随机区组实验案例介绍 168
8.4.1 背景介绍： 168
8.4.2 基本设计： 169
8.4.3 随机区组实验相关的设计： 169
8.4.4 效果评估 170
8.5 随机区组实验常见问题 172
8.5.1 方差分析的使用前提是什么 172
8.5.2 随机区组的个数是越多越好吗？ 172
8.5.3 随机区组实验的回归方程的$R^2$是越高越好吗，是否证明策略有效果？ 173
8.6 本章小节 173
第9章 特殊场景下的实验设计和分析方法 173
9.1 分流的实验对象间有干扰怎么办 174
9.2 如果实验不能简单分流怎么办(Switchback实验设计和评估方法) 181
9.3 如果实验不能简单分流且时间效率要求高怎么办？（交叉实验设计） 186
9.4 如果不能分流的实验且策略不能轮转怎么办？ 199
9.5 本章总结 205
10.1 SQLFlow简介 206
10.1.1 什么是SQLFlow 206
10.1.2 SQLFlow的定位和目标 207
10.1.3 SQLFlow工作原理 209
10.2 SQLFLow 运行环境的设置 210
SQLFlow in Docker 210
环境配置 215
交互 224
Jupyter Notebook 225
REPL 225
10.3 将分析模型固化到 SQLFlow 中的流程 226
10.4 总结 232
11.1.1 模型可解释的重要性和必要性 233
模型解释的重要性 233
模型解释的必要性 233
11.1.2 常见的可解释性模型 234
（1）线性回归 235
（2）逻辑回归 238
（3） 决策树 242
（4）KNN 243
（5）朴素贝叶斯分类器 245
（6）模型比较 246
11.2 黑盒模型的解释性 247
11.2.1 如何对黑盒模型进行解释 247
11.2.2 代理模型 248
11.2.3 Shapley 250
11.2.4 基于SQLFLow的黑盒模型解释的案例 251
11.3 本章小结 255
第12章 基于LSTM-autoencoder的无监督聚类模型 255
12.1 聚类的广泛应用 256
12.1.1 什么是聚类或模式识别 256
12.2 聚类模型的应用案例 257
12.2.1 k-means clustering -- 司机服务站点选址规划 257
12.2.2 Hierarchical Clustering -- 超市采购商分组 260
12.3 SQLFlow中基于深度学习的聚类模型 265
12.3.1 基于深度学习的聚类模型原理 265
12.3.2 Case study - 如何使用SQLFlow对城市道路交通状况进行分层 272
12.4 本章小结 275