并行计算与实现技术

第1章并行计算基础
1.1什么是并行计算
1.2为什么需要并行计算
1.3并行计算机的发展
1.4并行算法复杂性分析
1.5并行计算的基本概念

第2章基础并行算法
2.1并行算法设计基本原则
2.2区域分解方法
2.3功能分解方法
2.4流水线技术
2.5分而治之方法
2.6同步并行算法
2.7异步并行算法

第3章经典算法的并行计算
3.1矩阵乘并行计算方法
3.1.1矩阵卷帘存储方式
3.1.2并行矩阵乘法
3.2线性方程组并行求解方法
3.2.1分布式系统的并行LU分解算法
3.2.2三角方程组的并行解法
3.3经典迭代算法的并行化
3.3.1Jacobi迭代法
3.3.2Gauss—Seidel迭代法
3.4特征值问题并行计算方法
3.4.1对称三对角矩阵特征值问题
3.4.2Householder变换
3.4.3化对称矩阵为三对角矩阵

第4章消息传递编程接口MPI
4.1并行环境函数
4.2MPI进程控制函数
4.2.1MPI进程组操作函数
4.2.2MPI通信子操作
4.3点到点通信函数
4.3.1阻塞式通信函数
4.3.2非阻塞式通信函数
4.3.3特殊的点到点通信函数
4.3.4MPI的通信模式
4.4自定义数据类型
4.4.1用户定义的数据类型
4.4.2MPI的数据打包与拆包
4.5聚合通信函数
4.5.1障碍同步
4.5.2单点与多点通信函数
4.5.3多点与多点通信函数
4.6全局归约操作函数

第5章共享存储并行编程OpenMP
5.1OpenMP发展历程
5.2OpenMP执行模型和存储模型
5.3OpenMP指导语句
5.3.1parallel结构
5.3.2工作共享结构
5.3.3数据共享属性子句
5.3.4其他子句
5.3.5Tasking结构
5.3.6结构嵌套规则
5.4OpenMP运行时函数库
5.4.1运行时函数定义
5.4.2执行环境函数
5.4.3锁函数
5.4.4时间函数
5.5OpenMP环境变量
5.6OpenMP在MIC架构上的优化技术
5.6.1offioad模式下将Host环境传播至MIC（target）计算节点
5.6.2offload模式提供了多种关键字来实现多功能的需求
5.6.3查看编译器对程序中OpenMP区域的优化处理
5.6.4OpenMP在Offload及Native模式下的不同缺省值
5.6.5设置OpenMP的栈空间大小
5.6.6分配部分计算资源给运行的程序

第6章GPU并行加速实现技术
6.1GPU以及GPGPU发展简介
6.2CUDA并行编程模型
6.2.1线程结构
6.2.2线程调度
6.3CUDA软件体系
6.3.1CUDA函数定义以及变量类型限定符
6.3.2CUDA算数指令与数学函数
6.3.3CUDA内置函数
6.3.4CUDA软件体系结构
6.3.5CUDA程序的编译
6.4CUDA存储器模型
6.4.1寄存器
6.4.2全局存储器
6.4.3本地存储器
6.4.4共享存储器
6.4.5常量存储器
6.4.6纹理存储器
6.5CUDA程序的优化
6.5.1处理器利用率优化
6.5.2指令吞吐量优化
6.5.3存储器访问优化
6.5.4矩阵乘法程序优化示例
6.5.5矩阵转置程序优化示例
6.6MPI／CUDA混合编程
6.6.1MPI／CUDA混合编程模型
6.6.2GPU集群上的数据传输模型
6.6.3MPI／CUDA混合编程以及编译运行示例
6.6.4MPI／OpenMP／CUDA混合编程
6.6.5异构平台数学库MAGMA简介

参考文献
索引
《信息与计算科学丛书》已出版书目