GPU并行

2019年7月15日 上午9:16

复习方法：

1. 学会思考方式，以矩阵相乘贯穿知识点
2. 整理出来的两个pdf要自己的看，其中还有一些笔记在pdf中

总结：

下面三个点，分别取自3.4.5节的GPU课件，是GPU的核心。其中难点是有两个思维角度

1. ::线程组织成数组去理解处理，你就发现这样简单的多::
   1. 万变不离其中，还是基本的数据结构
2. 了解并利用好硬件结构，从输出的存储、读取的角度去优化

课件整理：

其中矩阵相乘的例子贯穿着三节课件，也是这些知识最好的直观体现

1. GPU的硬件结构整理.pdf
2. GPU矩阵相乘理解GPU编程的核心[三个pdf的精华、矩阵相乘的三个阶段].pdf
3. [缪青海]并行计算

具体：

1. 这里最最关键的需要关心的问题：::一个线程对应于那个(哪些)数据，所有的线程就可以将工作完成::
2. 从线程的分级去优化
   1. 用数组去组织线程这种资源
      1. 有多少线程？数组的大小
      2. 我们如何取到特点的线程？数组的下标就好比线程的编号
   2. grid->block->warp->thread
3. ::都是从硬件结构角度考虑、是客观现实引起的，我们需要做的是适应，从而利用好他们::
   1. 从内存的分级去优化
      1. global->shared->register
   2. 针对wrap，从硬件结构的角度去优化wrap的速度