2019年4月28日 下午2:47
深度学习有多深？（十七）衡量GPU的计算能力-王川-财新博客-新世纪的常识传播者-财新网
一个典型的计算流程是这样的:
- 1)数据从 CPU 的内存拷贝到 GPU 的内存．
- 2) CPU 把计算指令传送给 GPU
- 3) GPU 把计算任务分配到各个 CUDA core 并行处理
- 4) 计算结果写到 GPU 内存里, 再拷贝到 CPU 内存里.
除了时钟的速度, 衡量GPU计算能力的其它几个重要参数是:
- (CUDA cores) 并行计算的核心处理器的数目. (类似轮船的吨位)
- 内存大小 (类似港口的大小).
- 内存带宽 (Bandwidth, 指数据传输的速度, 类似轮船装卸货的速度)
- GPU\CPU之间通讯的带宽. (类似从港口到火车/卡车上的装卸货的速度)
任何一个技术参数过慢, 都可能成为妨碍计算能力进步的瓶颈.
反过来说, 提高计算能力的关键, 在于改进提高计算过程中的瓶颈.
