一、指令延迟隐藏

1. 延迟和延迟隐藏

• 指令延迟指计算指令从调度到指令完成所需的时钟周期
• 如果在每个时钟周期都有就绪的线程束可以被执行，此时GPU处于满符合状态
• 指令延迟被GPU满负荷计算状态所掩盖的现象称为延迟隐藏
• 延迟隐藏对GPU编程开发很重要，GPU设计目标是处理大量但是轻量级的线程函数
• 如何计算满足延迟隐藏所需要的线程束数量：

 2. 指令分类

• GPU指令分为：算术运算指令、内存访问指令
• 算术运算指令延迟指从开始运算到得到计算结果的时钟周期，通常为10~20个时钟周期
• 内存访问指令延迟指从命令发出到数据到达目的地的时钟周期，通常为400~800个时钟周期

二、算术运算指令并行性需求

1. 并行性需求概念

• 使GPU保持满负荷运行时所需的指令操作的数量
• 算术运算指令并行性需求由隐藏算术运算指令延迟所需的操作数（operations）衡量

• 线程束中线程执行相同的指令 （instruction），执行32个操作（opeartion）
• 需要640/32个线程束才能满足算术运算指令的并行性需求
• 提升并行性方法：线程中更多的独立指令，更多的并发线程

https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#maximize-instruction-throughput