山东省建设注册执业中心网站,杭州网站开发招聘,网站建设有限公,做网站有er图#x1f3ac;个人简介#xff1a;一个全栈工程师的升级之路#xff01; #x1f4cb;个人专栏#xff1a;C/C面试整理 #x1f380;CSDN主页 发狂的小花 #x1f304;人生秘诀#xff1a;学习的本质就是极致重复! 目录
整体情况简介
高性能计算基础
AI 框架知识
算… 个人简介一个全栈工程师的升级之路 个人专栏C/C面试整理 CSDN主页 发狂的小花 人生秘诀学习的本质就是极致重复! 目录
整体情况简介
高性能计算基础
AI 框架知识
算法题
一些比较零碎的问题
推荐参考资料 整体情况简介
面试中的问题基本上分成以下几类
基础的八股文C/COS计算机体系结构等。这一部分略网上已经有很多总结了。高性能计算基础知识这一部分是面试的重点本文章以CUDA为重点。各种AI框架知识本文章以推理方向为主。AI基础知识对于常见的机器学习算法以及CV NLP 推荐模型有一定了解了解计算流程以及模型结构即可重点为了能分析出计算瓶颈在哪里找出可能优化的方向。本部分略算法题 手写CUDA kernel和leetcode的比例大约为3:1。手写CUDA kernel的时候一般会结合第2部分一起问一步一步要求你优化每一步优化的具体原理涉及到什么硬件知识等。
高性能计算基础
CUDA的线程组织结构CUDA的存储体系结构每一种存储的优缺点该如何合理使用。GPU每一代的新特性有了解过吗应该从哪里去了解详细信息CUDA stream的概念为什么要使用多个streamGPU和CPU分别适合执行哪些程序结合它们的硬件架构解释一下为什么它们有各自的优势。说明一下神经网络加速器与CPU、GPU的区别他们各自有何优势半精度浮点数FP16各个部分的具体位数为什么要有半精度浮点数TensorCore的加速原理MPIOpenMP以及CUDA各自适用的加速场景。RDMA相关问题。平时如何进行kernel的优化会用到哪些工具CPU上哪些并行优化方法ARM相关的库有了解过吗PTX有了解过吗roofline模型有什么用如何确定最优的BLOCK_SIZE。GPU资源调度有哪些方法稀疏矩阵的存储格式有哪些稀疏矩阵的应用场景稀疏矩阵计算与稠密矩阵计算有何不同如何计算CPU指令的吞吐量和时延?
AI 框架知识
这一部分会涉及一些AI框架(训练推理编译器)相关的问题并且会重点根据简历上的项目经历去做一些发散性的提问。
MLIR有了解过吗ONNX有了解过吗TVM的整体结构如何用TVM进行开发为什么要进行推理优化直接用tensorflow或者pytorch的推理接口不行吗模型推理优化的常用方法有哪些有研究过某一个框架的具体源码吗TensorRT如何进行自定义算子开发TensorRT对模型实现了哪些推理优化常量折叠算子融合量化....算子融合为什么能加速推理优化了哪一部分TensorRT用到了哪些算子融合算子融合在推理框架中是如何实现的模型量化的加速原理模型量化带来的精度损失如何解决ONNX Runtime支持在多种硬件上进行推理说明具体的实现机制。总结一下TensorRTONNX Runtime等推理框架的组成架构如果我们公司自己要为硬件开发一套推理框架应该重点关注哪些部分各种推理框架都有何优劣势它们的性能怎么样分布式训练中有哪些并行模式每种模式需要做什么有什么优缺点分布式训练中我们重点需要处理的问题有哪些目前已有哪些解决方案MPI如何应用于AI框架中模型在移动端进行推理优化的框架有了解过吗移动端和在服务器的推理优化思路有何不同移动端能用到的加速指令有了解过吗移动端有哪些加速方法为什么要将模型一部分推理优化放在移动端全部放在服务器上不可以吗自动驾驶上的推理框架有了解过吗我们重点需要关注的指标有哪些反向传播的原理具体实现的源码有了解过吗你了解哪些推理模型的调度方法推荐模型的结构有了解过吗要部署一个大的推荐模型应该如何将各个部分放在哪种硬件上部署计算图切分有了解过吗如何应用于大模型推理TensorFlow和Pytorch都用过吗它们设计思路有何不同有何优劣如何添加自定义算子
算法题
手写CUDA kernel几乎每场面试都会考面试官会以写出来的第一个版本为准一步步问继续优化的方法在这个期间会结合高性能计算的基础知识来考察从这个过程中能了解到对体系结构以及优化方法的了解程度。leetcode不一定有但是遇上了基本上都是hard。两类算法题都要准备。
下面是常见的一些问题
矩阵乘:矩阵转置: 访存密集型算子的处理一维reduce-sum重点是如何处理bank confict二维reduce-sum卷积将单stream改成多stream
以矩阵乘法为例说明一下一个典型的面试流程下面以A表示面试官B表示面试者。
A写一个矩阵乘法吧并将main函数中具体调用给写清
B: 写了一个最naive版本的矩阵乘
A: 目前这个程序有什么问题能进一步优化吗
B : 目前访存性能比较低可以采用矩阵分块并且使用上shared memory优化并解释一下这样做的原理。
A可以具体计算一下优化前后的计算访存比来具体说明这一部分提升了多少。并写一下优化后的程序。
B: 通过计算优化了.....
上述对话会重复几轮在后面几轮可能面试官不会再要求将每一版程序都写出来了重点在于讨论优化思路并且在讨论的过程中发散地问一点CUDA的知识考察理解的深度。
一些比较零碎的问题
卷积的三种加速计算方式im2colGEMM Winograd FFT各自有何优缺点cuDNN中有哪些实现数字信号的采样定理、熵 交叉熵 的含义 计算公式还记得KKT条件吗写程序求解一个非线性方程并说明具体用到的优化方法。脑洞问题如何从编码的角度进行模型压缩如何将你研究生阶段的成果应用到我们的产品中给了一个TF 模型的profile找出里面的bottle neck提出如何改进这个模型的性能的方法。MIPS流水线有几级分别是哪些组成部分说一下transformer的具体结构如何加速transformer进行推理attention的计算公式写一下tf里面对应的代码马尔科夫链简单知识一道较难的概率题
推荐参考资料
《通用图形处理器设计:GPGPU编程模型与架构原理》CUDA、GPU体系结构、PTX、TensorCore等GPU知识大杂烩CUDA相关面试问题标答。对于GPU的硬件体系结构有较深入的介绍虽然比较难懂但是这一部读完后会对CUDA编程模型以及为什么要采用一些特定的优化方法有更深入的理解。官方文档《CUDA Programming Guide》 《CUDA Best Practice Guide》: 不解释必读。《大规模并行处理器程序设计》入门最佳没有之一。其中第二部分对于CUDA中常见的计算Pattern做了分析几乎可以应付所有的面试中的kernel编程至少能答出80%至于更深入地优化方法需要再花时间去研究。《机器学习系统设计和实现》介绍了ML Sys这一领域的所有方面的基础知识可以从一个整体的层面对机器学习系统的组成部分、每个部分的重点技术有较好的把握。这本书的框架主要以MindSpore为例所以在整体读完后需要结合自己比较熟悉的框架进一步仔细理解。该书有在线版本机器学习系统设计和实现 - 机器学习系统设计和实现 1.0.0 documentation《深度学习进阶自然语言处理》只用numpy实现NLP模型可以作为阅读深度学习框架源码的first course会对AI模型中的底层实现细节有很好的理解。《分布式机器学习理论、算法与实践》可以对分布式训练有大致的了解《AI编译器开发指南》深度学习编译器相关的介绍重点在TVM。
建议 1 ~ 4必读这是所有领域的基础知识5 ~ 7需要根据个人的研究兴趣和方向有选择性地深入阅读。 我的分享也就到此结束啦 如果我的分享也能对你有帮助那就太好了 若有不足还请大家多多指正我们一起学习交流 未来的富豪们点赞→收藏⭐→关注如果能评论下就太惊喜了 感谢大家的观看和支持最后☺祝愿大家每天有钱赚欢迎关注、关注
