宁波网站优化服务,中国洛阳网,一千个长尾关键词用一千个网站做,河南省建设厅网站查询机器学习编译MLC 1. 引言2. 机器学习编译--概述2.1 什么是机器学习编译 1. 引言 陈天奇目前任教于CMU#xff0c;研究方向为机器学习系统。他是TVM、MXNET、XGBoost的主要作者。2022年夏天#xff0c;陈天奇在B站开设了《机器学习编译》的课程。 《机器学习编译》课程共分… 机器学习编译MLC 1. 引言2. 机器学习编译--概述2.1 什么是机器学习编译 1. 引言 陈天奇目前任教于CMU研究方向为机器学习系统。他是TVM、MXNET、XGBoost的主要作者。2022年夏天陈天奇在B站开设了《机器学习编译》的课程。 《机器学习编译》课程共分为7个章节概述、张量程序抽象、端到端模型执行、自动程序优化、与机器学习框架的整合、GPU硬件加速、计算图优化。 机器学习系列文章是对该课程学习的总结本篇文章对应于《机器学习编译》课程的第一章节概述。
2. 机器学习编译–概述
2.1 什么是机器学习编译 机器学习编译的英文名称为machine learning compilation该课题是随着机器学习近十年的流行而出现的一个新事物。对于“编译”可以理解为“转换”即在某些情形下需要通过“编译”操作将一个事物从形式A转换为形式B。 在“转换”这一宏观概念层面机器学习编译和传统软件领域的编译可以理解为一体但是具体的实现细节和技术两者有着极大的差异是两个完全不同的事物。 作者虽然将名字命名为机器学习编译但隐含地特指机器学习中的深度学习这一紫领域。 对于机器学习领域编译前的形式A指的是开发形式Development Form编译后的形式B指的是部署形式Deployment Form。 具体地目前最流行的开发模式是基于Python语言利用Pytorch深度学习框架进行模型的训练生成的模型以.pth作为后缀。开发形式通用、灵活。获得.pth模型后通过export操作获得pt和onnx模型等对应上图中的weights完整的部署形式还包含底层依赖库(libraries)、调用逻辑Description for execution engine和接口API Interface。 作者设想了机器学习编译的三个目标 1通用优化: 从pth“编译”至pt/onnx时通过一些等价操作来最小化内存或者提高运行效率。例如在上一家公司还是caffe时代部署模型的时候常见的一个操作是做bn和conv层的merge。 2集成和最小化依赖最常见的部署设备一般为手机、监控摄像头等。此类设备上资源有限因此运行模型的依赖库需要最小化。 3利用硬件加速硬件公司一般都会为其配套原生的加速库。基于此背景execution engine部分也有很大的发挥空间。 明白了这三个目标也就明白了机器学习编译工程师的工作职责和职责。并且也理清了算法工程师、机器学习编译工程师和AI芯片工程师之间的关系。
