原型设计网站,网站建设任职要求,dedecms 调用 另一个网站,百度网址ip总体有两个方向#xff1a;模型优化 / 框架优化
1. 模型优化
1.1 量化
最常见的量化方法为线性量化#xff0c;权重从float32量化为int8#xff0c;将输入数据映射在[-128,127]的范围内。在 nvdia gpu#xff0c;x86、arm 和 部分 AI 芯片平台上#xff0c;均支持 8bit…总体有两个方向模型优化 / 框架优化
1. 模型优化
1.1 量化
最常见的量化方法为线性量化权重从float32量化为int8将输入数据映射在[-128,127]的范围内。在 nvdia gpux86、arm 和 部分 AI 芯片平台上均支持 8bit 的计算。 当然还有简单的二值化。对比从 nvdia gpu 到 x86 平台1bit 计算分别有 5 到128倍的理论性能提升。 此外还有对数量化一种比较特殊的量化方法。两个同底的幂指数进行相乘那么等价于其指数相加。目前 nvdia gpux86、arm 三大平台上没有实现对数量化的加速库但是目前已知海思 351X 系列芯片上使用了对数量化。
根据量化的粒度共享量化参数的范围可以分为逐层量化、逐组量化和逐通道量化。TensorRT 框架中就使用了逐层量化的方法每一层采用同一个阈值来进行量化。
权重量化完后我们还要对激活层进行量化这时需要进行calibration通过校准数据集来确定激活层的比例因子和偏差。 此外pytorch还可以进行训练后的动态量化torch.quantization.quantize_dynamic和训练时的量化torch.quantization.FakeQuantize。
1.2 剪枝
下图是第一种剪枝方法移除边非规则的形状对硬件不友好只能在专用硬件上加速。 第二种是移除点找到零神经元 我们可以使用distiller工具来查看模型的稀疏度
# 显示网络的稀疏度
python3 compress_classifier.py -aresnet20_cifar ../../../data.cifar10 --summarysparsity1.3 融合
将一些近邻的层合并成一个层减少计算量
1.4 知识蒸馏
知识蒸馏是一种与模型无关的压缩方法它从大型、昂贵的教师模型中获取知识并将其转移到较小的学生模型中。知识蒸馏模型采用软目标来获得比庞大的教师模型更高的准确性和更少的推理时间。
2. 压缩工具
2.1 pocketflow
该工具中所包含的压缩方法主要包括3大类裁剪、权重稀疏和量化。
# 对网络进行裁剪操作
./scripts/run_seven.sh nets/resnet_at_cifar10_run.py \--learner channel \--cp_prune_option uniform \--cp_uniform_preserve_ratio 0.5
# 对网络进行权重稀疏操作
./scripts/run_local.sh nets/resnet_at_cifar10_run.py \--learner weight-sparse \--ws_prune_ratio_prtl uniform \--data_disk hdfs
# 对网络进行量化操作
./scripts/run_local.sh nets/resnet_at_cifar10_run.py \--learner uniform \--uql_use_buckets \--uql_bucket_type channel \--data_disk hdfs
2.2 TVM
通过LLCM来支持Intel和ARM CPU等一些设备通过Opencl来支持ARM的MailGPU通过CUDA来支持NVIDIA的设备通过Metal来支持苹果的设备通过VTA来很好的支持FPGA和ASCI
2.3 openvino/tensorRT
分别是针对intel和nvidia家的硬件可参考以前的文章。
2.4 手机端加速
MNN/ARMNN/ncnn/TNN等。
2.5 pytorch相关
model-compression以及pytorch自带的压缩工具
