阿里云的网站,廊坊网站建设公司哪家好,网页设计实训报告总结100字,常熟网站假定你拿到了一块联网但没挂#x1fa9c;的 rk3588 板子#xff0c;配置 Ubuntu24.04#xff0c;要部署 rknn 模型
一般来讲模型要先转换成 onnx#xff0c;onnx 再转换成 rknn#xff0c;详见链接的文章。如何转 onnx 有空再写
目录
1. 配置 miniconda 2. 配置 rknn 环…假定你拿到了一块联网但没挂的 rk3588 板子配置 Ubuntu24.04要部署 rknn 模型
一般来讲模型要先转换成 onnxonnx 再转换成 rknn详见链接的文章。如何转 onnx 有空再写
目录
1. 配置 miniconda 2. 配置 rknn 环境
3. 部署模型 1. 配置 miniconda
打开 anaconda 官网下载。亲测下载 anaconda 非常慢所以选择了 miniconda
图省事也可以直接运行我的命令来下载
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-aarch64.sh
下载好后得到一个 .sh 文件运行
chmod 777 Miniconda3-latest-Linux-aarch64.sh
bash Miniconda3-latest-Linux-aarch64.sh
接下来是 miniconda 的安装过程依次输入yes - enter - no完成安装 配图是 anaconda 安装过程别管 最后一步的安装路径要记住默认是 /root/miniconda3
anaconda 最后一步要选 yesminiconda 要选 no很反人类。如果你不幸选错恭喜你需要手动激活环境
source /root/miniconda/bin/activate
激活后命令行提示符应变为 (base)表示 base 环境已激活。这时你可以正常使用 conda 命令
还可以让 miniconda 修改 shell 文件这样每次新打开一个窗口都直接进入 base 环境
conda init
source ~/.bashrc
装好后就可以启动一个虚拟环境啦
conda create -n rknn python3.12 -y
conda activate rknn 注意用 python 3.12后面都会用这个版本 2. 配置 rknn 环境
如果只能连国内网下载官方 rknn toolkit 会慢到怀疑人生。建议下载 gitee 的仓库rknn-toolkit: github迁移版本
而 gitee 仓库不支持 arm 架构3588 板子是 arm所以要再从官方仓库下载两个文件rknn-toolkit: github迁移版本 下载里面的 arm64_requirements_cp312.txt 和 rknn_toolkit2-2.3.2-cp312....whl 到本机再用 scp 传到 3588。如果不会 scp问一下 ai
接下来用这两个文件来配置环境依赖下面一个文件名用 tab 补全懒得打
pip install -r arm64_requirements_cp312.txt
pip install rknn_toolkit2-2.3.2-cp312....whl
出现这个 warning 是正常的 安装完成后就可以 infer 模型
3. 部署模型
由于我的 rknn 模型是 qwen2 转化过来的所以还要装 transformers
pip install transformers
接下来自己写一个 infer 的脚本然后运行就可以啦
