广州做企业网站,南宁百度seo排名优化,自建站电商外贸,手表网站素材NVIDIA Jetson Nano的国产替代#xff0c;基于算能BM1684X的AI算力盒子#xff0c;支持deepseek边缘部署
另外#xff0c;还提供BM1684XFPGAAI的解决方案。 核心板基于Sophon SG2300X SoC#xff08;也叫BM1684X#xff09;打造 带有8核ARM Cortex-A53 2.3GHz#xff0c…
NVIDIA Jetson Nano的国产替代基于算能BM1684X的AI算力盒子支持deepseek边缘部署
另外还提供BM1684XFPGAAI的解决方案。 核心板基于Sophon SG2300X SoC也叫BM1684X打造 带有8核ARM Cortex-A53 2.3GHz频率很高。 带有TPU张量处理器
算力可达32TOPSint8 16TFLOPSFP16/BF16
和2TFLOPSFP32
支持TensorFlow、Caffe、PyTorch、Paddle、ONNX、MXNet、Tengine、DarkNet等深度学习框架。 视频处理单元VPU支持32路H.265/H.264 1080P25fps解码和12路编码。 JPEG编解码支持1080P600fps最大分辨率32768×32768后处理功能涵盖图像缩放、裁剪、色彩空间转换等。
搭配16GB LPDDR4X内存看芯片框图似乎是四个4GB内存芯片可能是四通道这样的话速度应该还可以。 64GB eMMC 5.116MB SPI Flash
核心板通过144P的板对板连接器安装到扩展板上引出了不少接口。 扩展板带有M.2 E Key用于安装Wi-Fi/BT、M.2 2230 NVMe SSD 外面有两个USB3.0 HOST接口两个千兆网口。 一个USB Type-C电源接口支持PD供电电压支持20V输入支持20V3.25A或者更高也就是支持65W以上的电源。
一个USB Type-C Debug UART接口MicroSD卡槽。
工作温度0~40℃。
尺寸104×84×52mm
系统上官方提供了两个镜像一个是基础镜像基于Ubuntu Server 20.04仅包含 Sophon 基础 SDK 和后台只有1.2GB。
还有一个基于Ubuntu Server 20.04包含Sophon SDK和后台预装瑞莎LLM前端预装CasaOS常见LLM的Demo的完整版镜像大小来到了9.5GB。 而这个AirBox的亮点也就在于预装了CasaOS极大的的简化了部署大模型的门槛部署各类大模型都相当轻松。 官方完整版镜像默认预装了Stable Diffusion。
部署whisper,chatglm2 chatdoc chatbot
imagesearch,llama3也非常轻松只需要简单几步就部署完成了搞这些在Linux下变得轻松愉快。
你也可以自己打包Docker镜像官方也有教程可以参考这样之后部署这些都会变得相当简单。
而重头戏其实是本地部署LLM大语言模型可以部署
chatglm2 chatdoc chatbot Llama3Qwen2DeepSeek R1 官方介绍了deepseek-r1-distill-qwen-1.5b和deepseek-r1-distill-qwen-7b两个Qwen2.5蒸馏模型的部署。
都采用的INT4量化方式目前1.5B的模型在AirBox上推理速度可达30.448tokens/s7B的模型推理速度可达11.008tokens/s。 Llama3 8B模型推理速度可达9.566token/s 文生图大模型支持Stable Diffusion1.5Real ESRGANStable Diffusion 3 MediumFLUX.1这些模型的部署且都能正常运行。 在Stable Diffusion1.5下生成一个512x512的图片在7秒左右。 除此之外还支持Image Search文本搜索图片和Video Search文本搜索视频向量搜索模型应用。 支持Emoti Voice和Whisper这些TTS/STT模型的部署。还有MiniCPM-V2.6这个视觉多模态模型。
想要更多模型Radxa也准备了Model-Zoo可以部署目标检测语义分割人脸检测各种算法应用。 Radxa还提供了TPU-MLIR编译器工具链用于将各种不同框架下预训练的神经网络模型转化为可以在算能TPU上运行的bmodel格式模型。
可以直接支持PyTorch, ONNX, Caffe 和 TFLite。其他框架的模型需要转换为ONNX模型。
转换完之后Radxa还提供了TPU-PERF用于TPU加载/推理经过TPU-MLIR转换好的bmodel模型。
