洛阳网站制作,鄞州区住房和城乡建设局网站,网站解析需要多长时间,天津建设银行招聘网站引子
智谱AI版Sora开源#xff0c;首个可商用#xff0c;18G显存即可运行。前文写了Open-Sora1.2的博文#xff0c;感兴趣的童鞋请移步#xff08;Open-Sora1.2环境搭建推理测试_open sora 1.2-CSDN博客#xff09;。对于这种占用资源少#xff0c;且效果不错的多模…引子
智谱AI版Sora开源首个可商用18G显存即可运行。前文写了Open-Sora1.2的博文感兴趣的童鞋请移步Open-Sora1.2环境搭建推理测试_open sora 1.2-CSDN博客。对于这种占用资源少且效果不错的多模态模型那么肯定不容错过。OK我们开始吧。
一、模型介绍
CogVideoX是 清影 同源的开源版本视频生成模型。
下表展示目前我们提供的视频生成模型列表以及相关基础信息: 模型名 CogVideoX-2B 提示词语言 English 单GPU推理 (FP-16) 显存消耗 18GB using SAT 23.9GB using diffusers 多GPU推理 (FP-16) 显存消耗 20GB minimum per GPU using diffusers 微调显存消耗 (bs1) 42GB 提示词长度上限 226 Tokens 视频长度 6 seconds 帧率每秒 8 frames 视频分辨率 720 * 480 量化推理 不支持 下载地址 (Diffusers 模型) Huggingface ModelScope 下载地址 (SAT 模型) SAT
二、环境搭建
模型下载
魔搭社区
代码下载
git clone https://github.com/THUDM/CogVideo.git
环境安装
docker run -it -v /datas/work/zzq/:/workspace --gpusall pytorch/pytorch:2.4.0-cuda12.4-cudnn9-devel bash
cd /workspace/CogVideo/CogVideo-main
pip install -r requirements.txt -i Simple Index
pip install imageio -i Simple Index
pip install omegaconf -i Simple Index
三、推理测试
python inference/cli_demo.py --model_path /workspace/CogVideo/CogVideo-main/CogVideoX-2b/ --prompt A man is running in the sea 好吧显存爆了需要24G显存 我这边可用显存只有22G
