温江建设局备案网站,做网站用什么软件好,医美的网站主页怎么做,删除wordpress左上角一、环境要求
硬件
内存#xff1a; 16GB
显存: 13GB#xff08;4080 16GB#xff09;
硬盘#xff1a;60G
软件
python 版本推荐3.10 - 3.11
transformers 库版本推荐为 4.36.2
torch 推荐使用 2.0 及以上的版本#xff0c;以获得最佳的推理性能
二、部…一、环境要求
硬件
内存 16GB
显存: 13GB4080 16GB
硬盘60G
软件
python 版本推荐3.10 - 3.11
transformers 库版本推荐为 4.36.2
torch 推荐使用 2.0 及以上的版本以获得最佳的推理性能
二、部署步骤
1、新建python3.10虚拟环境
使用pycharm建虚拟环境
2、设置镜像源
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple
3、升级pip
python -m pip install --upgrade pip
4、安装项目依赖
pip install -r requirements.txt
5、安装Demo依赖
pip install -r composite_demo/requirements.txt
6、下载模型
安装git-lfs sudo apt-get install git-lfs
git clone https://huggingface.co/THUDM/chatglm3-6b
如果从 HuggingFace 下载比较慢也可以从 ModelScope 中下载。
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
7、运行demo
streamlit run basic_demo/web_demo_streamlit.py
