哪里有做网站app的,seo刷网站,html5 单页网站,定制网站建设哪家便宜整体步骤类似于 【AI基础】第五步#xff1a;纯天然保姆喂饭级-安装并运行chatglm3-6b-CSDN博客。 此系列文章列表#xff1a; 【AI基础】概览 【AI基础】第一步#xff1a;安装python开发环境-windows篇_下载安装ai环境python 【AI基础】第一步#xff1a;安装python开发环…整体步骤类似于 【AI基础】第五步纯天然保姆喂饭级-安装并运行chatglm3-6b-CSDN博客。 此系列文章列表 【AI基础】概览 【AI基础】第一步安装python开发环境-windows篇_下载安装ai环境python 【AI基础】第一步安装python开发环境-conda篇_minicode怎么换虚拟环境 【AI基础】第二步安装AI运行环境 【AI基础】第三步纯天然保姆喂饭级-安装并运行chatglm2-6b 【AI基础】第四步保姆喂饭级-langchainchatglm2-6b 【AI基础】第五步纯天然保姆喂饭级-安装并运行chatglm3-6b 【AI基础】第六步纯天然保姆喂饭级-安装并运行qwen2-7b 一、安装miniconda
参考 【AI基础】第一步安装python开发环境-conda篇_minicode怎么换虚拟环境-CSDN博客
二、安装CUDA、cuDNN和pyTorch
参考 【AI基础】第二步安装AI运行环境-CSDN博客 pip install protobuf transformers4.40.0 cpm_kernels torch2.3.0 sentencepiece accelerate 三、安装部署qwen2-7b
3.1 创建环境 conda create --name qwen2 python3.11conda activate qwen2git clone https://github.com/QwenLM/Qwen2cd qwen23.2 安装依赖
安装gradio模块会在后续web示例中用到 pip install gradio -i https://pypi.tuna.tsinghua.edu.cn/simple/
-i https://pypi.tuna.tsinghua.edu.cn/simple/使用清华源避免从官方下载造成速度慢。
3.3 下载大模型文件
3.3.1 HuggingFace下载
下载地址https://huggingface.co/Qwen/Qwen2-7B 3.3.2 国内下载
综合镜像站
魔搭modelscopeQwen2-7B 模型库-魔搭社区AI快站Qwen2-7B - AI快站 - HuggingFace模型免费加速下载 HuggingFace镜像站Qwen/Qwen2-7B - HuggingFace镜像站
3.3.3 下载完成
下载到本地的默认下载地址文件结构如图图中文件一个都不能少 3.4 运行代码
examples文件夹下有多个示例这里运行web示例。 先指定大模型所在路径为 DEFAULT_CKPT_PATHc:\\ai\\llms\\qwen2-7b并且移除仅CPU运行参数如上图最后运行命令 python .\examples\demo\web_demo.py
运行完成后打开浏览器访问 http://127.0.0.1:8000 运行成功。
