大气黑色女性时尚类网站织梦模板,地名公共服务网站建设,王璞网站开发实战,适合网站开发工程师的公司本节课程的视频和教程都相当清晰#xff0c;尤其是教程#xff0c;基本只要跟着文档#xff0c;在开发机上把指令都相同地输出一遍#xff0c;就可以完成任务#xff08;大赞#xff09;#xff0c;相当顺利。因此#xff0c;这里的笔记就不重复赘述步骤#xff0c;更…本节课程的视频和教程都相当清晰尤其是教程基本只要跟着文档在开发机上把指令都相同地输出一遍就可以完成任务大赞相当顺利。因此这里的笔记就不重复赘述步骤更多侧重于将教程的知识进行思考和解读。
1. 环境配置与数据准备
首先创建conda环境然后安装XTuner。
同时了解一下关于 微调 的前置知识建议阅读XTuner微调前置基础XTuner 文档链接XTuner-doc-cn。
摘取一部分 微调fine-tuning是一种基于预训练模型通过少量的调整fine-tune来适应新的任务或数据的方法。 微调是在预训练模型的基础上将模型中一些层的权重参数进行微调以适应新的数据集或任务。 在大模型的下游应用中经常会用到两种微调模式增量预训练 和 指令跟随 。 LoRALow-Rank Adaptation是一种使用低精度权重对大型预训练语言模型进行微调的技术它的核心思想是在不改变原有模型权重的情况下通过添加少量新参数来进行微调。这种方法降低了模型的存储需求也降低了计算成本实现了对大模型的快速适应同时保持了模型性能。 QLoRAQuantized LoRA微调技术是对LoRA的一种改进它通过引入高精度权重和可学习的低秩适配器来提高模型的准确性。并且在LoRA的基础上引入了量化技术。通过将预训练模型量化为int4格式可以进一步减少微调过程中的计算量同时也可以减少模型的存储空间这对于在资源有限的设备上运行模型非常有用。 XTuner 一个大语言模型多模态模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。 2. 修改提供的数据
这里创建一个新的文件夹用于存储微调数据后要创建一个change_script.py如下
import json
import argparse
from tqdm import tqdmdef process_line(line, old_text, new_text):# 解析 JSON 行data json.loads(line)# 递归函数来处理嵌套的字典和列表def replace_text(obj):if isinstance(obj, dict):return {k: replace_text(v) for k, v in obj.items()}elif isinstance(obj, list):return [replace_text(item) for item in obj]elif isinstance(obj, str):return obj.replace(old_text, new_text)else:return obj# 处理整个 JSON 对象processed_data replace_text(data)# 将处理后的对象转回 JSON 字符串return json.dumps(processed_data, ensure_asciiFalse)def main(input_file, output_file, old_text, new_text):with open(input_file, r, encodingutf-8) as infile, \open(output_file, w, encodingutf-8) as outfile:# 计算总行数用于进度条total_lines sum(1 for _ in infile)infile.seek(0) # 重置文件指针到开头# 使用 tqdm 创建进度条for line in tqdm(infile, totaltotal_lines, descProcessing):processed_line process_line(line.strip(), old_text, new_text)outfile.write(processed_line \n)if __name__ __main__:parser argparse.ArgumentParser(descriptionReplace text in a JSONL file.)parser.add_argument(input_file, helpInput JSONL file to process)parser.add_argument(output_file, helpOutput file for processed JSONL)parser.add_argument(--old_text, default尖米, helpText to be replaced)parser.add_argument(--new_text, default机智流, helpText to replace with)args parser.parse_args()main(args.input_file, args.output_file, args.old_text, args.new_text)
其中process_line比较容易看出是递归地将line中的old_text替换为new_text下面几行parser的内容有点陌生 parser argparse.ArgumentParser(descriptionReplace text in a JSONL file.) 这行代码创建了一个 ArgumentParser 对象它是 argparse 模块的主要类。description 参数提供了一个字符串这个字符串会在生成的帮助文档中显示用来描述这个脚本的作用。 parser.add_argument(input_file, helpInput JSONL file to process)
parser.add_argument(output_file, helpOutput file for processed JSONL) 这两行代码分别添加了两个位置参数input_file 和 output_file。这些参数是必需的因为它们没有指定 -- 或 - 前缀而是直接作为命令行参数提供。help 参数提供了每个参数的简短描述。 parser.add_argument(--old_text, default尖米, helpText to be replaced)
parser.add_argument(--new_text, default机智流, helpText to replace with) 这两行代码添加了两个可选参数--old_text 和 --new_text。这些参数有默认值分别是 尖米 和 机智流。如果在命令行中没有提供这些参数它们将使用默认值。help 参数同样提供了每个参数的简短描述。 argparse 模块使得脚本能够接受命令行参数这些参数可以在运行脚本时由用户提供。这样用户就可以灵活地指定输入文件、输出文件以及要替换的文本。 当用户运行脚本时例如 python change_script.py input.jsonl output.jsonl --old_text old_string --new_text new_string argparse 会自动解析这些参数并在脚本中以 args.input_file、args.output_file、args.old_text 和 args.new_text 的形式提供这些值。这样脚本就可以根据用户提供的参数执行相应的操作。 3. 训练启动
复制模型中
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat
这句软连接的作用如下 通过执行ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat /root/finetune/models/internlm2_5-7b-chat命令你就在/root/finetune/models目录下创建了一个指向/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat的软连接使得在任何需要使用该模型的地方都可以通过/root/finetune/models/internlm2_5-7b-chat来访问而实际上访问的是/root/share/new_models/Shanghai_AI_Laboratory/internlm2_5-7b-chat目录中的内容。 修改config中
xtuner copy-cfg internlm2_5_chat_7b_qlora_alpaca_e3 ./
这条命令的作用是将名为internlm2_5_chat_7b_qlora_alpaca_e3的配置文件复制到当前目录xtuner copy-cfg命令是一个方便的工具它允许用户快速获取和定制微调任务所需的配置文件从而简化了大模型微调的准备工作。
启动微调中
xtuner train ./config/internlm2_5_chat_7b_qlora_alpaca_e3_copy.py --deepspeed deepspeed_zero2 --work-dir ./work_dirs/assistTuner当我们准备好了所有内容我们只需要将使用 xtuner train 命令令即可开始训练。 xtuner train 命令用于启动模型微调进程。该命令需要一个参数CONFIG 用于指定微调配置文件。这里我们使用修改好的配置文件 internlm2_5_chat_7b_qlora_alpaca_e3_copy.py。 训练过程中产生的所有文件包括日志、配置文件、检查点文件、微调后的模型等默认保存在 work_dirs 目录下我们也可以通过添加 --work-dir 指定特定的文件保存位置。--deepspeed 则为使用 deepspeed deepspeed 可以节约显存。 DeepSpeed是一个由微软开发的开源深度学习优化库旨在提高大规模模型训练的效率和速度。 XTuner 也内置了 deepspeed 来加速整体的训练过程共有三种不同的 deepspeed 类型可进行选择分别是 deepspeed_zero1, deepspeed_zero2 和 deepspeed_zero3。 这里可以阅读XTuner微调高级进阶来补充知识。
权重转换中
模型转换的本质其实就是将原本使用 Pytorch 训练出来的模型权重文件转换为目前通用的 HuggingFace 格式文件那么我们可以通过以下命令来实现一键转换。
xtuner convert pth_to_hf ./internlm2_5_chat_7b_qlora_alpaca_e3_copy.py ${pth_file} ./hf xtuner convert pth_to_hf 命令用于进行模型格式转换。该命令需要三个参数CONFIG 表示微调的配置文件 PATH_TO_PTH_MODEL 表示微调的模型权重文件路径即要转换的模型权重 SAVE_PATH_TO_HF_MODEL 表示转换后的 HuggingFace 格式文件的保存路径。 模型合并中
对于 LoRA 或者 QLoRA 微调出来的模型其实并不是一个完整的模型而是一个额外的层Adapter训练完的这个层最终还是要与原模型进行合并才能被正常的使用。 对于全量微调的模型full其实是不需要进行整合这一步的因为全量微调修改的是原模型的权重而非微调一个新的 Adapter 因此是不需要进行模型整合的。 在 XTuner 中提供了一键合并的命令 xtuner convert merge在使用前我们需要准备好三个路径包括原模型的路径、训练好的 Adapter 层的模型格式转换后的路径以及最终保存的路径。
xtuner convert merge /root/finetune/models/internlm2_5-7b-chat ./hf ./merged --max-shard-size 2GB xtuner convert merge命令用于合并模型。该命令需要三个参数LLM 表示原模型路径ADAPTER 表示 Adapter 层的路径 SAVE_PATH 表示合并后的模型最终的保存路径。 --max-shard-size {GB}代表每个权重文件最大的大小默认为2GB--device {device_name}这里指的就是device的名称可选择的有cuda、cpu和auto默认为cuda即使用gpu进行运算--is-clip这个参数主要用于确定模型是不是CLIP模型假如是的话就要加上不是就不需要添加 4. 模型WebUI对话
这里还是前面课程的类似webui实现课程已经给号了streamlit的脚本修改路径、端口映射后就可以看到webui界面 这里把“你的名字”部分就直接改成 你的名字了当时有点犯蠢了。。不过效果是对的
