做网站用什么服务器好,关于网站制作报价,软件合集大全,网页管理平台文章目录 前言一、huggingface的_save_checkpoint函数不同阶段保存内容介绍1、_save_checkpoint函数2、save_model函数3、_save函数4、save_pretrained函数5、resume说明二、模型训练Resume相关内容重载1、Resume的一次性权重载入(deepspeed_load_checkpoint)2、Resume的optimi… 文章目录 前言一、huggingface的_save_checkpoint函数不同阶段保存内容介绍1、_save_checkpoint函数2、save_model函数3、_save函数4、save_pretrained函数5、resume说明 二、模型训练Resume相关内容重载1、Resume的一次性权重载入(deepspeed_load_checkpoint)2、Resume的optimizer.pt与scheduler.pt选择性载入3、Resume的state状态载入（trainer_state.json）4、Resume随机状态载入(rng_state.pth)5、小节总结 三、模型训练权重customer保存源码继承1、模型推理加载方法1、第一阶段推理加载方法2、第二阶段推理加载方法 2、继承custormer保存内容完整Demo1、huggingface的deepspeed方式保存内容2、customer的optimizer.pt与scheduler.pt保存3、映射层训练相关内容保存4、LoRA训练相关内容保存 总结 前言
本篇文章继续升级使用huggingface来灵活保存相关内容为模型推理使用。我使用llava开源模型对特征提取vit的lora、映射层微调、大语言模型lora训练等相关内容保存，而实现推理与resume功能。基于此，本篇文章会给出llava不同推理需要使用文件内容介绍、 deepspeed训练的resume加载相关内容与如何保存其相关内容等方法。最终，本篇文章升级deepspeed与accelerator方法下自由个性化的相关内容实现resume训练与推理过程。
本篇文章会给出Demo继承huggingface在deepspeed方法的LoRA方式与accelerator实现resume与推理。
一、huggingface的_save_checkpoint函数不同阶段保存内容介绍
假设：我以LLAVA模型举例，在训练时候调用deepspeed方法的LoRA方式与accelerator加速方法，那么我们可以看到模型在保存权重相关内容。
首先，是调用trainer类中_save_checkpoint，该_save_checkpoint包含save_model函数(位于trainer类中)，而save_model函数中有一个_save函数(也位于trainer类中)，而_save函数中有个 self.model.save_pretrained( output_dir, state_dict=state_dict, safe_serialization=self.args.save_safetensors )函数调用，该 self.model.save_pretrained就是peft_model.py文件的类class PeftModel(PushToHubMixin, torch.nn.Module)
