王璐 牟平 网站建设,网络营销总结及体会,班级网站 建设模板,物流公司做网站有用吗在前面文章《LLaMA 系列模型的进化#xff08;二#xff09;》中提到了Stanford Alpaca模型。 Stanford Alpaca 基于LLaMA (7B) 进行微调#xff0c;通过使用 Self-Instruct 方法借助大语言模型进行自动化的指令生成#xff0c;Stanford Alpaca 生成了 52K 条指令遵循样例数…在前面文章《LLaMA 系列模型的进化二》中提到了Stanford Alpaca模型。 Stanford Alpaca 基于LLaMA (7B) 进行微调通过使用 Self-Instruct 方法借助大语言模型进行自动化的指令生成Stanford Alpaca 生成了 52K 条指令遵循样例数据Alpaca-52K用于训练。 据说这个训练成本不到600美元。那这个成本是如何计算的呢 训练成本在8个80GB A100 上训练了3个小时不到100美元 数据成本生成数据使用OpenAl的API500美元。这里就是通过使用 Self-Instruct 方法使用了OpenAl的接口的调用成本。
在前面文章《英伟达ChipNeMo一个领域大模型的训练案例》里介绍了领域大模型的训练过程。如下图 对应的训练时长为
使用 128 个 A100 GPU 进行了训练。ChipNeMo 的领域适配预训练成本包括基于领域数据的继续预训练和SFT具体见下表单位是A100 GPU hours ChipNeMo 的领域适配预训练成本对比从头开始预训练基础模型的总成本不到 1.5%。 以LLaMa 7B模型的训练来说总训练时长2710按照前面“在8个80GB A100 上训练了3个小时不到100美元”的成本折算成本应该小于11300美金 13B模型总训练时长5100成本应该小于21250美金 70B模型总训练时长21340成本应该小于88920美金
至于数据ChipNeMo 的领域适配预训练需要24B以上的数据这个可能与相应的数据积累有很大关系不好计算了。
