在哪个网站上做预收款报告,口碑好的网站开发,软件开发工程师简历模板,国外网站上不去 dns探索可用于某一机器的潜在模型时#xff0c;了解模型的大小以及它是否适合当前显卡的内存是一个非常复杂的问题。为了缓解这个问题#xff0c;Accelerate 提供了一个 命令行命令 accelerate estimate-memory。 accelerate estimate-memory {MODEL_NAME} --library_name {LIBR…探索可用于某一机器的潜在模型时了解模型的大小以及它是否适合当前显卡的内存是一个非常复杂的问题。为了缓解这个问题Accelerate 提供了一个 命令行命令 accelerate estimate-memory。 accelerate estimate-memory {MODEL_NAME} --library_name {LIBRARY_NAME} --dtypes {dtype_1} {dtype_2} ...MODEL_NAME (str)模型名称位于 Hugging Face Hub 上library_name {timm, transformers} (str) 模型与之集成的库名称如 transformers 仅在 Hub 上未存储此信息时需要 dtypes {float32, float16, int8, int4} ([{float32, float16, int8, int4} ...]) 用于模型的数据类型可以是 float32、float16、int8 和 int4 中的一个或多个
举例
accelerate estimate-memory meta-llama/Meta-Llama-3-8B --library_name transformers
