在网站上保存网址怎么做,宣传册图片,网站简介 更改,做门户网站用什么https://github.com/meta-llama/llama3/issues/80
读模型没问题#xff0c;推理时出现#xff1a; RuntimeError: “triu_tril_cuda_template” not implemented for ‘BFloat16’
————————————————
事发原因
我尝试了解transformers的AutoProcessor时推理时出现 RuntimeError: “triu_tril_cuda_template” not implemented for ‘BFloat16’
————————————————
事发原因
我尝试了解transformers的AutoProcessor时它提示我 RuntimeError: Failed to import transformers.models.auto.processing_auto because of the following error (look up to see its traceback): Detected that PyTorch and torchvision were compiled with different CUDA versions. PyTorch has CUDA Version11.8 and torchvision has CUDA Version11.7. Please reinstall the torchvision that matches your PyTorch install. 说我torch和torchvision的cuda版本对不上我当初是按Pytorch安装的啊。。。
我的torch 版本如下 torch 2.0.0cu118 torchaudio 2.0.1 torchvision 0.15.1
很怪俩后面确实没跟cu118字样。所以我找pytorch官方网站又下了一次 pip install torch2.0.0 torchvision0.15.1 torchaudio2.0.1 --index-url https://download.pytorch.org/whl/cu118
这回对了。我只卸载了torchvision所以torchaudio没有更新。 torch 2.0.0cu118 torchaudio 2.0.1 torchvision 0.15.1cu118
此时就出现了最前面的错误。
————————
暂时的补救方法
我读的是qwen1.5 7B设置torch_dtypetorch.bfloat16。把bfloat16改成torch_dtypetorch.float16后 就能推理了。或者把torchvision退回普通版本。 但是torch.float16和torch.bfloat16是完全不同的两个东西就这么换了不对劲啊。。。
