网站设计开发中的具体步骤,服务区里可以做多少个网站,定制网站设计方案,网站建设公司 跨界鱼科技优大白话:
DL的本质就是矩阵的乘法#xff0c;就能实现LLM,
假设两个矩阵都很大#xff0c;一个mxn,一个nxd的矩阵#xff0c;m,n,d这几个数字可能几千甚至上万的场景#xff0c;计算起来代价很大#xff0c;如果我们可以small 这些数字#xff0c;缩小到10甚至5这样的s…大白话:
DL的本质就是矩阵的乘法就能实现LLM,
假设两个矩阵都很大一个mxn,一个nxd的矩阵m,n,d这几个数字可能几千甚至上万的场景计算起来代价很大如果我们可以small 这些数字缩小到10甚至5这样的scenariocost就非常的小。
训练的时候只训练 右边橙色的AB矩阵
那么基于什么理论我们可以这么搞呢 目前看到讲解最好的博客难怪点赞数也很高细节都在里面比如为什么要low-rank,理论基础是什么并且还有发散数学上的内容也比较友好。
【OpenLLM 006】LoRA:大模型的低秩适配-最近大火的lora到底是什么东西为啥stable diffusion和开源ChatGPT复现都在用 - 知乎 (zhihu.com)
Reference 深入浅出剖析 LoRA 技术原理_lora csdn-CSDN博客
【OpenLLM 006】LoRA:大模型的低秩适配-最近大火的lora到底是什么东西为啥stable diffusion和开源ChatGPT复现都在用 - 知乎 (zhihu.com)
PaperReading-“Intrinsic Dimension” - 知乎 (zhihu.com) //中科大少年班的孩子写的挺不错的
