wordpress建公司网站,青岛网站建设￥青岛博采网络,免费网站加速服务,给自己的网站做代言原文地址 链接#xff1a;https://zhuanlan.zhihu.com/p/635848732 思考题
问题1#xff1a;p-tuning为了解决什么问题#xff1f;#xff08;解决#xff09;
答案#xff1a;该方法的提出主要是为了解决这样一个问题#xff1a;大模型的Prompt构造方式严重影响下游任… 原文地址 链接https://zhuanlan.zhihu.com/p/635848732 思考题
问题1p-tuning为了解决什么问题解决
答案该方法的提出主要是为了解决这样一个问题大模型的Prompt构造方式严重影响下游任务的效果。比如GPT-3采用人工构造的模版来做上下文学习in context learning但人工设计的模版的变化特别敏感加一个词或者少一个词或者变动位置都会造成比较大的变化。
问题2什么是NLU任务解决
答案自然语言理解是自然语言处理NLP中的一个重要子领域涉及理解和处理人类语言的语义和语法以便机器能够从文本中提取有意义的信息。NLU任务通常涉及对文本的深层次理解包括解析句子结构、理解上下文、推理隐含意义。
问题3什么是P-tuning与prefix tuning有什么区别解决
答案prefix tuning是在每一层中插入可学习的前缀嵌入序列而不是直接影响输入在transformer每一层都添加前缀
p-tuning是直接在输入层中插入可学习的提示词软提示优化这些提示词以提高任务性能仅在输入层进行更改在其他层没有操作。
问题4P-tuning v2的原理是怎么样的解决
答案P-tuning v2不仅仅在输入层添加软提示还可以在模型的多个中间层或特定层添加这些提示。这种多层次的提示优化使得模型能够更好地捕捉复杂的语义信息。
问题5prompt-tunin、prefix tuning、p-tuning和p-tuning2有什么区别和联系解决
答案p-tuning可以看作是prompt-tunin的发展p-tuning2可以看作是prefix tuning的发展
问题6文章主要讲了什么内容文章结构是什么样的解决
答案文章主要讲了p-tuning和p-tuning是什么以及原理是什么和前一篇的对比。结构上也是这样的。
动手题
1动手实践prompt-tuning、prefix tuning、p-tuning和p-tuning v2(未解决)
