铜陵app网站做营销招聘信息,网络维护公司简介,东软集团,西安网页设计培训学校文章提出了一种提高decoder-only LLM的embedding能力的方法#xff0c;叫echo embeddingslast-token pooling#xff08;即直接选最后一个token作为句子的embedding#xff09;和直接mean pooling都不如文章提出的echo embedding#xff0c;做法是把句子重复两次#xff0…
文章提出了一种提高decoder-only LLM的embedding能力的方法叫echo embeddingslast-token pooling即直接选最后一个token作为句子的embedding和直接mean pooling都不如文章提出的echo embedding做法是把句子重复两次然后取第二次的token是的mean pooling。mean pooling的缺点是太强调句子的前面部分last-token pooling是太强调句子的后面部分而重复两次后第二次的句子的起始token也包含了完整句子的语义从而不会出现直接mean pooling的问题。另外一点是输入要添加一些instruction以鼓励第二次的句子编码包含完整句子信息如下
