网站建设宝安,可以做婚礼鲜花布置的网站,景区宣传网站制作模板,招聘 人才招聘原文链接
字节前几天2024年9年19日公开发布的论文《HLLM#xff1a;通过分层大型语言模型增强基于物品和用户模型的序列推荐效果》。 文字、图片、音频、视频这四大类信息载体#xff0c;在生产端都已被AI生成赋能助力#xff0c;再往前一步#xff0c;一定需要一个更强势…原文链接
字节前几天2024年9年19日公开发布的论文《HLLM通过分层大型语言模型增强基于物品和用户模型的序列推荐效果》。 文字、图片、音频、视频这四大类信息载体在生产端都已被AI生成赋能助力再往前一步一定需要一个更强势的、更有效率的推荐分发机制。因为只有分发到位才会激发更多的供给生产…
传统推荐
传统的推荐项目是将user与item转换为ID并创建对应的embedding table在得到向量后可以基于item进行推荐和基于user进行推荐目前常用的还有单塔和双塔模型等。
在提取制作item embedding table方面可以提取物品中文描述的关键词然后再把关键词转换为词向量来代表物品随着深度学习的发展提取关键词再转为向量的过程逐渐被LSTM或Bert等具备语言能力的序列模型代替现在更有M3E等专门把自然语言转换成稠密向量的模型。而LLMs具备强大的语义理解能力所以大厂自然把转向量的思路往大模型的方向靠近。
使用大模型进行推荐
大模型分为 Item LLM 和 User LLM两者参数并不共享直接基于已经预训练好的LLMs进行文本到向量的转换。 Item LLM使用 item 的描述作为输入例如Title、Tag、Description最后再加上一个特殊 token [ITEM]特殊token对应输出代表该 item 的 embedding
User LLM输入是用户历史行为浏览、加购、成交的交互序列输入序列中每个embedding就来自于 Item LLM 的输出。由于输入并非文本token所以对于User LLM会去除预训练模型的 word embedding
那么大模型的优化是通过next token prediction进行优化的但是现在的输入不再是word embedding该怎么做呢其实很简单我们不看大模型的输入与输出只利用大模型的主体框架把它看成一个普通的序列生成模型或者判别模型就好。 序列生成模型我们在app上实际购物浏览是行为是有顺序的对于某个物品 E i E_i Ei模型输出的 E i 1 ′ E_{i1}^{} Ei1′是正样本在序列的尾端就是预测你下一步要浏览的物品我可以随机抽取的其他物品为负样本将对比学习的InfoNCE作为预测next token的损失函数。 判别模型其实就是目前最常用的单塔与双塔模型目标是二分类。单塔模型将用户历史浏览的物品embedding E 1 − E n E_1-E_n E1−En由Item LLM生成依次输入然后拼上一个待预测物品让模型预测用户是否会购买这个物品。双塔模型是使用用户历史浏览物品生成一个USER用户向量然后再使用这个用户向量与目标物品向量进行打分预测。
在实际应用中使用双塔模型更多一些因为会有一个稳定的中间量即用户向量可以储存计算效率更高。单塔模型可以动态抽取实时浏览数据进行预测效果更好但是计算效率低。
实验结论
字节提出的 Hierarchical Large Language ModelHLLM网络架构通过训练Item LLM与User LLM通过实验表明在公开数据集上显著超越 ID-based方法并呈现了Scaling Law特性。在抖音落地A/B实验显示在重要指标上增长0.705%。其下是一些模型指标
采用 [ITEM] token 提取 embedding比mean pooling方法好Item LLM 采用Tag Title Description length 256比其短的效果更好输入用户序列长度采用length50相比其他短的会更好工业场景下Item LLM和User LLM采用7B更好比其小的更好User LLM输入长度采用1k比其短的更好
