做本地门户网站,自己做网站写文章,百度一下百度,三大框架对网站开发的作用ctr/cvr预估之WideDeep模型
在探索点击率#xff08;CTR#xff09;和转化率#xff08;CVR#xff09;预估的领域中#xff0c;我们始终追求的是一种既能捕获数据中的线性关系#xff0c;又能发现复杂模式的模型。因子分解机#xff08;Factorization Machines, …ctr/cvr预估之WideDeep模型
在探索点击率CTR和转化率CVR预估的领域中我们始终追求的是一种既能捕获数据中的线性关系又能发现复杂模式的模型。因子分解机Factorization Machines, FM模型以其在处理稀疏特征和特征交互方面的优势赢得了广泛的关注和应用。然而随着业务需求的不断深化和数据复杂性的增加FM模型在某些场景下可能难以充分挖掘数据的非线性特性。
在这样的背景下Wide Deep 模型应运而生它是一种创新的机器学习架构旨在结合线性模型的可解释性和深度神经网络的自动特征学习能力。Wide部分即广义线性模型Wide Part负责学习数据中的一阶特征和线性关系而Deep部分即深度神经网络Deep Part负责捕捉高阶特征交互和非线性模式。 文章目录 ctr/cvr预估之WideDeep模型一、什么是WideDeep模型二、WideDeep模型提出背景三、WideDeep模型原理Wide侧Deep侧联合训练joint training 四、WideDeep模型注意事项五、WideDeep模型的核心参数以及实现代码 一、什么是WideDeep模型
Wide Deep模型是一种结合了线性模型和深度神经网络的机器学习架构专为处理推荐系统和广告点击率预估等任务中的高维稀疏数据而设计。该模型包含两个主要部分Wide部分和Deep部分。
Wide部分基于广义线性模型能够捕获数据中的一阶特征和线性关系它通过大量的稀疏特征和特征组合来学习模型的线性信号这使得模型能够解释和利用已有的领域知识增强记忆[memorization]能力。
Deep部分则是一个深度神经网络能够自动学习数据中的高阶特征交互和非线性模式。通过非线性变换Deep部分能够捕捉复杂的特征关系发现数据中的隐含结构增强泛化[generalization]能力。
Wide Deep模型的优势在于它结合了线性模型的可解释性和深度学习的自动特征学习能力这使得它在处理大规模稀疏数据集时能够提供更准确的预测和更好的泛化能力。
二、WideDeep模型提出背景
在前DeepLearning时代以Logistic RegressionLR为代表的广义线性模型在CTRCVR中得到了广泛的应用主要原因包括(1)模型足够简单相当于不包括隐含层的神经网络(2)可扩展性强(3)可解释性强因为是线性的模型可以很方便的显现出特征对最终结果的强弱。
虽然线性模型有如上的优点但同时也存在很多的不足其中最重要的是无法处理特征的交叉泛化能力较差。在以CTR为代表的Ranking问题中需要同时获得记忆memorization和泛化generalization的能力。记忆可以理解为从历史数据中学习到item或者特征之间的共现关系泛化则是对上述共现关系的传递能够对未出现的关系对之间的共现关系进行判定。
逻辑回归LR模型具备良好的记忆能力而深度神经网络DNN模型则展现出卓越的泛化能力。因此结合这两种能力的WideDeep模型应运而生旨在更高效解决Ranking问题。在WideDeep模型中LR模型构建了模型的Wide侧DNN模型则形成了Deep侧。
三、WideDeep模型原理 在WideDeep模型中包括两个部分分别为Wide部分和Deep部分。
Wide侧
Wide侧本质是一个广义的线性回归模型 其中不仅包含了原始的特征还包括了一些衍生的交叉特征。
Deep侧
Deep侧则是一个典型的DNN模型 在DNN模型中通常将离散的稀疏特征通过Embedding层转换成连续的稠密特征代入模型训练。
联合训练joint training 同时训练Wide侧模型和Deep侧模型将两个模型的结果的加权和作为最终的预测结果。
四、WideDeep模型注意事项
特征选择Wide部分通常需要手工选择具有业务意义的特征如ID交叉特征以利用其记忆能力对特定规则进行建模。Deep部分则可以利用嵌入向量自动学习特征表示因此需要选择适合深度学习的原始特征。Wide部分通常使用一些高基数的离散特征和它们的交叉特征以增强模型的记忆能力而Deep部分则使用连续特征和低基数的离散特征以提高模型的泛化能力。模型结构设计在设计模型结构时应确保Wide部分足够简单通常是一个单层的线性模型直接连接输入和输出。Deep部分则可以是一个多层感知机MLP用于学习特征间的复杂交互。Deep部分的网络结构设计对模型的效果有重要影响。需要合理设置层数、神经元数目以及激活函数等以确保模型可以学到有效的非线性特征。正则化和优化为了避免过拟合特别是在Deep部分需要合理使用正则化技术如L1、L2正则化。同时选择合适的优化器和学习率也是模型训练的关键。特征交叉在Wide部分特征交叉可以显著提升模型性能但也需要避免过多的特征交叉导致模型复杂度过高。数据预处理对输入数据进行适当的预处理如归一化尤其对于连续型特征、独热编码等以提高模型的稳定性和性能。
五、WideDeep模型的核心参数以及实现代码
WideDeep模型核心参数以及实现代码
