永城做网站,做网站虚拟主机,军事新闻最新消息视频,163企业邮箱怎么开通注册账号一.高维数据
除了图片、文本数据#xff0c;我们在实际工作中也会面临更多高维的数据。比如在评分卡模型构建过程中#xff0c;我们通常会试着衍生出很多的特征#xff0c;最后就得到上千维、甚至上完维特征;在广告点击率预测应用中#xff0c;拥有几个亿特征也是常见的事…一.高维数据
除了图片、文本数据我们在实际工作中也会面临更多高维的数据。比如在评分卡模型构建过程中我们通常会试着衍生出很多的特征最后就得到上千维、甚至上完维特征;在广告点击率预测应用中拥有几个亿特征也是常见的事情;在脑科学或者基因研究中特征数甚至可能更多;所以如何更有效地处理这些高维的特征就变成了一个非常重要的问题。
二.数据降维
除了有效利用高维的数据之外我们也可以思考一个问题:“高维数据那么多特征真的都有用吗?” 这就类似于一个人的社交质量并不取决于有多少朋友而在于朋友质量在建模过程中也适用这个道理。特征越多并不代表学出来的模型越好我们更需要关注特征对预测任务的相关性或者价值有些特征甚至可能成为噪声反而影响模型的效果。
2.1如何降维 2.1.1数据的降维 通过函数的映射关系 2.1.2特征选择
选择子集
三.PCA
PCA(Principal Component Analysis)作为一种重要的降维算法有着非常广泛的应用。PCA经常用来做数据的可视化、或者用来提高预测模型的效果。 对于PCA降维算法来讲有几个核心问题需要弄清楚: 1。 PCA降维的核心思想是什么? 它是依赖于什么条件做降维? 2。 什么叫主成分(principal component)? 从图中可以看出,沿着C的方向,数据是越分散的,也就说明在这个方向上我们可以看出数据之间的更多差异!相反,沿着直线A的方向,我们可以看到很多数据的差异并不明显,区分度很低。所以,总体来讲,当我们选择C为新的坐标轴时,所有点在这个坐标轴上的值的差异是最大的,也就是最大程度的保留了数据之间的特点(差异性),这就是PCA的核心思想。 找到第一个主成分第二个主成分和第一个主成分垂直。
四.PCA的缺点
1.只能针对线性
2.必须做归一化
3.部分信息会丢失降维
4.可解释性比较弱
五.其他的降维方法
