建设一个连接的网站,网站建设的培训的感受,百度推广和优化哪个好,建设门户网站多少钱目录 主成分分析
1、简介
2、帮助理解
3、API调用
4、案例 本文介绍主成分分析的概述以及python如何实现算法#xff0c;关于主成分分析算法数学原理讲解的文章#xff0c;请看这一篇#xff1a; 探究主成分分析方法数学原理_逐梦苍穹的博客-CSDN博客https://blog.csdn.…目录 主成分分析
1、简介
2、帮助理解
3、API调用
4、案例 本文介绍主成分分析的概述以及python如何实现算法关于主成分分析算法数学原理讲解的文章请看这一篇 探究主成分分析方法数学原理_逐梦苍穹的博客-CSDN博客https://blog.csdn.net/qq_60735796/article/details/132339011 感谢大家支持您的一键三连就是我创作的最大动力 主成分分析
1、简介 主成分分析Principal Component AnalysisPCA是一种常用的数据降维和特征提取技术用于将高维数据转化为低维表示同时保留数据的主要特征。
它通过线性变换将原始特征投影到新的坐标轴上使得投影后的特征具有最大的方差从而达到降低数据维度的目的。
PCA 的主要思想是寻找数据中的主要方向即数据的主成分这些主成分是数据变化最大的方向。通过保留最重要的主成分可以将数据的维度减少从而减少存储和计算的成本同时可以降低数据中的噪声和冗余信息提高模型的泛化能力。
PCA 的工作步骤如下
标准化数据计算数据的协方差矩阵。对协方差矩阵进行特征值分解得到特征值和特征向量。将特征值按从大到小的顺序排列选择前几个特征值对应的特征向量作为主成分。将原始数据投影到选定的主成分上得到降维后的数据。
PCA 在许多领域中有广泛的应用包括数据可视化、特征工程、模式识别、图像处理等。它可以帮助我们理解数据的内在结构去除冗余信息提高模型的效果和效率。
需要注意的是PCA 假设数据分布在高维空间中呈线性关系因此在存在非线性关系的情况下PCA 可能效果不佳。在这种情况下可以考虑使用非线性降维技术如核主成分分析Kernel PCA。
2、帮助理解
如何使用最少的特征保留原始的主成分如图所示 3、API调用
sklearn.decomposition.PCA(n_componentsNone)
将数据分解为较低维数空间
n_components:
小数表示保留百分之多少的信息
整数减少到多少特征
PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]
返回值转换后指定维度的array
# -*- coding: utf-8 -*-
# Author:︶ㄣ释然
# Time: 2023/8/16 15:42
from sklearn.decomposition import PCA
sklearn.decomposition.PCA(n_componentsNone)将数据分解为较低维数空间n_components:小数表示保留百分之多少的信息整数减少到多少特征PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]返回值转换后指定维度的arraydef pca_demo():对数据进行PCA降维data [[2, 8, 4, 5], [6, 3, 0, 8], [5, 4, 9, 1]]# 1、实例化PCA, 小数——保留多少信息transfer PCA(n_components0.9)# 2、调用fit_transformdata1 transfer.fit_transform(data)print(保留90%的信息降维结果为\n, data1)# 1、实例化PCA, 整数——指定降维到的维数transfer2 PCA(n_components3)# 2、调用fit_transformdata2 transfer2.fit_transform(data)print(降维到3维的结果\n, data2)if __name__ __main__:pca_demo()
输出结果 4、案例
案例探究用户对物品类别的喜好细分降维 数据如下
order_products__prior.csv订单与商品信息
字段order_id, product_id, add_to_cart_order, reordered
products.csv商品信息
字段product_id, product_name, aisle_id, department_id
orders.csv用户的订单信息
字段order_id,user_id,eval_set,order_number,….
aisles.csv商品所属具体物品类别
字段 aisle_id, aisle 步骤
合并表使得user_id与aisle在一张表当中
进行交叉表变换
进行降维 代码
from sklearn.decomposition import PCA
import pandas as pddef data_demo():# 1、获取数据集# ·商品信息- products.csv# Fieldsproduct_id, product_name, aisle_id, department_id# ·订单与商品信息- order_products__prior.csv# Fieldsorder_id, product_id, add_to_cart_order, reordered# ·用户的订单信息- orders.csv# Fieldsorder_id, user_id,eval_set, order_number,order_dow, order_hour_of_day, days_since_prior_order# ·商品所属具体物品类别- aisles.csv# Fieldsaisle_id, aisleproducts pd.read_csv(data/instacart/products.csv)order_products pd.read_csv(data/instacart/order_products__prior.csv)orders pd.read_csv(data/instacart/orders.csv)aisles pd.read_csv(data/instacart/aisles.csv)# 2、合并表将user_id和aisle放在一张表上# 1合并orders和order_products onorder_id tab1:order_id, product_id, user_idtab1 pd.merge(orders, order_products, on[order_id, order_id])# 2合并tab1和products onproduct_id tab2:aisle_idtab2 pd.merge(tab1, products, on[product_id, product_id])# 3合并tab2和aisles onaisle_id tab3:user_id, aisletab3 pd.merge(tab2, aisles, on[aisle_id, aisle_id])# 3、交叉表处理把user_id和aisle进行分组table pd.crosstab(tab3[user_id], tab3[aisle])# 4、主成分分析的方法进行降维# 1实例化一个转换器类PCAtransfer PCA(n_components0.95)# 2fit_transformdata transfer.fit_transform(table)print(data.shape)if __name__ __main__:data_demo()
结果
