长春火车站地址,wordpress 不显示边栏,WordPress建站布置,房地产新闻最新政策本节由一系列练习与问题组成#xff0c;这些练习与问题有助于理解多个基本概念。它侧重于各种特定步骤#xff0c;以进行直接的探索性数据分析。因此#xff0c;其主要目标是测试一些检查初步数据特征的方法。大多数练习都是关于图表技术#xff0c;通常用于数据挖掘。 为此… 本节由一系列练习与问题组成这些练习与问题有助于理解多个基本概念。它侧重于各种特定步骤以进行直接的探索性数据分析。因此其主要目标是测试一些检查初步数据特征的方法。大多数练习都是关于图表技术通常用于数据挖掘。 为此我们将使用RapidMiner软件。请求的工作包括发现应用程序的图形用户界面GUl以及检查和处理示例数据集的不同元素。本支持文件中提供的补充解释旨在定义
0. 文本说明 所有应用程序操作的名称和编程说明都以黄色背景书写问题以蓝色背景书写以方便他们在文本中识别。 在整个教程中中请逐步遵循拟议序列中的所有说明并确保获得预期结果然后再继续下一部分或问题。 通过在Ubuntu中运行RapidMiner工作环境开启软件如下所示 a.打开一个终端窗口并在您的工作区中创建一个新目录
mkdir Rapid b.初始化RapidMiner应用程序类型
SETUP RAPIDMINER9 c.要在同一终端窗口中运行RapidMiner请输入指令
RapidMinerGUI 如果要求请接受许可证条款但不要要求更新当前版本。
1. 初识RapidMiner 在 Welcome to RapidMiner Studio窗口在Start选项卡上单击Blank Process左上角。 1.1 初始界面按钮的功能 RapidMiner GUI图形用户界面然后在屏幕上显示多个子窗口左上角显示8个菜单 (File, Edit, Process, View, Connections, Settings, Extensions, and Help) 下面显示10个按钮图标从左到右。如果在几秒钟内将鼠标放在这些图标上将显示一个简短的功能描述。 问题1说明这些按钮的功能。 其中一些功能将在稍后应用随着您的进步它们的含义将变得清晰。
1.2 了解视图 选择 Settings → Preferences → User Interface 菜单。在显示的 RapidMiner Studio Preferences 窗口中验证以下项目未选中 Automatically wire operator input ports 和 Automatically wire operatin output ports。如果有必要就取消选中这些项目请单击OK或者如果不需要请关闭 RapidMiner Studio Preferences窗口。请注意RapidMiner可以显示两个不同的接口称为视图由GUl中间顶部的两个按钮标识Design 视图和 Results视图。也可以使用views菜单选择这些视图来选择views项。本教程中不会使用其他视图即Tuzbo Prep、Auto Model和Deployments。 视图是一组预配置的应用程序组件组织在一个单独的GUI中。请不要关闭任何显示的子窗口 问题2检查 Design视图屏幕从左上到右从左下到右列出显示的子窗口名称。 问题3:检查Results视图并从左上至右和从左下至右列出显示的子窗口名称。 1.3 Operators —— Read CSV 在Design视图中的Operators子窗口的搜索行中键入Read。在显示的列表中确定要读取逗号分隔值csv文件的operator:Data Access → Files → Read → Read CSV. 问题4:双击Read CSV operator或将其拖放到Process子窗口中。描述发生了什么 在Read CSV 这个operator 的Parameters子窗口中验证以下项目已选中use quotes, parse numbers, first row as names, read not matching values as missing。将Iris_Data Missing.txt复制到RapidMiner目录中的。 然后单击Read CSV这个operator 的Parameters子窗口顶部的Import Configuration Wizard…按钮。 确保在Import Data -Select the data location的Select the data location底部选择了All Files。在复制的目录中选择Iris_Data Missing.txt数据文件。然后单击NEXT按钮。 问题5显示多少列指示的文件编码格式是什么
5列UTF-8格式更改显示的文件 encoding format 为 UTF-8并在Import Data - Specify your data format window 窗口选择 Comma , 问题6:每一列都是什么样的 问题7:关于读取的数据是否有其他指示 如果显示了5个数据列请单击NEXT。观察显示的数据表中发生了哪些变化。 问题8:检查通过向下滚动显示的表以验证集合中是否有任何缺失数据的指示符。如果是这样的话可以确定哪些指标 NA
%%
NAN 问题9描述在属性名称下面添加了什么 polynominal 请注意在每个列中除了属性名之外还有一个数据类型标签。修改数据类型标签如下从左到右在每个列的右上角显示箭头的菜单来选择对于前4列Change Type real 替换polynominal在第5个Change role中然后在显示的Change role窗口中 写入label 。单击Import Data - Format your columns窗口右下角的Ignore errors 。单击Finish按钮。 通过单击Read CSV的out端口鼠标左键然后单击res端口Process右上方的res将Read CSV操作符的out端口连接到Process子窗口右上方的res端口。 1.4 运行数据模型并进行初步分析 使用运行按钮运行该进程或F11。Results视图是自动显示如果不是在Read CSV操作符上单击鼠标右键并选择Show Exampleset Result选项。 问题10:描述在Results视图的 Example Set (Read CSV) 选项卡中选择Data面板左上方时显示的内容。 问题11:检查Data面板显示的表以查看构成数据集的记录。读取了多少数据记录当你检查记录时是否有缺失数据的迹象如果是这样的话是什么
162条记录有缺失的值是使用所显示表格右上方的Filter按钮删除那些没有缺失值的数据记录选择no_missing_attributes以及那些有缺失属性选择missing_attributes和缺失标签选择missing_labels的数据记录。 问题12:每种类型显示多少条记录
no_missing_attributes:150
missing_attributes12
missing_labels0
no_missing_labels162问题13:描述“统计”面板显示的内容。这是关于什么的 问题14:在此数据集的情况下有哪些可能的方法来处理缺失值
用平均值替代或者直接删除带有缺失值的数据
1.5 Operators —— Filter 返回Design视图。在Operators子窗口搜索字段中键入Filter。在显示的列表中双击或拖放过Filter Examples到过程子窗口(Blending → Examples → Filter → Filter Examples)。将Read CSV运算符的输出连接到Filter Example运算符的输入。 问题15:应在FilerExamples操作符的Parameters子窗口 (屏幕右侧)中选择哪个condition class以保持数据记录没有缺失值?
no_missing_attributes点击您的选择并运行该过程。验证过滤值的结果数量和特征。 1.6 Operators ——WriteExcel 在Design视图的Operators搜索字段中键入Write。双击或拖移显示列表的WriteExcel操作符到Process子窗口。将FilterExamplet操作符的exa输出连接到WriteExcel的inp输入和将write Excel运算符的第一个trh输出连接到Process子窗口右上方的res端口。 问题16:描述已组装的完整过程。 检查右侧的Write Excel操作符Parameters子窗口以确保文件格式file format为xls (如果使用xlsx生成的文件可能无法读取) 编码encoding为UTF-8。单击文件夹图标(excel file那一行)选择生成的文件(命名为Iris_Data.xls) 将保存在其中的目录。验证Open Fil窗口底部显示的文件类型是excel file (*xls) 输入文件名并单击Open。 然后运行该过程。此外检查文件是否已正确创建并使用Libre Office软件读取该文件。 你目前正探索分析的是著名的lris数据集。这是一个多变量数据集的三个鸢尾花种包含50个例子每种类型的花和4测量属性每个记录。因此数据集的每个记录包含一个类定义(lris-setosa、Iris-versicolor或lris-virginica) 和4个属性均以厘米为单位 :尊片长、萼片宽、花瓣长和花瓣宽。
1.7 保存进程process 一旦一个进程被定义并正常工作您就可以保存它以供进一步使用。要保存此过程您可以使用File菜单 (Design视图左上方)的Save process as...选项或者选择Save按钮 (Design视图左上方菜单栏下方) 的Save process as...选项。
2. 利用RapidMiner的图表分析数据 删除Design视图中的当前进程及其关联的Results选项卡只需要创建一个新进程 (File menu—New Process) 。读取之前创建的Iris_data.xls文件。为此请使用Read Excel操作符并激活其导入配置向导。应用与Read CSV所示相同的参数连接相应的端口然后运行该进程。如果您不使用导入配置向导和给定的参数或者不完成导入配置向导则加载的文件的值将不正确。 点击Open后点击NEXT然后在点击Finish。在Process里连接相应的端口。
2.1 认识图像显示界面 问题17:在Result视图中选择Example Set (Read Excel) 选项卡的Visualizations面板然后单击屏幕左上方的Plot type按钮。描述显示的内容。 2.2 散射/气泡绘图仪scatter/Bubble 选择散射/气泡绘图仪scatter/Bubble然后定义配置数据绘图仪的属性。首先指定x-Axis —Sepal length然后指定Value column —Sepal length, Color — -, size — - 问题18:最初包含数据集的Sepal长度值有多少?图上显示了多少? 为什么?
最初是150个但图上显示为15个这是由于这个图像是缩略图可以通过Jitter调整图像大小来
观测其他值。 问题19:缓慢移动Jitter抖动滑块 (中间左侧)。这个结果和你之前的分析一致吗?
通过移动Jitter能够观察更多的点。 将抖动滑块Jitter返回到其初始位置。保留散射/气泡绘图仪scatter/Bubble并将Color参数更改为Class。可视化4个属性 (萼片长萼片宽花瓣长花瓣宽)中的每一个每次选择一个属性同时分配给两个轴。 问题20:四个属性中的任何一个是否允许正确地分离三个Iris类分离三种花? 问题21:是否有可能使用一个属性清晰地可视化至少一个单独的类? 如果是这样的话对应的类和属性是什么?
Petal width 问题22:将一个属性分配给x轴列依次将其他三个属性分配给值列。留下Color — Class, size — -。有没有对应于同一类或不同类的叠加点? 怎么解释呢 修改Scatter/Bubble散点图/气泡图将X-Axis column Class值列分配每个属性的名称 (萼片长度、萼片宽度、花瓣长度和花瓣宽度Sepal length, Sepal width, Petal length, and Petalwidth) 每次分配一个用于检验Color Class。可视化并比较四个图。 问题23:是否有可能使用一个属性清晰地可视化至少一个单独的类? 在该例子中对应的类和属性是什么? 将问题21的答案联系起来并描述它们的不同之处。 2.3 散射矩阵Scatter Matrix 将Plot type改为Scatter Matrix类型。显示的选项中至少需要有两个数值列Value columns。将所有属性放入Selected Attributed (按Ctrl键可以同时选择所有属性) 并分配Color Class。 通过选择Histogram 作为Column Summary并移动Chart size滑块以增加其大小可以修改显示的图。 问题23:根据散射矩阵的结果是否可以清楚地分离三个lris。 2.4 Scatter 3D 使用Scatter 3DPlot type中并定义相应的参数以获得数据集的不同三维表示。 问题25:您是否能够确定能够补充2D数据探索洞察力的其他信息?
2.5 再次分析散点图/气泡图scatter/Bubble 再次选择散点图/气泡图scatter/Bubble类型并设置x-Axis column Sepal length,Value column Class, Color Class, size Sepal width。找出这种类似气泡的表示给予的信息。 问题26:检查生成的图表确定哪一个种类的唇瓣长度sepal length,变化最大哪一个的唇瓣宽度sepal width变化较小以及哪一个的唇瓣宽度sepal width变化最大?
Virginica唇瓣长度变化最大
Versicolor唇瓣宽度变化最小
Setosa唇瓣宽度变化最大 修改前一个图的一些参数:设置 Value column Petal width,Size Petal length.保持 x-Axis Sepal length 和Color Class. 问题27:观察生成的图确定哪一个类的花瓣长度最短哪一个类花瓣长度最大哪一个类花瓣宽度最短。
Setosa花瓣长度最短Virginica花瓣长度最大Setosa花瓣宽度最短。 2.6 填充气泡Packed Bubble 在图类型Plot type按钮显示的选项中选择填充气泡Packed Bubble。设置以下参数: Value column —sepal width, Name -, Category Class. 问题28:知道指定的颜色对应于数据集的三个已知类描述和解释显示的图形。
这种图形类型用于以气泡的形式展示数据每个气泡的大小可以代表数据点的值。鸢尾花数据集通常包含三种鸢尾花Iris setosa、Iris versicolor和Iris virginica的150个样本
在图中我们可以看到三种颜色的气泡橙色、绿色和蓝色这些颜色对应于三种不同的鸢尾花物种。气泡上标有物种的名称它们的大小可能与数据集中的某个值成比例这个值可能是萼片长度、萼片宽度、花瓣长度或花瓣宽度。
视化图形显示的是每个类别鸢尾花种类的萼片宽度并且相应的气泡按萼片宽度的大小进行了大小设置。
直观比较三种鸢尾花萼片宽度分布和典型值的视觉表示。紧凑气泡图布局有助于发现模式例如哪些物种的萼片通常更大或更小这可以通过代表每个物种的气泡的平均大小来识别。 要观察填充气泡图的其他配置请Value column —Sepal length 问题29现在如何解释填充气泡Packed Bubble? 观察”填充气泡”图的第三个显示修改Value column Petal length.Category - 问题30:总结填充气泡Packed Bubble图的特征和用途。 2.7 Parallel Coordinates平行坐标 在一个二维空间上可视化超过三个属性是一项复杂的任务。另一种技术是将数据集的多个属性投影到平行轴上。 为了达到这个目的需要将属性的名称分配给x轴而属性的值则表示在y轴上。一个代表相应类别的彩色线条将一条记录的各个点连接起来。 在Plot type图表类型的选项中选择Parallel Coordinates平行坐标。如果没有至少两个属性可能会显示错误信息提示至少需要两个属性来创建图形。点击“Value columns”值列下的按钮这里应该已经有一个属性名称然后分别选择其他三个属性在点击选择每个属性前按下Ctrl键。 将Color Class类别。这样设置后每个类别的数据记录将以不同颜色的连线在平行坐标图中表示。 问题31:从这个表象可以得到什么样的结论?
2.8 Deviation 选择Deviation来可视化不同LRIS类的每个属性的平均值和标准偏差。设置Group by class 问题32:哪些属性显示最小的标准差哪些类别?
2.9 直方图Histogram 设置直方图为了可视化每个属性的直方图请选择Histogram直方图作为“Plot type”图表类型。确保一次只显示一个属性的直方图。将“Color”颜色设置为“-”表示不通过颜色区分类别然后点击“Value columns”值列下的按钮来选择对应的属性。将“Number of Bins”分组数设置为20这是直方图中柱状分组的数量。也可以同时可视化所有四个属性的直方图。此外为了显示每个属性对于三个类别的直方图需要将“Color”颜色设置为“Class”类别。 问题33:识别哪些属性具有最高和最低的分布宽度。指出哪些分布是不连续的。
最高和最低的分布宽度黄色Virginica蓝色setosa。都不连续问题34:统计面板与观察结果的一致性检查“Example Set (Read Excel)”示例集读取Excel标签中的“Statistics”统计面板为每个属性提供的详细信息。然后将这些结果的变异性与问题33中指出的观察结果进行比较。判断这两组结果是否一致。
结果一致2.10 Boxplot箱形图 设置箱形图在Plot type图表类型选项中选择Boxplot箱形图。为了同时显示四个属性请将Group by -表示不进行分组然后在点击Value columns值列下的按钮后可能已经有一个属性被分配了按住Ctrl键选择每个属性。 箱形图则用于展示数据的中位数、四分位数和异常值这些都是数据分析中的重要工具。 箱形图Boxplot也称为盒须图或箱线图是一种标准化的方式来展示数据分布的图表。这个图表可以很方便地展示数据的中位数、四分位数和异常值等统计量。下面是这些统计量的定义 中位数Median数据集排序后位于中间位置的值。如果数据集有奇数个数据点中位数就是中间那个数如果有偶数个数据点则中位数是中间两个数的平均值。在箱形图中中位数通常由箱子内的一条线表示。 四分位数Quartiles 第一四分位数Q1下四分位数位于数据集下25%位置的值。它将数据集中最小的25%的数据与其余部分分开。 第三四分位数Q3上四分位数位于数据集上25%位置的值。它将数据集中最大的25%的数据与其余部分分开。 第二四分位数Q2其实就是中位数。 箱形图中的“箱子”部分展示了从Q1到Q3的范围也就是中间50%的数据范围。 异常值Outliers通常被定义为小于Q1减去1.5倍的四分位距IQR即Q3减去Q1或大于Q3加上1.5倍IQR的值。在箱形图中这些值通常由单独的点或星号表示位于“须”之外。 须Whiskers箱形图的“须”部分延伸至数据的最小值和最大值但不包括异常值。在许多箱形图的构造方法中须延伸至Q1减去1.5倍IQR和Q3加上1.5倍IQR的范围内的最小值和最大值。 通过分析箱形图可以快速识别数据的分布模式包括对称性、偏斜程度以及是否存在潜在的异常值。 问题35:属性值范围的大小哪些属性有最大和最小的值范围
都有问题36:属性的分布是否倾斜哪些属性显示出倾斜的分布
Petal length
prtal width倾斜的分布是指数据分布不对称数据的一侧尾部更长另一侧尾部更短。在统计学中分布的倾斜方向通常根据长尾部分所在的方向来定义 在箱形图中倾斜可以通过观察中位数箱形图中的线与箱子代表四分位数范围的位置关系来判断。如果中位数线偏向箱子的一端那么分布可能是倾斜的。此外如果须线代表数据范围的线的一侧明显更长这也是倾斜的一个迹象。 在直方图中倾斜通常通过观察柱形的高度变化来识别。如果柱形在一侧逐渐变高而在另一侧突然降低这可能表明分布是倾斜的。 倾斜度是数据分布的一个重要特性因为它影响数据的平均值、中位数和众数之间的关系并可能影响统计测试和分析结果的解释。 问题37哪些属性显示某种程度上的均衡分布 分别可视化数据集中四个属性的箱线图设置Group by →Class。观察四个属性中每个属性的单独结果。 问题38哪一个属性可以用来标识一个类 2.11 Bell Curve 在 Plot type按钮的选项中选择Bell Curve 以显示数据集属性的估计近似正态分布。设置Color → Class.分别可视化估计的正态分布。 问题39验证是否存在可以使用一个属性预测的类。哪个类和属性为什么
PL,PW 2.12 安德鲁斯曲线Andrews Curves 在Plot type按钮的选项中选择安德鲁斯曲线Andrews Curves可将每个观测值可视化 为属性集在曲线上的投影。将显示一条错误信息提示由于必须选择至少两个数字列因此无法创建绘图设置Color Cass。 然后将建议的属性集可视化。 安德鲁斯曲线Andrews Curves是一种数据可视化技术用于将每个观察结果作为属性集在曲线上的投影来可视化。这种方法特别适用于探索和识别数据集中的模式和潜在异常值。在使用安德鲁斯曲线时每条曲线代表数据集中的一行而曲线的形状由该行中的数值属性决定。 问题40: 选择Sepal length和Sepal width从上到下依次选择作为数值列Value columns。是否有任何曲线看起来与其他曲线不同可以确定为潜在异常值 你会得到一组曲线每条曲线代表数据集中的一个观察结果。在这种设置下你需要寻找那些与其他曲线明显不同的曲线这些曲线可能代表潜在的异常值。异常值的曲线可能会在形状、振幅或频率上有显著差异。 问题41: 颠倒所选属性的顺序首先分配 Sepal width然后分配 Sepal length 作为值列。与 1.40 的结果相比有哪些修改 这种变化影响了曲线的构造方式因为安德鲁斯曲线是基于属性值的函数来生成的。改变属性的顺序会改变这些函数的组成部分从而改变曲线的外观。 问题42:选择花瓣长度Petal length 与花瓣宽度 petal width从上到下的顺序作为value columns值列。考虑到可能会识别出异常值和不相干的类别描述这种表示方法。 问题43:颠倒所选属性的顺序首先指定花瓣宽度 Petal width 然后指定花瓣长度Petal length作为Value columns值列。与 1.42 的结果相比有哪些修改 问题44:在之前的表示中添加Sepal width 和Sepal lengthas花瓣宽度和花瓣长度属性作为Value columns值列。如何解释曲线的变化 3.Operators —— Aggregate
3.1 聚合运算符Aggregate的功能 聚合运算符Aggregate在数据处理和分析中扮演着非常重要的角色其主要功能是对一组值执行计算从而产生单个值。聚合运算通常用于统计分析、数据挖掘、数据库管理等领域以便对数据集进行概括性的描述或提取有价值的信息。以下是聚合运算符的一些主要功能和应用 a.求和Sum对一组数值进行加总得到它们的总和。 b.平均值Average计算一组数值的平均数反映这组数值的中心点。 c.计数Count计算一组数据中的元素数量可以是总数也可以是满足特定条件的元素数量。 d.最大值Max和最小值Min找出一组数据中的最大值和最小值用于了解数据的范围或极值。 e.标准差Standard Deviation和方差Variance计算数据的标准差和方差用于衡量数据的离散程度。 f.分组Grouping在执行聚合操作之前通常会根据一个或多个属性将数据分组然后在每个分组内部独立地执行聚合操作。这允许用户对数据集进行细分分析。 g.复杂统计Advanced Statistics在一些高级应用中聚合运算符也可以用来执行更复杂的统计计算如百分位数、累积分布等。 聚合运算符的使用使得用户能够从大量数据中快速提取关键信息和统计指标从而支持决策制定、趋势分析、性能评估等多种应用场景。在数据库查询语言如SQL中聚合函数是构建复杂查询和报告的基础。在数据分析和数据科学领域聚合运算同样是数据预处理和特征工程中不可或缺的一部分。
3.2 具体操作 将聚合运算符Aggregate (Blending Table Grouping Aggregate) 添加到Design 视图中。将聚合运算符Aggregate的exa输入端口连接到ReacExcel运算符的输出端口将exa输出端口连接到Process子窗口的第一个res端口 在聚合运算符Aggregate参数Parameters子窗口中单击聚合属性aggregation attributes右侧的Edit List按钮。在显示的Edit Parameter Listaggregation attributes窗口中选择#Petal length作为aggregation attribute并选择count作为aggregation function。然后单击应用APPLY按钮。这意味着将对Petal length属性进行计数操作以统计其出现的次数。 接下来在Aggregate operator的 Parameters子窗口中单击group by attributes标签右侧的Select Attributes按钮。在显示的Select Attributes:group by attributes窗口中选择#Patal length 到Selected attribute中方法是首先在Attributes列的左侧选择它然后单击带有指向右侧箭头的蓝色按钮。然后单击应用Apply按钮。与前文描述的聚合属性一致。 问题45:运行该过程确定有多少个不同的值与属性Petal length相关联有多少个是单一的和重复的值以及哪一个是重复最多的值。
43个1.5问题46: 在之前的设置中用花瓣宽度Petal width替换花瓣长度Petal length并运行流程。确定有多少不同的值与花瓣宽度 Petal width属性相关联有多少是单一值和重复值哪个是重复最多的值。 问题47将之前设置中的花瓣宽度Petal width 替换为花瓣长度Sepal length然后运行程序找出与花瓣长度Sepal length,属性相关的不同值有多少其中有多少是单一值和重复值以及哪个值重复最多。 问题48: 在之前的设置中用萼片宽度Sepal width替换萼片长度Sepal length并运行流程。 确定有多少不同的值与花瓣宽度Sepal width属性相关联有多少是单一值和重复值以及哪个是重复最多的值。 问题49已知 lris 数据集中的四个属性中的每个属性都有 150 个值那么像问题 1.45 至 1.48 中那样对这些值进行替代统计会有什么意义 问题50: 考虑到各种测试工具之间的差异总结一下本教程吧
