微信小程序可以做电影网站吗,线上编程课程,深圳网站建设策划,厦门市建设路网站文章目录 1.什么是数据挖掘2.为什么要做数据挖掘#xff1f;3数据挖掘有什么用处#xff1f;3.1分类问题3.2聚类问题3.3回归问题3.4关联问题 4.数据挖掘怎么做?4.1业务理解#xff08;Business Understanding#xff09;4.2数据理解#xff08;Data Understanding#x… 文章目录 1.什么是数据挖掘2.为什么要做数据挖掘3数据挖掘有什么用处3.1分类问题3.2聚类问题3.3回归问题3.4关联问题 4.数据挖掘怎么做?4.1业务理解Business Understanding4.2数据理解Data Understanding4.3数据准备Data Preparation4.4 构建模型Modeling4.5 评估模型Evaluation4.6模型部署Deployment 我将借助5W1H 的思想来带你从整体上了解下数据挖掘比如什么是数据挖掘、为什么要做数据挖掘、在哪些场景下用数据挖掘以及怎么做数据挖掘。我会从这条主线上逐渐细化为这个“骨架” 填充肌肉和血液让它逐渐丰满起来。 1.什么是数据挖掘
这个问题看似很简单但似乎也很难有一个明确的答案。 如果非要给数据挖掘一个定义的话那么我认为数据挖掘就是寻找数据中隐含的知识并用于产生商业价值。也就是说它是我们在数据中尤其是在大量的数据中找到一些有价值甚至是非常有价值的东西的一种手段。
2.为什么要做数据挖掘
技术与商业就像一对双生子在互相促进中不断演进发展随之而来的就是各大公司业务突飞猛进很多新模式也涌现出来使得数据量激增。 面对数以千万甚至上亿以及不同形式的数据很难再用纯人工或者纯统计的方法从成千上万的变量中找到其隐含的价值。 我们需要一种规范的解决方案能够利用并且充分利用这些数据里的每一个部分通过一些自动化的机器学习算法从数据中自动提取价值。而数据挖掘就提供了这样一系列的框架、工具和方法可以处理不同类型的大量数据并且使用复杂的算法部署去探索数据中的模式。 总之数据挖掘的产生动因主要有以下3 点。
海量数据。随着互联网技术的发展数据的生产、收集和存储也越来越方便海量数据因此产生。比如我们常用的微信每天要产生超过380 亿条数据今日头条每天要发布上百万的新文章淘宝每天有上千万的包裹要发出。维度众多。在一个多维度的数据中每增加一个维度都会增加数据分析的复杂程度。比如点外卖事件涉及的维度就有浏览饭店的菜品形式有文字、图片或语言、视频等、浏览时间、下单价格、交易处理、分配配送员及GPS 信息、完成订单后的评价等。问题复杂。通常用数据挖掘解决的问题都比较复杂很难用一些规则或者简单的统计给出结果。如果让开发者写一个微波炉的智能控制逻辑我想难度不是很大即便是有十几个甚至几十个按钮的控制中心也不过是多花费一点时间而已。但如果编写一段代码来区分某图片中是否有一只猫咪那要考虑的问题就太多了使用传统的方法很难解决而这恰恰是数据挖掘所擅长的。 以上是我们进行数据挖掘的初衷在后续的课程中你也会看到随着这些问题的出现它们在数据挖掘中是如何被解决的。
3数据挖掘有什么用处
既然数据挖掘是一种方法那就要用它去解决一些问题。下面我就来具体讲一下你最关心的也是最实际的问题数据挖掘到底有什么用处。
3.1分类问题
分类问题是最常见的问题。比如新闻网站判断一条新闻是社会新闻还是时政新闻是体育新闻还是娱乐新闻这就是一个分类问题也就是对已知类别的数据进行学习为新的内容标注一个类别。
3.2聚类问题
聚类与分类不同聚类的类别预先是不清楚的我们的目标就是要去发现这些类别。聚类的算法比较适合一些不确定的类别场景。 比如我们出去玩捡了一大堆不同的树叶回来你不知道这些树叶是从什么树上掉落的但是你可以根据它们的大小、形状、纹路、边缘等特征给树叶进行划分最后得到了三个较小的树叶堆每一堆树叶都属于同一个种类。
3.3回归问题
简单来说回归问题可以看作高中学过的解线性方程组。它的最大特点是生成的结果是连续的而不像分类和聚类生成的是一种离散的结果。 比如使用回归的方法预测北京某个房子的总价y假设总价只跟房子的面积x有关那么我们构建的方程式就是axby。如何根据已知x 和y 的值解出a 和b 就是回归问题要解决的。回归方法是通过构建一个模型去拟合已知的数据自变量然后预测因变量结果。
3.4关联问题
关联问题最常见的一个场景就是推荐比如你在京东或者淘宝购物的时候在选中一个商品之后往往会给你推荐几种其他商品组合这种功能就可以使用关联挖掘来实现。
4.数据挖掘怎么做?
数据挖掘也是有方法论的。实际上数据挖掘经过了数十年的发展和无数专家学者的研究有很多人提出了完整的流程框架这对于我们来说简直是福音。当然如果你在使用的过程中觉得这些东西有问题或者还有改进的空间那也不要惧怕权威尽信书则不如无书嘛。 在这里我讲一个应用最多的CRISP-DMCross-industry Standard Process for Data Mining跨行 业数据挖掘标准流程方法论不要被这么长的名字吓到这里我们先简单地了解数据挖掘的操作步骤有哪些后面我也会逐一详细讲解。 下面我们就来看一下如何依照这6 个步骤进行数据挖掘。
4.1业务理解Business Understanding
想象你在一个外贸公司上班有一天你的老板突然给你说“小明啊你能不能训练一个模型来预测一下明年公司的利润呢”这就是一个业务需求了若要解决这个问题首先要弄明白需求是什么这就是业务理解或者也可以叫作商业理解。比如你要搞清楚什么是利润、利润的构成是什么样的、利润受什么影响同时老板说的利润是净利润还是毛利润等问题。 业务理解主旨是理解你的数据挖掘要解决什么业务问题。任何公司启动数据挖掘都是想为业务赋能因此我们必须从商业或者从业务的角度去了解项目的要求和最终的目的去分析整个问题涉及的资源、局限、设想甚至是风险、意外等情况。从业务出发到业务中去。
4.2数据理解Data Understanding
明白了问题还要明白解决问题需要什么数据。比如这个时候你的老板又跟你说了“小明啊我想改改需求能不能多做几个模型把竞品公司明年的利润也都算算我想对比一下。” 然而“巧妇难为无米之炊”你根本就没有这个数据这个需求也就无从完成了。数据理解阶段始于数据的收集工作但我认为重点是在业务理解的基础上对我们所掌握的数据要有一个清晰、明确的认识了解有哪些数据、哪些数据可能对目标有影响、哪些可能是冗余数据、哪些数据存在不足或缺失等等。需要注意的是数据理解和业务理解是相辅相成的因此你在制定数据挖掘计划的时候不能只是单纯地谈需求这也是大多数初入门的数据挖掘工程师容易忽略的。数据理解得不好很可能会导致你对业务需求的错误评估从而影响后续进度甚至是结果。
4.3数据准备Data Preparation
完成上面两个步骤后我们就可以准备数据了。你需要找销售要销售数据找采购要采购数据找财务要各种收入、支出数据然后整理所有需要用到的数据想办法补全那些缺失的数据计算各种统计值等等。数据准备就是基于原始数据去构建数据挖掘模型所需的数据集的所有工作包括数据收集、数据清洗、数据补全、数据整合、数据转换、特征提取等一系列动作。 事实上在大多数的数据挖掘项目中数据准备是最困难、最艰巨的一步。如果你的数据足够干净和完整那么在建模和评估阶段所付出的精力就越少甚至都不必去使用什么复杂的模型就可以得到足够好的效果所以这个阶段也是十分重要的。
4.4 构建模型Modeling
也可以叫作训练模型在这一阶段我们会把准备好的数据喂给算法所以这个阶段重点解决的是技术方面的问题会选用各种各样的算法模型来处理数据让模型学习数据的规律并产出模型用于后续的工作。 对于同一个数据挖掘的问题类型可以有多种方法选择使用。如果有多重技术要使用那么在这一任务中对于每一个要使用的技术要分别对待。一些建模方法对数据的形式有具体的要求比如SVM 算法只能输入数值型的数据等等。因此在这一阶段重新回到数据准备阶段执行某些任务有时是非常必要的。
4.5 评估模型Evaluation
在模型评估阶段我们已经建立了一个或多个高质量的模型。但是模型的效果如何能否满足我们的业务需求就需要使用各种评估手段、评估指标甚至是让业务人员一起参与进来彻底地评估模型回顾在构建模型过程中所执行的每一个步骤以确保这些模型达到了目标。在评估之后会有两种情况一种是评估通过进入到上线部署阶段另一种是评估不通过那么就要反过来再进行迭代更新了。
4.6模型部署Deployment
整理了数据研究了算法模型并通过了多方评估终于到了部署阶段。此时可能还要解决一些实际的问题比如长期运行的模型是否有足够的机器来支撑数据量以及并发程度会不会造成我们部署的服务出现问题等等。但是关于数据挖掘的生命周期可能还远未结束关于一些特殊情况的出现可能仍然无法处理以及在后续的进程中随着新数据的生产以及变化我们的模型仍然会发生一些变化。所以部署是一个挖掘项目的结束也是一个数据挖掘项目的开始。
