做自己的网站的好处,明星网页设计模板,网站制作规划设计内容,com域名是哪个国家的1.1 统计学习 统计学习的特点 统计学习#xff1a;计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析 现在人们提及机器学习时#xff0c;往往指统计机器学习#xff0c;所以可以认为本书介绍的是机器学习方法 统计学习的对象 统计学习研究的对象是数据(data)…1.1 统计学习 统计学习的特点 统计学习计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析 现在人们提及机器学习时往往指统计机器学习所以可以认为本书介绍的是机器学习方法 统计学习的对象 统计学习研究的对象是数据(data)统计学习关于数据的基本假设是同类数据具有一定的统计规律性这是统计学习的前提。 e.g.用随机变量描述数据的特征用概率分布描述数据的统计规律 在统计学习中以变量或变量组表示数据数据分为连续变量或离散变量本书主要讨论离散变量的方法且本书只关注利用数据构建模型及利用模型对数据进行分析与预测对数据的观测和收集等问题不讨论 统计学习的目的 统计学习的总目标就是考虑学习什么样的模型和如何学习模型使模型能对数据进行准确的预测与分析也要考虑学习效率 统计学习的方法 统计学习方法可以概括如下:从给定的、有限的、用于学习的训练数据(training data)集合出发假设数据是独立同分布产生的并且假设要学习的模型属于某 个函数的集合称为假设空间(hypothesis space) 应用某个评价准则(evaluation criterion)从假设空间中选取一个最优模型使它对已知的训练数据及未知的测试数据(test data)在给定的评价准则下有最优的预测最优模型的选取由算法实现。 这样统计学习方法包括模型的假设空间、模型选择的准则以及模型学习的算法。称其为统计学习方法的三要素简称为模型(model)、策略(strategy)和算法(algorithm)。
1.2 统计学习的分类
1.2.1 基本分类
统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习。
监督学习 监督学习(supervised learning)是指从标注数据中学习预测模型的机器学习问 题。标注数据表示输入输出的对应关系预测模型对给定的输入产生相应的输出。监督学习的本质是学习输入到输出的映射的统计规律。
我们要弄清楚以下几个名词 1输入空间、特征空间和输出空间
在监督学习中把输入和输出所有可能取值的集合分别称为输入空间(input space)和输出空间(output space)
每个具体的输入是一个实例(instance)通常由特征向量(feature vector)表示。所有特征向量存在的空间称为特征空间(feature space)特征空间的每一维对应于一个特征。(有时是假设输入空间等同于特征空间有的时候不是)
在监督学习中把输入和输出看作是定义在输入特征空间与输出空间上的随机变量的取值。输入输出变量用大写字母表示习惯上输入变量为X输出变量为Y输入输出变量的取值用小写字母表示输入变量取值为x输出变量取值为y变量可以是标量或向量都用相同类型的字母表示本书中的向量除非特别声明否则均为列向量
输入实例 x x x的特征向量记作 x ( x ( 1 ) , x ( 2 ) , . . . , x ( i ) , . . . , x ( n ) ) T x(x^{(1)},x^{(2)},...,x^{(i)},...,x^{(n)} )^T x(x(1),x(2),...,x(i),...,x(n))T
输入实例x的特征向量是指描述这个输入实例的特征的数值表示。在机器学习和深度学习中我们通常将每个输入样本表示为一个特征向量其中每个特征是样本的一个属性或特征。这些特征可以是任何与问题相关的信息例如图像中的像素值、文本中的单词出现次数、声音信号中的频谱分布等等。特征向量是一个数值列表其中每个元素对应一个特征并且特征的顺序通常是固定的。例如如果我们正在处理手写数字识别任务每个输入图像可以表示为一个特征向量其中每个元素对应一个像素的灰度值。如果图像的大小是28x28像素那么特征向量将包含28x28784个元素每个元素代表一个像素的灰度值。在深度学习中神经网络的输入通常是这些特征向量网络的目标是学习从这些特征向量到相应的输出例如图像分类中的类别标签的映射关系。因此特征向量的选择和表示对于机器学习和深度学习任务至关重要它们决定了模型的输入信息和性能。x ( i ) x^{(i)} x(i)表示 x x x的第 i i i个特征。注意 x ( i ) x^{(i)} x(i)与 x i x_i xi不同本书通常用 x i x_i xi表示多个输入变量中的第 i i i个变量 x i ( x i ( 1 ) , x i ( 2 ) , . . . , x i ( i ) , . . . , x i ( n ) ) T x_i(x_i^{(1)},x_i^{(2)},...,x_i^{(i)},...,x_i^{(n)} )^T xi(xi(1),xi(2),...,xi(i),...,xi(n))T 监督学习从训练数据(training data)集合中学习模型对测试数据(test data)进行预测训练数据由输入或特征向量与输出对组成训练集通常表示为 T { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T{(x1,y1),(x2,y2),...,(xN,yN)} 测试数据也由输入和输出对组成输入和输出对又称为样本(sample)或样本点 根据输入变量X和Y的不同类型连续或离散预测任务有不同名称
X和Y预测任务均为连续变量回归问题输出为有限个离散变量分类问题均为变量序列标注问题
2联合概率分布 监督学习假设输入与输出的随机变量 X X X和 Y Y Y遵循联合概率分布 P ( X , Y ) P(X,Y) P(X,Y) P ( X , Y ) P(X,Y) P(X,Y)表示分布函数或分布密度函数 训练数据与测试数据被看作是依概率分布 P ( X , Y ) P(X,Y) P(X,Y)独立同分布产生的
分布函数Distribution Function和分布密度函数Probability Density Function是概率论和统计学中用于描述随机变量的两种不同方式。1. **分布函数Distribution Function**- 分布函数通常表示为F(x)它描述了随机变量X小于或等于某个特定值x的概率。数学上分布函数可以定义为F(x) P(X x)- 分布函数的值范围在0到1之间且对于任何x都有0 F(x) 1。- 分布函数是一个累积概率函数它可以用来计算随机变量X在某个范围内的累积概率。2. **分布密度函数Probability Density Function**- 分布密度函数通常表示为f(x)它描述了随机变量X在某个特定值x处的概率密度即概率密度函数在x处的导数。数学上分布密度函数可以定义为f(x) dF(x)/dx- 分布密度函数的值通常用来表示概率密度而不是概率本身。因此对于连续随机变量概率密度函数在某个点x处的值并不代表概率而是在附近范围内的概率密度。- 分布密度函数通常用于描述连续随机变量的概率分布例如正态分布、指数分布等。总的来说主要区别在于随机变量是连续的还是离散的。对于离散随机变量我们使用分布函数来描述概率分布而对于连续随机变量我们使用分布密度函数来描述概率分布。分布函数提供了累积概率信息而分布密度函数提供了在某一点附近的概率密度信息。3假设空间 模型属于有输入空间到输出空间的映射的集合这个集合就是假设空间(hypothesis space)假设空间的确定意味着学习的范围的确定。
映射可以是多对一、一对多、一对一等不同类型的关系。
函数是映射的一种特例它是一对一关系。监督学习的模型可以是概率模型或非概率模型由条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)或决策函数(decision function) Y f ( X ) Yf(X) Yf(X)表示随具体学习方法而定。对具体的输入进行相应的输出预测时写作 P ( y ∣ x ) P(y|x) P(y∣x)或 y f ( x ) yf(x) yf(x)
这句话是在讨论监督学习模型的两种常见表示方式。 概率模型在监督学习中概率模型是一种常见的表示方式它使用条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)来表示模型。这表示给定输入 X X X的情况下目标变量 Y Y Y的概率分布。概率模型通常用于分类问题其中 Y Y Y表示类别标签。例如在图像分类任务中 X X X可以是图像数据 Y Y Y可以是图像所属的类别。模型通过学习 P ( Y ∣ X ) P(Y|X) P(Y∣X)的参数来进行预测和分类。 非概率模型另一种常见的表示方式是使用决策函数也称为预测函数或映射函数 Y f ( X ) Yf(X) Yf(X)来表示模型。这表示模型直接映射输入 X X X到输出 Y Y Y而不涉及概率分布。非概率模型通常用于回归问题其中 Y Y Y表示连续数值。例如在房价预测任务中 X X X可以是房屋的特征 Y Y Y可以是房价的预测值。模型通过学习适当的函数 f ( X ) f(X) f(X)来进行回归预测。
总之监督学习的模型可以根据任务和问题的性质选择不同的表示方式。概率模型适用于分类和概率估计问题而非概率模型适用于回归问题。选择哪种表示方式取决于具体的应用场景和建模需求。
4问题的形式化 监督学习的监督一词是由于标注的训练数据集往往是人工给出的 监督学习分为学习和预测两个过程 首先给定一个训练数据集 T { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) } T\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\} T{(x1,y1),(x2,y2),...,(xN,yN)} 其中 ( x i , y i ) , i 1 , 2 , . . . , N (x_i,y_i),i1,2,...,N (xi,yi),i1,2,...,N称为样本或样本点。 x i x_i xi是输入的观测值也称为输入或实例 y i y_i yi是输出的观测值也称为输出。 在学习过程中学习系统通过给定的训练数据集通过学习或训练得到一个模型表示为条件概率分布 P ^ ( Y ∣ X ) \hat{P}(Y|X) P^(Y∣X)或决策函数 Y f ^ ( X ) Y\hat{f}(X) Yf^(X) 在预测过程中预测系统通过给定的 x N 1 x_{N1} xN1通过模型 y N 1 a r g max y P ^ ( y ∣ x N 1 ) y_{N1} arg \underset{y}{\text{max}} \hat{P}(y|x_{N1}) yN1argymaxP^(y∣xN1)或 y N 1 f ^ ( x N 1 ) y_{N1}\hat{f}(x_{N1}) yN1f^(xN1)给出对应的输出 y N 1 y_{N1} yN1
这段话描述了在预测过程中预测系统如何根据输入 x N 1 x_{N1} xN1生成对应的输出 y N 1 y_{N1} yN1有两种不同的方式 使用条件概率分布 在第一种方式中模型通过条件概率分布 P ^ ( y ∣ x N 1 ) \hat{P}(y|x_{N1}) P^(y∣xN1)来生成输出。这表示系统会考虑给定输入 x N 1 x_{N1} xN1的情况下每个可能的输出 y y y的概率。然后它会选择具有最高概率的 y y y作为输出。这个过程使用了arg max操作表示选择使概率最大化的 y y y值。arg max是一个数学和计算机科学中常用的术语它表示寻找一个函数或集合中能够使函数取得最大值的参数或元素。例如如果模型是一个文本分类器 x N 1 x_{N1} xN1是一段文本而 y N 1 y_{N1} yN1是文本所属的类别那么 P ^ ( y ∣ x N 1 ) \hat{P}(y|x_{N1}) P^(y∣xN1)表示模型给出文本属于每个类别的概率分布。模型会选择具有最高概率的类别作为输出 y N 1 y_{N1} yN1。 使用决策函数 在第二种方式中模型通过一个决策函数 f ^ ( x N 1 ) \hat{f}(x_{N1}) f^(xN1)来生成输出。这表示系统会直接将输入 x N 1 x_{N1} xN1传递给一个函数 f ^ \hat{f} f^该函数会将 x N 1 x_{N1} xN1映射到一个输出 y N 1 y_{N1} yN1。例如如果模型是一个图像分类器 x N 1 x_{N1} xN1是一张图像而 y N 1 y_{N1} yN1是图像所属的类别那么 f ^ ( x N 1 ) \hat{f}(x_{N1}) f^(xN1)可以是一个深度神经网络它将图像作为输入并输出类别标签。
在监督学习中假设训练数据与测试数据是依联合概率分布 P ( X ∣ Y ) P(X|Y) P(X∣Y)独立同分布产生的
对输入 x i x_i xi通过模型可以产生一个输出 f ( x i ) f(x_i) f(xi)而训练数据集中对应的输出是 y i y_i yi如果模型预测能力好则 f ( x i ) f(x_i) f(xi)和 y i y_i yi之间的差应当足够小
无监督学习 无监督学习指从无标注数据中学习预测模型的机器学习问题 无监督学习的本质是学习数据中的统计规律或潜在结构
模型的输入与输出的所有可能取值的集合分别称为输入空间和输出空间每个输入是一个实例由特征向量表示每一个输出是对输入的分析结果由输入的类别、转换或概率表示输出可以是类别标签表示输入属于哪个类别也可以是一种转换表示输入数据的变换结果还可以是一个概率分布表示输入属于不同类别的概率。模型可以实现对数据的聚类、降维或概率估计。
假设 X X X是输入空间 Z Z Z是隐式结构空间。要学习的模型可以表示为函数 z g ( x ) zg(x) zg(x)条件概率分布 P ( z ∣ x ) P(z|x) P(z∣x)或者条件概率分布 P ( x ∣ z ) P(x|z) P(x∣z)的形式其中 x x x是输入 z z z是输出。包含所有可能的模型的集合称为假设空间无监督学习旨在从假设空间中选出在给定评价标准下的最优模型 2个问题 1.为什么不叫输出空间叫隐式结构空间? 在无监督学习中我们通常关注的是从输入数据中学习出的潜在结构或特征这些潜在结构可能并不是直接可观察到的输出。因此将其称为隐式结构强调了这些特征的隐藏性质与常规的输出不同。输出通常是指直接可观察到的结果而这里的 Z Z Z表示的是学习到的潜在表示。 2.为什么还有条件概率分布 P ( x ∣ z ) P(x|z) P(x∣z)的形式? 这表示模型可以在不同的角度进行建模。 P ( z ∣ x ) P(z|x) P(z∣x)表示在给定输入 x x x的情况下 z z z的分布通常用于表示数据的编码或降维过程。 P ( x ∣ z ) P(x|z) P(x∣z)表示在给定 z z z的情况下生成输入 x x x的分布通常用于生成模型或数据重建。 这两种表示方式在不同的无监督学习任务中都有应用取决于任务的性质和目标。 无监督学习通常用大量的无标注数据进行学习或训练每一个样本都是一个实例。 训练数据表示为 U { x 1 , x 2 , . . . , x N } U\{x_1,x_2,...,x_N\} U{x1,x2,...,xN}其中 x i , i 1 , 2 , . . . , N x_i,i1,2,...,N xi,i1,2,...,N是样本。 强化学习 强化学习(reinforcement learning) 是指智能系统在与环境的连续互动中学习最优行为策略的机器学习问题。 假设智能系统与环境的互动基于马尔可夫决策过程(Markov decision process)智能系统能观测到的是与环境互动的得到的数据序列。 强化学习的本质是学习最优的序贯决策 智能系统通俗来说就是一种能够自动地执行任务、做出决策、或者从数据中学习并改进自己的计算机程序或机器。这些系统通常被设计成能够模仿人类智慧的一些方面比如理解语言、识别图像、解决问题等等。 举例来说智能系统可以是 虚拟助手比如Siri、Alexa或Google助手它们能够理解你的声音命令回答问题或者执行任务。自动驾驶汽车这些汽车能够利用传感器和计算机技术来感知道路上的情况做出驾驶决策从而在没有人类驾驶员的情况下行驶。机器学习算法这些算法可以从大量的数据中学习并进行预测比如根据用户的购物历史预测他们可能喜欢的产品。工业机器人这些机器人可以执行重复性任务如汽车制造中的焊接或装配工作而无需人类操作。 智能系统的关键特征是它们能够根据输入数据做出决策或执行任务并且通常能够从经验中学习以不断改进它们的性能。这些系统的应用范围非常广泛涵盖了许多不同的领域和行业。 马尔可夫决策过程Markov Decision Process简称MDP是一种用于建模决策制定的数学工具通常在人工智能和强化学习中使用。它可以被理解为描述一个智能体也就是决策制定者在与环境互动时如何做决策的框架。 在通俗的方式下你可以把MDP看作是一个智能体与它所处的环境之间的互动游戏。这个游戏有以下几个要素 状态State状态表示了在某一时刻环境的特定情况或状态可以是任何信息比如一个棋盘上的棋子位置一个房间的温度或者一个机器人所在的位置。行动Action行动是智能体可以采取的决策或动作它们可以是移动、采购、购买等等取决于具体的问题。奖励Reward在每个状态和采取每个行动后智能体会收到一个奖励信号表示这个决策是好还是坏。奖励可以是正数表示好的结果负数表示不好的结果或者零表示中立的结果。转移概率Transition Probability这是一个规定在某一状态下采取某个行动后下一个状态是什么的概率分布。它表示环境的不确定性因为有时候相同的行动可能会导致不同的结果。 MDP的目标是找到一种策略Policy也就是一种决策规则告诉智能体在每个状态下应该采取哪个行动以最大化累积的奖励。智能体的任务就是根据这个策略来做决策同时考虑到当前状态、可能的行动、奖励以及转移概率。 总之MDP是一个用于描述智能体如何在不确定的环境中做出决策的框架它帮助我们理解如何选择最优策略以达到特定目标。这个概念在很多领域尤其是强化学习中都非常有用。 智能系统观测到的是与环境互动的数据序列这是因为在强化学习中决策制定者智能系统需要根据先前的经验和互动结果来学习并改进其决策策略。这个经验包括了一系列的数据点通常以时间序列的形式记录下来因此被称为数据序列。 以下是为什么这些数据通常呈现为序列的原因 历史信息的重要性在强化学习中以前的决策和互动结果通常对当前和未来的决策有重要影响。因此将这些历史数据以序列的形式记录下来有助于智能系统理解过去的经验并在未来的决策中考虑这些信息。状态的变化环境的状态通常会随着时间而变化而智能系统需要根据不同的状态采取不同的行动。通过记录数据序列智能系统可以跟踪状态的演变以更好地适应环境的变化。学习与改进强化学习的目标是通过不断地学习和改进来寻找最佳策略。数据序列允许智能系统回顾过去的行动和结果从中提取有关什么工作和什么不工作的信息并相应地调整未来的策略。奖励信号的累积在每个时间步智能系统会收到奖励信号这些奖励信号在序列中累积以衡量智能系统的性能。通过记录整个序列可以计算总奖励从而评估策略的质量。 因此数据序列在强化学习中起着关键作用帮助智能系统理解环境、学习经验、做出更好的决策并最终找到最优的行为策略。 序贯决策是一种决策方法通常用于描述在一系列连续的决策点上如何做出决策的过程。这种决策方法涉及到在时间上连续的一系列决策步骤每个步骤都基于之前的决策和可能的情况来做出。 序贯决策的特点包括 时序性每个决策都在前一个决策之后且在下一个决策之前进行。这意味着每个决策都考虑了时间上的顺序和历史信息。条件性每个决策通常依赖于之前的决策结果和环境的当前状态。决策制定者需要根据之前的经验和当前情况来选择下一步的行动。累积性决策的结果通常会积累影响后续决策和最终的结果。这意味着之前的决策可能会对整个决策序列的成功产生重要影响。 序贯决策在许多领域中都有应用特别是在强化学习、控制系统、金融投资和自动化领域。在这些领域决策制定者需要考虑如何在连续的时间步骤中采取行动以实现某种目标或最大化某种性能指标。序贯决策方法提供了一种框架帮助解决这些复杂的问题并优化决策序列以获得最佳结果。 智能系统和环境的互动如图 在每一步 t t t智能系统从环境中观测到一个状态(state) s t s_t st与一个奖励(reward) r t r_t rt采取一个动作(action) a t a_t at。环境根据智能系统选择的动作决定下一步 s t 1 s_{t1} st1和 r t 1 r_{t1} rt1。要学习的策略表示为给定的状态下采取的动作。智能系统的目标不是短期奖励的最大化而是长期累积奖励的最大化在这过程中系统不断试错(trial and error)以达到学习最优策略的目的。
强化学习的马尔可夫决策过程是状态、奖励、动作序列上的随机过程有五元组 S , A , P , r , γ S,A,P,r,\gamma S,A,P,r,γ组成 S S S是有限状态(state)的集合 A A A是有限动作(action)的集合 P P P是状态转移概率(transition probability)函数 P ( s ′ ∣ s , a ) P ( s t 1 s ′ ∣ s t s , a t a ) P(s^{}|s,a)P(s_{t1}s^{}|s_ts,a_ta) P(s′∣s,a)P(st1s′∣sts,ata) r r r是奖励函数(reward function) r ( s , a ) E ( r t 1 ∣ s t s , a t a ) r(s,a)E(r_{t1}|s_ts,a_ta) r(s,a)E(rt1∣sts,ata) γ \gamma γ是衰减系数(discount factor) γ ∈ [ 0 , 1 ] \gamma \in[0,1] γ∈[0,1]
马尔可夫决策过程具有马尔可夫性下一个状态只依赖于前一个状态和动作由状态转移概率函数 P ( s ′ ∣ s , a ) P(s^{}|s,a) P(s′∣s,a)表示。下一个奖励依赖于前一个状态与动作由奖励函数 r ( s , a ) r(s,a) r(s,a)表示。 策略 π \pi π定义为给定状态下动作的函数 a f ( s ) af(s) af(s)或者条件概率分布 P ( a ∣ s ) P(a|s) P(a∣s)。给定一个策略 π \pi π智能系统与环境互动的行为就已确定或者是确定性的或者是随机性的 价值函数value function或状态价值函数state value function定义为策略 π \pi π从某一个状态s开始的长期累积奖励的数学期望 v π ( s ) E π [ r t 1 γ r t 2 γ 2 r t 3 . . . ∣ s t s ] v_{\pi}(s)E_{\pi}[r_{t1}\gamma r_{t2}\gamma^2 r_{t3}...|s_ts] vπ(s)Eπ[rt1γrt2γ2rt3...∣sts] 动作价值函数action value function定义为策略 π \pi π的从某一个状态s和动作a开始开始的长期累积奖励的数学期望 q π ( s , a ) E π [ r t 1 γ r t 2 γ 2 r t 3 . . . ∣ s t s , a t a ] q_{\pi}(s,a)E_{\pi}[r_{t1}\gamma r_{t2}\gamma^2 r_{t3}...|s_ts,a_ta] qπ(s,a)Eπ[rt1γrt2γ2rt3...∣sts,ata] 强化学习的目标就是在所有可能的策略中选出价值函数最大的策略 π ∗ \pi^* π∗而在实际学习中往往从具体的策略出发不断优化已有策略这里 γ \gamma γ表示未来的奖励会有衰减。
1.2.2按模型分类
1.2.3按算法分类
1.2.4 按技巧分类
1.3统计学习方法的三要素
1.3.1模型
1.3.2 策略
1.3.3算法
1.4模型评估与模型选择
1.4.1 训练误差与测试误差
1.4.2 过拟合与模型选择
1.5正则化与交叉验证
1.5.1正则化
正则化项和L1范数和L2范数的关系
1.5.2 交叉验证
1.6泛化能力
1.6.1泛化误差
1.6.2泛化误差上界
1.7生成模型与判别模型
监督学习的任务就是学习一个模型应用这一个模型对给定的输入预测相应的输出这个模型一般形式为决策函数 Y f ( X ) Yf(X) Yf(X)或者条件概率分布 P ( Y ∣ X ) P(Y|X) P(Y∣X)
监督学习方法又可以分为生成方法和判别方法所学到的模型分别称为生成模型和判别模型
生成模型和判别模型是机器学习中两种不同类型的模型它们的主要区别在于它们建模的是什么。 生成模型 生成模型试图建模数据的生成过程即它们尝试了解数据是如何被生成的。它们关注的是数据的整体分布和特征之间的关系。生成模型可以生成新的数据点因为它们对数据的生成过程有了深刻的理解。例如一些生成模型可以生成逼真的图像、文本或声音样本。常见的生成模型包括生成对抗网络GANs、隐马尔可夫模型HMMs和变分自编码器VAEs等。 判别模型 判别模型不试图建模数据的生成过程而是专注于建立一个决策边界或者一个映射函数以将输入数据映射到标签或类别。判别模型关注的是如何将输入数据映射到输出标签即它们关注的是条件概率分布 P(Y|X)其中 Y 表示输出标签X 表示输入数据。判别模型通常用于分类任务例如图像分类、文本分类、情感分析等。常见的判别模型包括支持向量机SVM、逻辑回归Logistic Regression、决策树Decision Trees和神经网络Neural Networks等。
简而言之生成模型关注数据的生成过程可以生成新的数据而判别模型关注将输入映射到输出用于分类等任务。在实际应用中选择使用哪种模型取决于具体的任务和数据性质。
1.8 监督学习应用
1.8.1分类问题
评价分类器性能的指标一般是分类准确率accuracy指对于给定的测试数据集分类器正确分类的样本数与总样本数之比
对于二分类问题常用的评价指标是精确率Pprecision与召回率Rrecall以关注的类为正类其余为负类
符号含义TP将正类预测为正类数FN将正类预测为负类数FP将负类预测为正类数TN将负类预测为负类数 P T P T P F P P\frac{TP}{TPFP} PTPFPTP R T P T P F N R\frac{TP}{TPFN} RTPFNTP 此外还有 F 1 F_1 F1为P和R的调和均值 2 F 1 1 P 1 R \frac{2}{F_1}\frac{1}{P}\frac{1}{R} F12P1R1 F 1 2 T P 2 T P F P F N F_1\frac{2TP}{2TPFPFN} F12TPFPFN2TP 精确率和召回率都高时F_1也会高
1.8.2标注问题
1.8.3回归问题
