注册公司网站的费用,网站的优化和推广方案,上海突发新闻,惠州人才市场最新招聘信息网这里写自定义目录标题 机器学习的基础知识累计概率分布概率分布函数度量空间负采样#xff08;Negative Sampling#xff09;基于分布的负采样#xff08;Distribution-based Negative Sampling#xff09;#xff1a;基于近邻的负采样#xff08;Neighbor-based Negativ… 这里写自定义目录标题 机器学习的基础知识累计概率分布概率分布函数度量空间负采样Negative Sampling基于分布的负采样Distribution-based Negative Sampling基于近邻的负采样Neighbor-based Negative Sampling 机器学习的基础知识
累计概率分布、概率分布函数概率质量函数、概率密度函数、度量空间、负采样Negative Sampling
累计概率分布
累计概率分布是指离散随机变量或连续随机变量的概率分布函数Probability Distribution Function简称PDF在某个取值点之前的概率之和。
对于离散随机变量累计概率分布函数Cumulative Distribution Function简称CDF定义为在该点之前所有概率质量函数Probability Mass Function简称PMF值的累加和。
对于连续随机变量累计概率分布函数定义为在该点之前的概率密度函数Probability Density Function简称PDF的积分。
以离散随机变量为例设随机变量X具有概率质量函数P(X x)则其累计概率分布函数F(x)定义为 F(x) P(X ≤ x) ΣP(X x’) 其中x’为所有小于或等于x的可能取值。
以连续随机变量为例设随机变量X具有概率密度函数f(x)则其累计概率分布函数F(x)定义为 F(x) P(X ≤ x) ∫f(t)dt积分从负无穷到x 累计概率分布函数提供了随机变量小于或等于某个特定值的概率。在统计学和概率论中累计概率分布函数常用于计算随机变量的分位数、概率计算以及随机变量之间的比较等任务。
值得注意的是累计概率分布函数的取值范围在[0, 1]之间并且具有单调递增的性质。
概率分布函数
概率分布函数Probability Distribution Function简称PDF是描述随机变量取值与其概率之间关系的函数。对于离散型随机变量概率分布函数也被称为概率质量函数Probability Mass Function简称PMF。对于连续型随机变量概率分布函数也被称为概率密度函数Probability Density Function简称PDF。
离散型随机变量的概率质量函数PMF 对于离散型随机变量X其概率质量函数P(X x)给出了X取特定值x的概率。概率质量函数满足以下性质 非负性P(X x) ≥ 0 归一性∑P(X x) 1求和范围覆盖了所有可能的取值 连续型随机变量的概率密度函数PDF 对于连续型随机变量X其概率密度函数f(x)描述了X落在某个区间内的概率密度。概率密度函数满足以下性质 非负性f(x) ≥ 0 归一性∫f(x)dx 1积分范围覆盖了所有可能的取值 概率分布函数是概率质量函数PMF或概率密度函数PDF的累积函数。对于离散型随机变量概率分布函数F(x)定义为X小于或等于x的概率之和。对于连续型随机变量概率分布函数F(x)定义为X小于或等于x的概率密度之积分。
概率分布函数的性质 非负性概率分布函数的值始终非负即F(x) ≥ 0。 单调性概率分布函数是单调非减函数即如果x1 ≤ x2则F(x1) ≤ F(x2)。 归一性概率分布函数在整个取值空间上的值范围是[0, 1]即F(-∞) 0F(∞) 1。 概率分布函数在统计学和概率论中起到重要的作用可以用于计算随机变量的概率、期望、方差以及进行随机变量之间的比较等任务。常见的概率分布函数包括正态分布、均匀分布、二项分布、泊松分布等。
度量空间
度量空间Metric Space是数学中的一个概念用于描述具有度量Metric的空间。度量是一种用于衡量空间中两个元素之间距离的函数。
在一个度量空间中我们有一个集合X以及一个定义在X上的度量函数d满足以下条件
非负性对于任意的x, y ∈ X有d(x, y) ≥ 0并且当且仅当x y时d(x, y) 0。
对称性对于任意的x, y ∈ X有d(x, y) d(y, x)。
三角不等式对于任意的x, y, z ∈ X有d(x, z) ≤ d(x, y) d(y, z)。度量空间中的度量函数可以理解为表示元素之间距离的度量方式。它可以是实数值的距离也可以是其他形式的度量如欧氏距离、曼哈顿距离等。度量函数的定义使我们能够在度量空间中进行距离的比较和分析。
度量空间的例子包括欧几里得空间Euclidean Space和离散度量空间。在欧几里得空间中度量函数是欧氏距离用于测量点之间的直线距离。在离散度量空间中度量函数可以是汉明距离、编辑距离等用于度量离散对象之间的差异。
度量空间的概念在数学、计算机科学和物理学等领域中有广泛的应用。它为我们提供了一种形式化的框架用于研究和分析空间中的距离、连续性、收敛性等性质。
负采样Negative Sampling
负采样Negative Sampling负样本的采样方式是一种用于优化训练过程的技术常用于词嵌入模型如Word2Vec等自然语言处理任务中。负采样通过减少训练样本的数量和计算复杂度提高了训练效率同时仍能保持模型的性能。
在传统的词嵌入模型中目标是学习每个单词的词向量表示使得具有相似上下文的单词在向量空间中的距离更近。传统的训练过程中需要对每个训练样本计算softmax概率分布这对于大规模语料库来说计算量很大。
负采样通过将训练样本中的正例目标单词及其上下文与负例目标单词与随机选择的其他单词进行区分从而减少了计算量。具体来说对于每个训练样本负采样会随机选择一些负例数量通常远小于语料库中的所有单词并将它们作为负样本而不再考虑其他单词。
负采样的目标是调整模型参数使得正例的得分高于负例的得分从而更好地区分正例和负例。一种常见的负采样方法是使用二元逻辑回归模型将目标单词与上下文的词向量作为输入通过sigmoid函数将其转化为概率。正例的标签为1负例的标签为0模型的目标是最大化正例的概率、最小化负例的概率。
负采样的优点是能够降低计算复杂度加快训练速度。此外负采样还有助于将模型更专注于区分目标单词和上下文提高了模型的性能。但是负采样也引入了一定的偏差因为负例是随机选择的并不能保证完全涵盖语料库中的所有负例。
需要注意的是负采样在不同任务和模型中的具体实现方式会有所不同。具体的选择和调整负采样的数量、采样策略等需要根据实际情况和任务需求进行调整和优化。
除了二元逻辑回归模型还有其他几种常用的负采样方式下面列举其中两种。
基于分布的负采样Distribution-based Negative Sampling
这种负采样方式基于单词的频率分布来选择负例。具体步骤如下 统计每个单词在语料库中的出现频次并计算每个单词出现的概率。 根据单词的概率分布随机选择负例。常用的选择方法是使用单词的概率分布的幂次进行采样即根据频次的幂次对单词进行采样出现频次较高的单词被选择为负例的概率较低频次较低的单词被选择为负例的概率较高。 基于近邻的负采样Neighbor-based Negative Sampling
这种负采样方式基于单词的上下文关系来选择负例。具体步骤如下 对于每个训练样本中的目标单词选取其真实上下文单词。 对于每个上下文单词从其上下文窗口中选择一部分单词作为负例。这些负例单词可以是随机选择的也可以根据一定的概率分布进行选择。 这些负采样方式的选择取决于具体的任务和模型。不同的负采样方式可能适用于不同的应用场景并且可能会对模型的性能产生不同的影响。因此在实际应用中可以尝试不同的负采样方式并进行实验和比较选择最适合的方式。
