怎么做淘宝联盟的推广网站,群晖个人网站建设,免费永久vps服务器,北京短视频拍摄公司机器学习课程学习周报十二 文章目录 机器学习课程学习周报十二摘要Abstract一、机器学习部分1.1 fGAN: General Framework of GAN1.2 CycleGAN1.3 Auto-Encoder1.4 概率论复习#xff08;一#xff09; 总结 摘要
本周的学习内容涵盖了fGAN框架、CycleGAN、自编码器以及概率…机器学习课程学习周报十二 文章目录 机器学习课程学习周报十二摘要Abstract一、机器学习部分1.1 fGAN: General Framework of GAN1.2 CycleGAN1.3 Auto-Encoder1.4 概率论复习一 总结 摘要
本周的学习内容涵盖了fGAN框架、CycleGAN、自编码器以及概率论的基础知识。fGAN利用f-divergence来衡量概率分布间的差异并通过Fenchel共轭解释其与GAN的关系。CycleGAN在无监督学习中实现图片风格转换特别是在无成对数据的情况下。自编码器用于特征降维和重构并探讨了去噪自编码器和离散隐表征的应用。最后复习了概率论的基本概念为理解VAE和Diffusion模型奠定基础。
Abstract
This week’s study focuses on the fGAN framework, CycleGAN, autoencoders, and fundamental concepts of probability theory. fGAN utilizes f-divergence to measure differences between probability distributions, and the Fenchel conjugate is used to explain its relationship with GANs. CycleGAN enables image style transfer in unsupervised learning, particularly without paired data. Autoencoders are explored for feature dimensionality reduction and reconstruction, including applications of denoising autoencoders and discrete latent representations. Finally, a review of probability theory basics lays the groundwork for understanding VAE and Diffusion models.
一、机器学习部分
1.1 fGAN: General Framework of GAN
f-divergence是一类用于衡量两个概率分布之间差异的函数族f-divergence具体的定义为 D f ( P ∣ ∣ Q ) ∫ f ( p ( x ) q ( x ) ) q ( x ) d x {D_f}(P||Q) \int {f(\frac{{p(x)}}{{q(x)}})} q(x)dx Df(P∣∣Q)∫f(q(x)p(x))q(x)dx
给定两个概率分布 P P P和 Q Q Q且 p ( x ) {p(x)} p(x)和 q ( x ) {q(x)} q(x)是 P P P和 Q Q Q的概率密度函数函数 f f f是一个凸函数并保证 f f f是非负的。具体定义和推导过程如下
下图为指定了函数 f f f的具体形式后f-divergence能转化为不同的divergence。
Fenchel Conjugate凸共轭
凸函数的共轭函数定义如下所示 下图的例子表示给定所有的 x x x画出函数图像在 t t t的定义域上取最大的函数部分 f ∗ {f^*} f∗的图像是凸函数的形状 f ∗ {f^*} f∗一定是凸函数。 下图表明了利用凸共轭证明f-divergence与GAN的关系不同的目标函数对应不同的Divergence函数不同的Divergence函数对应不同的 f ∗ {f^*} f∗函数。 1.2 CycleGAN
假设我们现在要把一个 x x x域的真人的头像照片转换为 y y y域的动漫人物的头像照片在这个例子里我们没有任何的成对的数据因为我们有一堆真人的照片但是我们没有这些真人的动漫头像。
这个时候就可以用到 GAN在这种完全没有成对数据的情况下进行学习把GAN用在无监督学习上。原本无条件的GAN的输入是一个高斯的分布输出可能是一个复杂的分布。现在我们将 x x x域的真人的头像照片作为GAN的输入替换为原来输入的高斯分布输出部分期望生成 y y y域中的动漫人物的头像图片。判别器同时输入 x x x域的图片和 y y y域的图片然后输出一个数值这个数值代表这两张图片是不是一对的。
这里我们完全套用原来GAN的训练方式是有问题的我们没有对输入和输出的关系做任何限制生成器也许就把这张 x x x域的真人图片当作一个符合高斯分布的噪音然后不管你输入什么它都无视它只要判别器觉得它做得很好就可以了。 引入循环生成对抗网络Cycle GAN会训练两个生成器。第一个生成器是把 x x x域的图变成 y y y域的图第二个生成器它的工作是能将一张 y y y域的图还原回至 x x x域的图。在训练的时 候我们会增加一个额外的目标就是我们希望输入一张图片其从 x x x域转成 y y y域以后要从 y y y域转回原来一模一样的 x x x域图片。就这样经过两次转换以后输入跟输出要越接近越好或者说两张图片对应的两个向量之间的距离越接近越好。因为这边有一个循环从 x x x到 y y y再从 y y y回到 x x x所以它是一个循环所以被称为Cycle GAN。 另一个角度Cycle GAN可以是双向的。同时训练上图中下面的部分给橙色的生成器输入 y y y域的图片让它产生 x x x域的图片。然后再让蓝色的生成器把 x x x域的图片还原回原来 y y y域的图片。同时我们依然希望输入跟输出越接近越好所以一样要训练一个判别器这个判别器是 x x x域的判别器 它是要看橙色生成器输出的图片像不像是真实人脸的图片。这个橙色的生成器它要去骗过这个 D X {D_X} DX判别器。这两部分合起来就是 Cycle GAN。
1.3 Auto-Encoder
自编码器Auto-Encoder属于self-supervised learning自监督学习其中的一种方法。 自编码器中包含一个编码器和一个解码器。编码器可能读入一张图片图片是一种维度非常高的向量编码器能将高维度的向量压缩为低维度的向量编码器通常有降维的作用。而解码器的网络架构可能更类似于GAN中的生成器解码器要输入通过编码器得到的低维向量生成一张图片。而训练的目标是要将解码器得到的输出图片与编码器的输入图片越接近越好这个任务也叫做重构reconstruction。
编码器的任务就是化繁为简有时本来比较复杂的东西它实际上只是表面上看起来复杂而本身的变化是有限的。我们只需要找出其中有限的变化就可以将它本来比较复杂 的东西用更简单的方法来表示。例如一组图片的大小都是 3 × 3 3 \times 3 3×3就是用9维度的向量来表示一张图片然而实际上这一组图片的表示类型只有2种可以只用2维度的向量表示。 去噪自编码器denoising autoencoder去噪自编码器就是把原来需要输入到编码器的图片加上一些噪声然后一样地通过编码器再通过解码器目标是还原出加入噪声前的图片。 BERT模型也可以当做为一个去噪自编码器输入时我们会加入掩码掩码就是噪声。
自编码器可应用于特征解耦feature disentanglement解耦是指把一堆本来纠缠在一起的东西把它解开。如果是图片的话就是把一张图片变成一个编码再把编码变回图片既然这个编码可以变回图片代表说这个编码里面有很多的信息包含图片里面所有的信息。举例来说包含图片里面的色泽、纹理等等。在语音上语音的编码包含了语音里面所有重要的信息可能有这句话的内容这句话的语者信息。然而这些信息是全部纠缠在一个向量里面我们并不知道一个向量的哪些维度代表了哪些信息。例如100维的语音向量编码前50维代表了这句话的内容后50维代表了说话人的特征这就叫特征解耦。有了特征解耦之后如果我们现在有A和B两个不同对象说不同话的语音将其通过编码器得到的编码拿出来交换其后50维的向量再通过解码器生成我们可以得到音色的互换或者交换其前50维的向量再通过解码器生成我们可以得到语音的合成。
自编码器还可应用于离散隐表征。目前为止我们都假设编码是一个向量这样就是一串 实数编码也可以是二进制是每一个维度就代表了某种特征的有无。比如输入的图片如果是女生可能第一维就是1男生第一维就是0如果有戴眼镜就是第三维是1没有戴眼镜第三维就是是0。编码也可以是独热向量只有一维是1其他就是0。 在离散的表征技术中有一种向量量化变分自编码器vector quantized variational auto-encoder它运作的原理就是输入一张图片然后编码器输出一个向量 这个向量它是一般的向量并且是连续的但接下来有一个码本所谓码本的意思就是一排向量。这排向量也是学出来的把编码器的输出去跟这排向量计算一个相似度然后就会发现这其实跟自注意力有点像上面这个向量就是查询下面这些向量就是键 那接下来就看这些向量里面谁的相似度最大把相似度最大的那个向量拿出来再输入至解码器中。假设码本里面有32个向量那解码器的输入就只有32种可能相当于让这个编码没有无穷无尽的可能只有 32 种可能而已。这种技术在语音中码本可以学到最基本的发音部位相当于英文的音标或者中文的拼音而这个码本里面每一个向量它就对应到某一个发音就对应到音标里面的某一个符号。
1.4 概率论复习一
为了更好地了解VAE和Diffusion模型的原理并结合信息论前置课程的需要我将分几次对概率论与数理统计的知识进行复习。
总结
本周的学习加强了对生成对抗网络及其在无监督学习中的应用的理解并深入探讨了自编码器在特征提取和表示学习中的作用。VAE和Diffusion模型中涉及分布的理解和推导通过对概率论的复习为后续学习更复杂的深度学习模型打下了坚实的理论基础。
