有什么公司建网站,免费模板网站word,wordpress 分享代码,如何建立网址原文来自科学空间苏剑林 “闭门造车”之多模态思路浅谈#xff08;一#xff09;#xff1a;无损输入和“闭门造车”之多模态思路浅谈#xff08;二#xff09;#xff1a;自回归#xff0c;学习后总结。 文章目录 “闭门造车”之多模态思路浅谈#xff08;一#xff…原文来自科学空间苏剑林 “闭门造车”之多模态思路浅谈一无损输入和“闭门造车”之多模态思路浅谈二自回归学习后总结。 文章目录 “闭门造车”之多模态思路浅谈一无损输入文本和图像生成的区别图像离散化套文本生成框架压缩序列造成信息损失将图像视为连续型向量无损压缩Patch输入后的操作 “闭门造车”之多模态思路浅谈二自回归图像生成中的“无损”是什么要求图像自回归生成AutoRegressive加入噪声让 p ( x t ∣ x t ) p(x_{t}|x_{t}) p(xt∣xt)接近高斯分布加噪后的效率问题和解决思路分patch排序方便自回归学习 “闭门造车”之多模态思路浅谈一无损输入
文本和图像生成的区别
文本生成的研究方向是设计语言模型建模条件概率 p ( x t ∣ x 1 , . . . , x t − 1 ) p(x_{t}|x_{1},...,x_{t-1}) p(xt∣x1,...,xt−1)。不同的语言模型都是为了与该条件概率近似。对于离散的句子 ( x 1 , x 2 , . . . , x l ) (x_{1}, x_{2},..., x_{l}) (x1,x2,...,xl)每个 x t x_{t} xt都来自有限词表条件概率本质是分类在神经网络拟合之下任何分类任务都能精确建模。 词表Vocabulary有限的集合包含了所有可能的token词表将文本中token映射到唯一的索引 码本codebook有限的集合包含了所有可能的向量码本将连续的潜在表示映射到离散的向量索引 图像生成并无清晰的研究方向不同的模型建模理论也并不相同。造成图像生成手段多样化的根本原因是对连续变量进行概率建模的困难性。若以文本的思路对图像进行建模图像可看作连续型向量 ( x 1 , x 2 , . . . , x l ) (x_{1}, x_{2},..., x_{l}) (x1,x2,...,xl)概率密度必要条件是非负且 ∫ p ( x t ∣ x 1 , . . . , x t − 1 ) d x t 1 \int p(x_{t}|x_{1},...,x_{t-1})dx_{t}1 ∫p(xt∣x1,...,xt−1)dxt1。神经网络可以拟合函数但不能拟合概率密度。
图像离散化套文本生成框架
图像在像素空间上可以看作离散的 n × n n\times n n×n的图像可以看作长度 3 n 2 3n^{2} 3n2vocab_size是256的句子套用文本生成框架能work比如PixelRNN、PixelCNN和Sparse Transformer。
在像素空间操作序列长生成慢考虑“先压缩后生成”。利用AutoEncoder压缩序列长度同时要保证离散性就不能用VAE而要用VQ-VAE、VQ-GAN等。VQ-VAE/GAN就相当于“图像Tokenizer”的角色压缩后可通过Decode恢复原始图片比如LWM和AnyGPT。 VAE压缩序列潜在空间是连续的使用正态分布的推断来生成潜在变量。 VQ-VAE压缩序列潜在空间是离散的使用向量量化来替代VAE中的连续潜在表示避免了VAE中可能存在的潜在空间重参数化问题。文本tokenizer将连续文本转换为离散的符号序列图像tokenizer将连续的像素空间映射到离散的符号空间。 压缩序列造成信息损失
对于 64 × 64 64\times 64 64×64的ImageNet图像平均总信息熵 64 × 64 × 3 × 3 64\times64\times3\times3 64×64×3×3bit对于vocab_size为V的词表想要将编码长度压缩为L实现无损压缩至少满足 L × l o g 2 V ≥ 64 × 64 × 3 × 3 L \times log_{2}V \ge 64\times64\times3\times3 L×log2V≥64×64×3×3在实际应用中若压缩到 16 × 16 16\times16 16×16那么V至少是 1 0 43 10^{43} 1043量级必然会产生信息损失。
无损压缩必然是需要精益探索的。
将图像视为连续型向量无损压缩
离散型和连续型生成有所不同离散型自回归生成的熵源是seq_len和vocab_size而vocab_size的贡献是对数增长的贡献小所以主要靠seq_len但是seq_len等价于成本序列越长熵越大计算步骤和推理时间更多所以离散型的熵源是昂贵的基于变换的连续型生成的熵源是高斯噪声原则上可以无穷无尽是廉价且可并行的。因此扩散模型导出可逆ODE方程将标准高斯分布映射为目标分布可获取等多熵源。 高斯噪声从正态分布中采样的随机数连续分布有无穷多的取值 任何编码手段都可能会造成失真因此将原始图像切成patch输入是较为稳妥的方法输入原图才能保证信息的完整。要让模型具备图像生成能力还需考虑到语义一致下细节差异通过加噪和去噪调节。 多模态生成。文本生成token by token图像生成并行。比如Transfusion、Show-o Patch输入后的操作
直接用原始patch作为输入 保留更多信息。避免特征间的孤立。
用预训练的编码器特征作为输入 在LDM的自编码器降维后的特征空间进行扩散
“闭门造车”之多模态思路浅谈二自回归
根据一可知离散化有严重的信息损失输入连续性特征是更有前景的方案但是连续性输入会增加图像生成的难度。只有离散化才能套用文本的自回归框架。
目标1. 寻找更好的离散化方式信息损失少 2. 设计适合图像连续型输入的自回归框架
图像生成中的“无损”是什么要求
不同的Patchify可能会有不同程度的信息损失其中VQ的信息损失往往是最严重且最明确的。如果图像在输入模型之前就有明显信息损失那么必然会限制模型的图像理解能力。所以为了更好地适应各种图像理解任务多模态模型理想的图像输入方式应该就是尽可能无损的连续型特征由模型自己在计算过程中根据上下文决定要损失什么。自适应、动态地选择
图像自回归生成AutoRegressive
DDPM本质是自回归模型将单个图像设定为 x T , x T − 1 , . . . , x 1 , x 0 x_{T},x_{T-1},...,x_{1},x_{0} xT,xT−1,...,x1,x0建模 p ( x t − 1 ∣ x t ) p(x_{t-1}|x_{t}) p(xt−1∣xt)这一过程本质上也是Teacher Forcing所以也有Exposure Bias问题。 可能解决Exposure Bias的方法Scheduled Sampling、Curriculum Learning、Reinforcement Learning和Beam Search 为什么Teacher Forcing存在Exposure Bias问题Teacher Forcing模式在训练过程中输入是真实的前 t−1个元素来自训练数据预测第t个数据与真实值计算损失。但在推理时需要根据生成的内容逐步预测下一个元素。导致训练和推理的输入分布不一致推理时受生成的低质量内容干扰导致错误累积生成效果变差这就是Exposure Bias。 因此对于图像来说问题并不是该不该做自回归而是以何种方式来更好地去做自回归。它的作用不仅是为多模态模型赋予图像生成能力而且还是一个重要的无监督学习途径。
加入噪声让 p ( x t ∣ x t ) p(x_{t}|x_{t}) p(xt∣xt)接近高斯分布
扩散模型的核心思想正是“通过渐进式加噪让平方误差成为合理的损失函数”对整张图片加噪当然也有对patch加噪的。
加噪后的效率问题和解决思路
学习效率这种t−1时刻的加噪图预测t时刻的加噪图的训练目标需要对噪声进行双重采样这会导致更大的训练方差需要更多的训练步数才能把这个方差降下来经过一系列降方差技巧后更高效的方式是直接预测原图。
计算效率假如每个Patch通过加噪变成T个Patch那么序列长度就变为原来的T倍这样一来训练成本和推理成本都会显著增加。
1、扩散模型的理论和实践告诉我们要预测xt的话只用xt−1就够了可以忽略更早的输入这意味同一个Patch的不同加噪结果之间不需要相互Attend2、出于减少冗余的考虑对于不同Patch之间的预测以及后面文本Token的预测我们只需要Attend到没加噪的Patch。
如果允许两个不同的模型串联但仍然可以端到端训练那么我们还可以把扩散模型单独分离出来Transformer只负责处理没有噪声的PatchTransformer的输出则作为扩散模型的条件如下图所示 分patch排序方便自回归学习
大部份Patchify方法的输出特征依然保留了这个二维性质而自回归生成则是单向的所以需要指定一个生成顺序。常见的顺序比如 1)从左往右再从上往下 2)从中心到四周螺旋 3)从左上角出发走“Z”字 等等。“分Patch排序”是将图像解构为一个可供自回归学习的一维序列的过程更通俗点就是将图像从二维序列转成一维序列。
