企业门户网站建设方案后台管理,地方网站成本,全球设计公司排名,当下 如何做网站赚钱1、背景
蛋白质是生物体内一类重要的生物大分子#xff0c;其结构复杂多样#xff0c;蛋白质的结构对于理解其功能和参与的生物学过程具有重要意义。从生物学角度上看#xff0c;蛋白质的结构可以分为四个层次#xff1a;初级结构、二级结构、三级结构和四级结构。 初级结…1、背景
蛋白质是生物体内一类重要的生物大分子其结构复杂多样蛋白质的结构对于理解其功能和参与的生物学过程具有重要意义。从生物学角度上看蛋白质的结构可以分为四个层次初级结构、二级结构、三级结构和四级结构。 初级结构初级结构是蛋白质的氨基酸序列即蛋白质由多个氨基酸按照特定的顺序连接而成。氨基酸是蛋白质的基本组成单位共有20种常见氨基酸它们的不同排列形成了蛋白质的初级结构。 二级结构二级结构是蛋白质中局部区域的空间排列方式。常见的二级结构包括α-螺旋和β-折叠。α-螺旋是由多个氨基酸沿着螺旋状排列而成而β-折叠是由氨基酸链的不同区域之间的相互作用形成的折叠结构。 三级结构三级结构是整个蛋白质分子的空间结构。这个结构由蛋白质的二级结构在整个分子中的排列和折叠所决定。各种相互作用力如氢键、离子键、范德华力和疏水效应等参与了蛋白质分子的三级结构的稳定。 四级结构四级结构是由多个蛋白质分子相互组合而成的复合体通常称为蛋白质的多聚体。多个蛋白质分子通过各种力和作用结合在一起形成功能更为复杂的生物大分子。
其中初级结构一般可以通过Edman降解法和质谱法进行确定而二级结构及三级结构通常需要如X射线晶体学、电镜等高度专业的设备和技术来确定其需要极高人工及金钱成本。而AlphaFold通过深度学习技术解决蛋白质的二级结构及三级结构的预测问题极大地提高了蛋白质结构解析效率因此也被认为是诺奖级跨时代的工作。
2、特征输入
前文我们提到AlphaFold根据深度学习技术通过输入蛋白质一级结构来解析二级结构及三级结构而一级结构为一组蛋白质氨基酸序列但是AlphaFold的特征并不只是输入蛋白质氨基酸序列而包含了多种相关信息。 单氨基酸序列target_feat其中f为21维氨基酸的one-hot向量20种常见氨基酸1种未知默认r表示序列长度 氨基酸序列标号residue_index 同类MSA特征msa_featMSA特征主要表示同类特征表示同类的数量r表示序列长度表示聚类特征长度 非同类MSA特征extra_msa_feat 氨基酸序列交互特征template_pair_feat主要用于反映氨基酸序列中各氨基酸之间的位置关系特征 氨基酸序列交互特征template_angle_feat主要用于反映氨基酸序列中各氨基酸本身残基的角度关系。
上述所有特征再经过一个特征预处理模块得到最终融合的MSA representation特征及Pair representation特征进入后续的编解码过程。 3、模型输出
AlphaFold的输出包含了两个部分一个是氨基酸本身的在三维空间的旋转方向关系一般通过3x3的矩阵来表示另一个是氨基酸之间的空间关系可以用一个三维向量表示因此根据数学关系一个氨基酸在蛋白质结构中的旋转空间位置关系也可以通过33的六维向量整体表示由于刚体空间结构不变性从空间某个指定位置开始已知下一个氨基酸同上一个氨基酸的空间位置关系就可以组成整个序列的空间结构因此整体的蛋白质做旋转或者位移不会对变换系数产生影响。 4、模型结构
AlphaFold的模型结构分为了两个部分分别是Encoder模块和Decode模块在Encoder模块主要是生成蛋白质的氨基酸序列的新特征表示而Decode模块输出蛋白质中各氨基酸的相对的旋转空间位置关系。
4.1 Encoder模块 4.1.1 行列门控attention模块 self-attention是一种高效的序列特征抽取器而一般的attention组件只能支持二维向量而AlphaFold通过两组attention模块分别抽取行列维向量叠加从而实现了三维的attention抽取器。
此外引入了一个门控组件其通过一个简单的线性网络来控制行列信息的引入添加该组件的一个可能原因是因为MSA是通过某种先验的聚类方法来生成的不同蛋白质之间并不像语句具有较强的信息关系因此通过门控来排除干扰信息是有必要的。
4.1.2 MSA Transition MSA Transition模块类似于Transformer结构中的attention之后FC网络。
4.1.3 Outer product mean 该模块主要通过根据MSA特征来计算不同氨基酸之间的相关性特征其会同通过template计算的初级的相关性特征进行融合之后还会经过多层结构得到更为深层次的氨基酸对之间的相关性特征表示。
4.1.4 三角乘法更新模块 如果说上面的Outer product模块建立了不同氨基酸之间的直接关系通过三角乘法更新模块主要建立了两个氨基酸之间的间接关系其通过了两个行列不同方向模块来建模两种不同的关系流向。
4.1.5 Pair行列门控attention模块 其同4.1.1 行列门控attention模块是类似的是三维的attention模块实现
4.2 解码器 解码器中的主要结构为不动点注意力模块IPA对于下图所示的IPA模块如果我们只看红色部分其是一个典型的attention模块IPA模块最大的特色是其整合了三部分的特征 目标蛋白质的氨基酸特征表示序列 氨基酸对间的特征表示序列 叠加空间位置变换后的氨基酸特征 其中第三部分叠加空间位置变换后的氨基酸特征绿色部分也是为什么被称为 IPA (Invariant point attention)的原因因此理论上可以不需要该部分直接输出结果。
因为模型需要输出是同整体全局变换无关的氨基酸之间的相对关系而如果直接生成时整体全局变换可能会影响到输出结果。因此其考虑到两个基本几何变换原理。 计算两个点之间的L2距离时对点坐标做同样的全局变换后L2距离不变。 在做多次空间变换时全局变换和全局逆变换之间的作用可以抵消。 通过每个模块产出的空间位置变化进行重复的加强叠加最终可以消除全局变换的影响有点类似于ResNet的效果
5、模型训练
5.1 损失函数
主要损失函数为FAPE损失Frame aligned point erro实际是衡量氨基酸的预测位置和真实位置之间MSE损失。
5.2 训练方法 自蒸馏学习先在PDB有label的数据集上训练一个模型然后去预测一个更大的没有label的数据集将其中预测比较置信的数据筛选出来和之前有label的数据拼成一个更大的数据集再重新训练一个模型这样循环训练多次达到充分利用数据的目的。在扩充没有label的数据集的时候会有一些加噪声的细节例如对预测的label做一些扰动。 自监督学习类Bert训练在MSA序列特征随机屏蔽mask或变换一些氨基酸元素然后像Bert一样去预测这些元素在训练的时候加上这个任务会对整个序列建模的效果起到更好的作用。
