自适应网站如何做mip,律师网站维护,做公众号和网站一样吗,国家对网站建设补助小罗碎碎念
今天这篇文章选自21年5月发表的nature medicine#xff0c;标题名为——Deep learning in histopathology: the path to the clinic#xff0c;这篇文章也是我规划的病理组学文献精析的第三篇#xff0c;如果你能坚持把七篇都看完#xff0c;相信你脑海中一定会…小罗碎碎念
今天这篇文章选自21年5月发表的nature medicine标题名为——Deep learning in histopathology: the path to the clinic这篇文章也是我规划的病理组学文献精析的第三篇如果你能坚持把七篇都看完相信你脑海中一定会搭建起一个关于病理组学的完整架构这对于你以后从事多模态多组学的研究至关重要
人工智能在病理组学中的发展历程概述24年6月·顶刊速递·06-04 先别急着滑走不要想着现在是2024年不稀罕看三年前的文章。经典的文章值得反复品味尤其是高质量的文章解读这和你读史书是一个道理。小罗六点起床写了两个多小时你看完可能只需要半个小时就能大概拿下这篇文章血赚啊。 一、引言 在过去的五年里人工智能AI领域的突破对全球社会产生了重大影响。 在医学领域特别是在诊断学科如放射学和病理学中将AI应用于患者数据的初步结果是非常有希望的1-3。诊断学科通常严重依赖于医生对数据如图像中模式的识别以及将这些模式在患者更广泛的背景中的解释。然而对于许多诊断任务医生之间的复现性并不理想4,5。
此外由于治疗方案的增加需要更准确的诊断以满足精准医疗的要求这可能会超出人类视觉检查的能力6。因此使用AI检测并准确量化医疗数据中的模式可以辅助诊断过程使其更加高效和可复现并提高准确性和精确性。
在病理学组织切片分析方面AI的应用特别有吸引力目前这需要专业的医生、病理学家仔细评估有时是大量千兆像素大小的图像。病理学家根据各种组织特征例如组织结构的紊乱特定细胞特征的存在或缺失例如炎症细胞的丰富诊断和分级疾病如癌症和炎症性疾病。随着病理学家的短缺情况日益严重他们的工作量因病例数量的增加而增加需要更广泛的诊断来确定对患者的最佳治疗方案。 使用AI分析组织切片通常被称为计算病理学CPATH7,8见Box 1目前的运用主要依赖于深度神经网络所谓的深度学习。 Box 1 提供了与深度学习和计算病理学CPATH相关的关键术语的定义。 以下是对这些术语的分析 深度学习 (Deep learning): 这是一种机器学习方法通过将多层人工神经网络暴露于大量训练数据中来训练特定任务的算法无需手动提取数据特征。结果是算法学习到数据的层次化表示这可以用于分类、检测或分割等任务。深度一词指的是使用许多层构建的人工神经网络即深度神经网络。 数字病理学 (Digital pathology): 这是通过使用全切片扫描仪和计算机屏幕来数字化传统的显微镜分析细胞和组织的诊断过程。 计算病理学 (Computational pathology): 这是对通过扫描细胞和组织切片获得的数字图像进行计算分析。 放射组学/病理组学 (Radiomics/pathomics): 这些技术使用计算算法从放射学或组织病理学数字图像中提取大量特征。这些特征随后用于为临床相关的终点如预后提供信息的预测模型。 端到端训练 (End-to-end training): 在机器学习模型的上下文中端到端训练指的是同时学习模型所有参数的最优值而不是顺序地即一步一步地进行。 全切片图像 (Whole-slide images): 这是通过使用高分辨率扫描仪数字化完整的组织病理学玻片获得的数字图像。 卷积神经网络 (Convolutional neural networks): 这是一种深度学习方法由一系列卷积层组成用于处理数据通常是二维的从输入到输出。每层实现输入数据和一组滤波器即小矩阵之间的卷积操作其数值在端到端训练过程中自动学习。 图形处理单元 (Graphics processing units): 这是一种专门为同时处理许多数据样本如数字图像的部分或从图像中提取的特征而设计的微处理器。 图像分割 (Image segmentation): 这是将图像的语义内容分解为多个部分的操作其中每个部分包含属于同一语义类别的像素例如肿瘤区域。 U-Net模型 (U-Net models): 这是一款基于两个卷积神经网络的深度学习模型一个用于将输入图像编码为一组特征另一个用于将这些特征解码以产生分割输出。名字来源于2015年Ronneberger等人引入的两个卷积神经网络形成的U形其中编码器和解码器通过跳跃连接相连。 数据增强 (Data augmentation): 这是人工修改输入数据的某些属性例如图像对比度、方向、颜色等的操作目的是用同一数据的多个变体来喂养计算模型。 模型正则化 (Model regularization): 在机器学习中这指的是约束模型参数到较小值的过程以阻止复杂模型从而减少过度拟合训练数据的风险。
这些定义为理解深度学习在组织病理学图像分析中的应用提供了基础涵盖了从数据预处理到模型训练和验证的整个流程。 计算病理学CPATH领域的研究始于20世纪60年代最初是将图像分析算法应用于细胞图像。 例如可以根据定量细胞特征如大小、形状和染色质分布将血液涂片中的单个细胞分类到亚型以分析血液组成并帮助诊断多种疾病9。
早期的CPATH应用试图实施计算特征这些特征与生物过程或形状痛苦地匹配后来被使用纹理描述符即图像纹理特征的定量描述如方向、对比度等的放射组学或病理组学方法所取代10这些方法假设复杂的分类器最终可以在这些特征之间找到特定分类任务例如ref. 11的复杂关系。
例如Kather等人表明结合五种不同类型的纹理描述符得到了一个可以以98.6%的准确度识别结直肠组织切片中的肿瘤和间质的分类器12。 几乎完全从特征工程过渡到深度学习的原因。 对于医学成像因此也包括CPATH也许最重要的原因是通过训练而不是显式编程或使用预定义的滤波器构建算法几乎完全可以得到强大的、分层的特征表示在大多数情况下这超过了更传统的图像分析方法3。
因此为了获得好的结果需要领域知识的必要性减少了因为特征工程需要定义特定问题的特征而在深度学习中网络会从数据中自主学习有意义的特征。从数据中自动学习特征也减少了实施时间。
在特征工程中为手头的数据制作有意义的特征通常需要每个特征进行多次迭代有时还需要与病理学家进行长时间的反复讨论以了解他们在诊断过程中使用的线索。在深度学习时代这样的轨迹可以减少到几个月有时甚至几周同时在诊断性能方面打破界限。 二、计算病理学CPATH的发展趋势 计算病理学CPATH在过去十年中取得了实质性进展这得益于显微镜扫描设备的显著改进、计算硬件的发展和成本降低以及人工智能AI的进步——这些改进使得获取全切片图像WSIs成为可能。 该领域遵循了计算机视觉社区之前经历的趋势后者专注于对自然图像即现实世界的照片和视频的计算分析。
2011年关于使用图形处理单元GPUs15有效地训练卷积神经网络CNNs的初步报告这是一种特殊的深度学习算法导致了更深层CNN的设计这些网络在自然图像分类方面超越了当时的先进水平主要使用基于手工制作特征的机器学习。特别是在ImageNet挑战中要求将一百万张照片分类到一千个不同的类别中从特定品种的狗到飞机和汽车这些新的深度神经网络在短短三年内将错误率从25%降低到4%。
CPATH研究人员注意到了在计算机视觉中应用CNN的成功最初提出的方法仅专注于分析WSIs的小裁剪区域如细胞分裂计数16。随后使用整个WSIs的方法被用于诸如乳腺癌分割17、胶质瘤分类18、非酒精性脂肪肝病19、肾移植活检评估20和前列腺癌检测21等应用。 随着在组织病理学中更先进AI模型的发展要解决的任务的复杂性和公开可用数据集的大小开始增长。 2016年提出了CAMELYON挑战旨在开发CPATH解决方案以检测乳腺癌转移在哨卫淋巴结中的存在。 CAMELYON数据集的引入是CPATH领域的一个游戏规则改变者因为它首次使研究人员能够访问到最大的n1,399完全手动注释的乳腺癌患者哨兵淋巴结的WSIs集合。挑战赛的参与者必须解决两个旨在模仿病理诊断中常规任务的任务在每个淋巴结中找到肿瘤区域并因此预测在WSI层面上肿瘤的存在。 三、计算病理学CPATH在临床实践中的应用 CAMELYON挑战为研究人员和行业提供了一个关注CPATH应用在病理临床实践实际影响的刺激。 当前的应用包括肿瘤检测和分类通常按亚型23,25–39、图像分割40–50、细胞检测和计数51–55、有丝分裂检测56–60、肾移植活检分析20和肿瘤分级61–63等。
图1展示了一个使用U-Net模型组合进行自动组织分割的CPATH应用示例以及相应的真实情况。
图1a显示了周期性酸–希夫染色的肾活检的放大区域其中可以识别出肾小球、肾小管、毛细血管等。 在图1b中展示了用于验证CPATH解决方案输出紫色肾小球蓝色近端肾小管橙色远端肾小管绿色萎缩肾小管等的专家注释。 图1c显示了CPATH模型的输出与人类注释非常吻合。 在临床实践的背景下自动化重复性和耗时的任务如对活检和切除淋巴结获得的组织样本的分析可以极大地影响病理学家的临床工作负荷的优化。 由于人口筛查计划大量采集乳腺、结肠和宫颈的组织样本每位患者在手术中切除大量淋巴结导致病理学家需要检查大量大多数为阴性的切片。在这些情况下AI算法可以标记可疑区域或切片以供检查或在未来自主评估病例。
除了自动化当前的诊断任务外CPATH方法还可以通过提供额外信息来支持病理学家
显示乳腺癌WSIs中需要用于肿瘤分级的有丝分裂细胞的2平方毫米热点使用不同颜色突出显示前列腺癌的不同格里森分级4,66通过CPATH方法突出显示肺癌症生长模式按腺癌亚型分类38,67
此外分割、检测和分类方法的结合可以使临床实践中使用的已建立生物标志物的客观量化成为可能。一个例子是肿瘤浸润淋巴细胞的评估68这可以通过分割切片的间质区域并通过苏木精和伊红HE染色53,69或免疫组化IHC52检测间质内淋巴细胞来实现。
使用这种方法可以发现肿瘤浸润淋巴细胞的存在的与肺腺癌的复发和基因突变相关70。其他生物标志物的例子包括与肿瘤内间质量相关的标志物71如肿瘤-间质比率72这可以通过计算通过图像分割获得的肿瘤与肿瘤相关间质的比率来进行评估以及程序性死亡配体1PD-L1阳性细胞的量化这用于对患者进行免疫治疗分层可以通过检测阳性和可能的阴性细胞通过分割PD-L1阳性和PD-L1阴性区域73或甚至从HE切片预测74来实现。 四、大规模数据集在计算病理学中的应用 早期CPATH应用的结果令人鼓舞数据集的大小不断增加导致越来越多的多中心努力来应对不同实验室之间在染色、图像质量、扫描特性和组织准备方面的巨大变异性。 例如在前列腺癌检测中使用AI的一个方法2016年开发时使用了一个包含254个前列腺组织样本的数据集而2019年提出的一个方法使用了包含超过24,000个前列腺组织样本的数据集75。随着数据集规模的增大CPATH方法开始接近甚至超过病理学家的表现4,5,76。
然而尽管收集大量WSIs对于病理实验室和医疗中心来说是一项可管理的任务但收集注释仍然是CPATH算法扩展的障碍。注释可能意味着图像区域的手动注释例如识别组织区域或特定细胞类型的位置和临床注释例如评估分子亚型、治疗反应和生存期。
获取图像的手动注释是一项繁琐的任务需要专业知识通常由住院病理学家执行。相比之下临床注释需要访问病理报告和电子患者记录可以从医院以获取关于等级、分子亚型或治疗反应的信息或从区域或国家登记处以获取关于生存期的信息获取并且只能由授权的临床研究人员或数据管理员提供。与手动注释相比临床注释更容易实现并且在一些研究中已经导致了大规模数据集的产生例如前列腺癌75、肺癌26和结直肠癌77。
然而仅使用临床注释来构建CPATH模型对于组织病理学中的每个应用都不可能或有效。例如如果对某个诊断至关重要的特征仅存在于WSI的非常小的区域中可能需要大量的案例CPATH模型才能学会执行该任务。因此仍然需要手动注释这需要开发技术以促进这些注释的高效生产。 为了解决大规模数据集中对手动注释的需求已经提出了几种方法。 一种直接的方法是简单地通过涉及大量专家来增加注释者的数量。这种方法保证了高质量的注释但由于涉及大量有经验的医生因此非常昂贵。
2020年的一项研究采用了这种方法其中12名资深病理学家参与了详尽地手动注释超过2,000张胃癌WSIs所有参与专家的一致性被用作参考标准78。TUPAC挑战赛在2016年也采用了类似的方法通过结合一组病理学家的意见来定义有丝分裂检测的参考标准56。
另一种方法是使用不同专业知识水平的人员集进行手动注释范围从医学生到初级和资深病理学家53,79,80。以前使用这种方法的研究通过Mechanical Turk等基于网络的平台众包了手动注释79,80。然而在所有情况下手动注释最终都由住院病理学家审查和批准。 诸如IHC之类的染色技术其中抗体可用于靶向特定类型的组织或细胞也可能为手动注释提供宝贵的支持 CAMELYON挑战赛在乳腺癌转移至淋巴结的手动注释中采用了这种策略其中两个连续切片分别用细胞角蛋白CK和HE染色并使用CK指导手动注释过程22。
这种方法的优势在于为注释者提供强烈的监督并避免在注释参考标准中的假阴性和假阳性。另一种有用的技术是重新染色它提供了与连续切片相比的替代方案并使同一切片随后用例如HE和IHC染色并通过注册算法对两个数字化切片进行对齐。
这种技术保证了两个切片中恰好存在相同的细胞和组织隔室并且IHC中的阳性标记可以转移到HE实际上为自动生成准确的注释提供了坚实的基础。这种方法已被用于使用磷组蛋白H3作为参考标准的有丝分裂细胞的检测57使用CK作为参考标准的前列腺上皮的分割81以及使用CK和Ki67ref. 82检测乳腺癌中的上皮细胞。
重新染色技术使案例数量可以在相对较低的成本和最少的人类专家互动的情况下扩展从而减少了由于观察者间不一致性导致的变异性这是在诸如有丝分裂细胞检测57等应用中的一个众所周知局限性。 五、弱监督学习在计算病理学中的应用 为了减少手动注释的负担另一种方法是考虑使用弱监督的CPATH算法。 在图像分割的背景下弱监督可以以稀疏手动注释的形式出现例如使用点或涂鸦标注仅小的区域而不是通过密集注释进行完全监督——图像的所有像素都需要手动标记83,84。
多个研究团队已经证明结合模型开发中的高级学习策略弱监督可以接近完全监督系统的性能尤其是在稀疏和密集注释相结合的情况下。基于这一理念弱监督已经用于解决CPATH方法中的分割和检测问题43,50,60,85–87。 在弱监督的WSI分类例如对整个WSI进行单一预测中对于模型开发只提供每个图像的一个标签即切片级标签不再适用于基于手动注释的方法。 这种设置在可扩展性方面具有吸引力因为临床注释中包含的信息通常足以定义图像级别的目标例如WSI中是否存在癌症而不需要对癌症区域进行手动注释。
此外临床注释通常可以从病理报告和健康记录中提取88,89开辟了一条新的途径用于自动分析这些报告和提取标签有可能扩展到数千个案例这是不可能通过手动注释实现的。例如这种类型的挑战被作为2016年TUPAC竞赛的一个任务提出参赛者被要求根据临床注释例如分子测试预测乳腺癌WSI中的增殖评分这在WSI中是无法通过手动注释确定的56。 从技术上讲WSI分类与计算机视觉中的图像分类没有区别——后者利用CNN端到端训练以预测自然图像中类别存在的图像级别标签。 然而端到端训练的方法不能直接应用于WSI分类主要是因为千兆像素的WSI太大无法适应现代GPU的内存。即使切换到中央处理器计算也无法解决这个问题因为单个WSI在完整分辨率下可能需要数十GB的内存。 研究人员试图通过不同的方法创新来克服这一限制。 一种简单的方法是假设WSI中的所有补丁都包含与WSI级别标签相关的形态信息例如从包含肿瘤的WSI中提取的所有补丁也包含肿瘤。尽管这个假设很简单但它对于某些应用是有效的26,90尽管在需要找到罕见或小型物体时例如淋巴结中的小型转移它将不起作用91。
可以通过采用多实例学习方法来细化这个假设其中至少图像中的一个小型区域被认为包含用于分类图像的所需形态信息例如图像中存在一个包含癌症的小型区域足以将整个WSI标记为包含癌症75,93,94。
另一种使WSI的端到端训练成为可能的方法是直接解决大型WSI作为主要限制的问题目标是使输入大小变小以便WSI可以被现代硬件处理。最近的一些方法基于这个想法依赖于使用神经网络对WSI进行压缩95假设可以在整个WSI的压缩版本中保留语义信息然后可以用于下游分类任务同时减少数据大小。
近年来提出了一系列CPATH方法其中一些使用端到端学习通过提供目前仅通过仅视觉检查组织病理学切片无法捕获的信息进一步提高了病理学家的表现例如预测化疗或免疫治疗的反应甚至预测未来的事件如复发或生存期97–104以及基因突变的存在95,105–110或分子亚型30,111,112。
这些CPATH技术可能在发现预测和预后生物标志物方面发挥作用也可能有助于了解肿瘤生长机制。 六、目前面临的挑战
尽管在过去五年中计算病理学CPATH在算法性能和新型方法论的开发方面取得了重大进展但仍然存在许多挑战例如缺乏真正代表临床实践的公共数据集、CPATH算法工作原理的可解释性不够……
在本节中小罗将归纳一些重要的挑战并概述已经完成的工作如何解决上述面临的这些问题。 6-1计算病理学CPATH算法在临床实践中的泛化能力 尽管在过去几年中用于开发CPATH算法的数据集大小已经显著增加但许多数据集仍缺乏一个重要特征即它们并不代表临床实践中遇到的数据类型114——临床实践中遇到的数据包含的变异源比研究论文中使用的数据要多得多。 尽管目前的工作试图通过包括来自不同实验室的数据来考虑不同扫描器或染色技术引起的变异但纳入的实验室数量通常太小无法对泛化能力进行真正的评估115。需要纳入的实验室数量将取决于诊断问题到目前为止CPATH在这一方面尚未得到充分研究。
其他变异源尚未在CPATH中得到考虑例如不同中心或国家之间患者人群的差异尽管它们在其他领域如放射学中已经开始受到关注116。这种变异可能会在CPATH算法中引入微妙的偏差如在其他情况下所见117。
这些泛化问题在CPATH算法在源数据上表现最佳但在其他数据源上表现有时显著较差这一众所周知的现象中得到了突出体现。例如将用于检测前列腺癌的训练模型应用于同一数据集中但使用不同WSI扫描器重新扫描的WSI时曲线下的面积减少了2.65%而当应用于外部数据集的WSI时模型性能下降了5.84%75。在存在外部测试数据的情况下其他研究中也发现了性能下降的例子61,118,119。算法的泛化能力有限可能是CPATH技术在临床中大规模实施的主要障碍。 为了使CPATH算法尽可能地对真实实践中可能遇到的变异具有鲁棒性建立一个包含尽可能多变异的训练集至关重要包括来自不同染色批、扫描器和医疗中心的数据。 可以通过数据增强技术引入额外的人工变异特别是关注颜色增强以模仿不同病理学实验室之间的染色差异在训练过程中可以通过应用随机旋转、翻转、添加噪声、模糊和颜色变换等方式在用于训练之前对图像补丁进行转换。
另一种方法是使用图像标准化到共同标准来处理不同数据源之间的变异118,121–124。假设如果可以去除变异并将所有未来的目标图像转换到明确定义的标准主要是颜色规范那么即使是在狭窄的训练图像集上构建的CPATH算法也会表现一致良好。这种方法的成本是在应用CPATH模型之前需要对每个目标图像进行转换这可能会计算上代价高昂。数据增强和图像标准化都是提高深度学习模型泛化能力的关键要求120因此在开发任何CPATH方法时都应予以考虑。 另一个需要解决的重要问题是CPATH算法只会识别它被训练去识别的模式。 例如如果一个用于检测淋巴结中乳腺癌转移的算法遇到淋巴瘤结果将是不确定的。如果这样的算法被用于过滤出明显阴性的WSI无淋巴结转移这些WSI不需要由病理学家检查那么严重的疾病可能会被遗漏。
一种可能的解决方案是训练算法以识别所有可能的病理学然而在大多数情况下这种方法可能是不切实际的甚至是不可能的。
另一种方法是开发CNN技术除了网络输出之外还产生一个表达CNN对特定输出的确定性的分数125,126这将使CNN能够实质上声明“我不知道”。 6-2计算病理学算法的验证 关于使用深度学习开发和验证计算病理学CPATH算法的详细流程图。 这个流程图通过不同颜色的盒子垂直展示了验证的不同级别包括训练期间的验证、内部和外部验证以及前瞻性验证/临床试验。
典型的深度学习工作流程中的连续活动以深色盒子显示相应的产出则在左侧的白色盒子中展示。箭头指示了哪些产出是活动输入。 以下是流程图中主要步骤的分析 数据收集这是算法开发的起点需要收集用于训练和验证的大量数据集。 地面真实性生成Ground truth generation在训练模型之前需要创建一个地面真实性数据集这通常涉及专家对图像进行注释以确定模型应该学习识别的目标。 深度学习模型训练Deep learning model training使用收集的数据和生成的地面真实性来训练深度学习模型。 内部验证Internal validation在模型训练过程中使用一部分数据验证集来监控模型性能确保模型不会过度拟合训练数据。 性能统计Performance statistics评估模型在内部验证集上的性能这通常涉及计算准确率、召回率、F1分数等统计指标。 强/弱图像标签Strong/weak image labels这指的是在训练和验证过程中使用的图像标签的强度强标签提供更多细节而弱标签提供较少信息。 外部验证External validation在模型完成内部验证后使用来自不同数据源的独立数据集对模型进行外部验证以测试其泛化能力。 前瞻性验证/临床试验Prospective validation/clinical trial这是算法开发和验证流程中的最后阶段模型将在实际临床环境中进行测试以评估其实际应用价值。 模型开发Model development根据训练和验证的结果进一步调整和优化模型。
流程图中的箭头显示了不同步骤之间的依赖关系即每个步骤的产出是如何作为下一个步骤的输入。这个流程图强调了在CPATH算法开发过程中需要经过多个阶段的验证以确保算法的准确性、可靠性和临床适用性。通过这样的流程研究人员可以确保算法在真实世界的应用中能够提供高质量的诊断支持。 通常CPATH算法在开发过程中会通过多种方式进行验证。作为算法构建的实际部分训练过程会使用一组被分离出来的案例进行监控这些案例不用于模型训练通常被称为验证集通常相对较小。训练数据和验证集之间结果的偏差可能表明过拟合并提示需要进一步行动例如使用额外的技术如数据增强或模型正则化或减少深度学习架构的复杂性。 许多CPATH研究使用完全独立的案例集测试集来随后评估最终模型的性能。 在大多数研究中这些案例来自同一数据源称为内部验证因此与用于训练的案例具有非常相似的特征。
如果训练数据集较小有时会使用交叉验证而不是完全独立的留出集。在交叉验证中使用不同非重叠子集的案例训练多个模型用于测试和训练并给出平均性能得分。使用与数据集其余部分分离但未用于模型训练的案例进行性能评估是到达算法实际工作效果的第一步的好做法但应被视为评估其在临床实践中的有用性的第一步。
下一步已在几项研究中使用4,71,75,103是使用与训练数据完全分离的案例集称为外部验证见图2来验证CPATH算法。这种验证可以揭示算法在新诊断情况下的表现并可能发现泛化能力的问题128,129。公开可访问的基准数据集5,56对于此目的可能非常有帮助因为它们允许不同CPATH算法之间的公平比较115。此类数据集也可能支持监管审批130。
然而即使在外部数据集上表现良好也不能证明算法的临床有用性也不应被视为或报告为临床有用性131。关于AI在医疗领域承诺的炒作实际上可能来自对外部验证研究结果过于乐观的解释。正如任何医疗创新一样需要进行精心设计的前瞻性研究以提供理解CPATH深度学习算法真正附加价值的证据并为临床实施铺平道路115,131。 随着CPATH解决方案自主性的增加也将需要更严格的临床验证和监管审批132。 可能影响诊断决策的技术而不是仅仅提高效率可能需要在随机临床试验中进行研究这对于AI应用来说仍然非常罕见133。理想情况下此类试验将使用临床结果作为终点以证明长期效果115并应用如TRIPOD-AI134等标准化报告方法该方法目前正在开发中。
另一个需要考虑的重要问题是在评估CPATH算法时所应用的质量衡量标准——也就是说**何时算法足够好**通常CPATH算法旨在产生与病理学家使用的诊断相媲美的诊断并将CPATH算法与病理学家面板的得分进行比较通常得出结论如果性能接近病理学家的平均水平则算法可以应用于临床实践。
然而正如Campanella和同事所争论的75一个临床上有用的决策支持系统应该考虑在现实环境中病理学家并不是孤立地评估图像而是可以选择使用IHC和与同事的咨询作为诊断工作的部分。(PS现在知道为什么要卷多模态/多组学了吧因为病理学家就是这么干的)
Campanella和同事得出结论实现“100%的敏感性可接受的假阳性率”应该是实现临床级别的CPATH算法的目标。而不是定义临床有用性的阈值关于CPATH真正临床价值的结论只能从包括整个诊断过程的前瞻性试验中得出包括使用现有的报告标准115,131。在可以证明这种有用性之前关于CPATH对诊断的影响的广泛结论应该避免因为它们可能导致过于乐观的看法。 七、未来发展方向 尽管在许多研究中显示了深度学习CPATH算法的有希望的结果但区分希望与炒作还为时尚早。 尽管希望是由不断增加的准确性的CPATH算法推动的这些算法在病理学领域的许多领域具有潜在的帮助病理学家在临床实践中工作的能力但炒作往往导致一个问题即AI是否会取代病理学家。
鉴于这个问题重要的是要意识到病理学家执行任务的广泛性病理学家不仅仅是在显微镜下分析一块组织他们还将来自不同临床数据源的信息整合起来结合他们对疾病的理解、诊断过程和患者的特定情况然后与临床医生和其他医生以及越来越多的患者解释分析结果。
因此重要的是要强调病理学家不太可能很快被AI算法取代。 相对较快可以实现的是AI算法与病理学家合作而不是作为独立解决方案以消除需要费力、重复的工作。 例如识别淋巴结转移5或者提高诊断分级的质量4,66——在这种情况下重要的是要区分高收入国家如美国或荷兰以及低收入或中等收入国家如中国或印度。
前者通常有足够的病理学家来应对他们目前的工作量尽管预计在不久的将来工作量将成为一个问题而在后者中获得病理学专业知识可能具有挑战性有时甚至是不可能的。在没有病理学家的情况下算法可以提供急需的数据来指导诊断这将是一个重要的进步。
显然在一些环境中特别是在低收入和中等收入国家的农村医院数字病理学的基础设施将带来挑战并值得注意的是最近的一些倡议正在解决这一限制这些倡议不需要完整的数字病理学基础设施即可访问CPATH算法135。 7-1可解释的人工智能XAI
基于深度学习模型的CPATH解决方案通常被描述为“黑箱”这表明由于这些系统的性质通过训练而非显式编程人类很难理解系统的具体底层功能113。因此纠正某些错误行为可能更困难人类以及监管审批的接受程度可能受到阻碍114。
这个问题促使了对可解释人工智能的研究开发了能够更好地理解深度学习模型功能的技术。目前可以照亮“黑箱”的技术状态已被广泛审查136。有趣的是那份调查的作者136得出的结论是对于“可解释”一词的确切含义没有共识因为它在不同的上下文和利益相关者中具有不同的要求。
尽管提高AI可解释性的技术将支持社区的接受但对于在CPATH解决方案集成到病理诊断的临床工作流程中时应该更注重对技术机制的精确理解而不是对系统在实际使用中的整体功能这一点是有争议的。
严格的验证和质量保证以及检查程序对于证明CPATH解决方案的正确功能至关重要无论是最初的市场进入还是未来的更新。这一主题对食品和药物管理局等监管机构非常重要后者最近提出了一项监管框架138以实施预定的变更控制计划其中制造商必须解释他们打算通过学习改变哪些方面以及算法如何学习并在保持安全有效的同时发生变化以及减轻性能损失的策略。 7-2伦理问题 患者数据的利用以及辅助诊断的机器甚至可能以部分自主方式的使用引发了一系列伦理关注。 CPATH解决方案的开发需要大量数据包括图像和相关元数据。在一般的健康护理研究和产品开发中使用人类数据会产生伦理和法律挑战这些挑战必须得到妥善处理。尊重患者隐私和获得数据使用批准是遵守法规的重要要求。
不幸的是从实际角度来看这些要求可能会减少AI开发中现有数据的重复使用选项并可能导致达到所需案例数量的增加成本。需要谨慎平衡隐私保护和数据驱动创新的好处139这需要所有利益相关者的参与。
此外为了CPATH开发所需的规模收集数据成千上万的案例这可能会被公开使情况变得更加复杂。除了数据泄露的危险外大量数据的收集可能会使研究人员能够发现以前不可能的联系即使数据以匿名方式收集也可能使患者隐私面临风险114,139。 建立大型、多中心的数据集用于机器学习的一个替代方案是应用所谓的联邦学习策略。 联邦学习将机器学习模型的训练过程调整使其能够处理位于不同位置的数据避免了将数据聚集在一起的需求从而规避了上述一些问题141,142。
2018年欧盟委员会的一个特别专家小组发布了一套关于可信AI的伦理指南143详细描述了一个框架以帮助实现合法、伦理和稳健的AI解决方案。该指南的一个重要结论是“可信AI不仅仅是关于勾选框而是关于持续识别和实施要求评估解决方案确保在整个AI系统的生命周期中改进结果并让所有利益相关者参与其中”143。如何建立数据集可能会导致偏见如果用于AI开发可能会放大社会中的不公正这一问题已经得到了广泛的描述115,117。
算法偏见并不是AI模型开发的直接后果而是此类模型的广泛部署可能会加剧“社会经济地位、种族、民族背景、宗教、性别、残疾或性取向”方面的现有不平等117。由于不可能在数据收集前预先识别不平等欧盟委员会建议持续与所有利益相关者进行讨论143这一点尤为重要。 八、总结
将人工智能应用于组织病理学图像的初步成果引发了大量的科学研究现在导致了一系列的CPATH解决方案这些解决方案在几个特定的诊断任务上与病理学家的表现相当。
除了使用AI来执行人类专家的诊断任务外我们在使用AI进行预测性特征的发现、治疗成功的预测或疾病形态表型与基因型之间的关系评估方面才刚刚开始。虽然许多技术挑战已经被克服但临床实用性尚未得到证明仍需克服许多障碍。
除了收集足够大的注释WSI集合的挑战之外还需要进行前瞻性研究以展示AI在组织病理学诊断中的真正益处。关于可解释性、伦理和监管的问题也研究不足将在未来需要更多的关注。
尽管该领域尚未完全成熟我们预计CPATH将在未来组织病理学中发挥主导作用使诊断更加高效和准确帮助病理学家满足日益增长的病人数量和更广泛、更准确的病理学评估需求以支持治疗多种疾病日益增多的治疗方案。
