安装网站时出现dir,用html做网站的步骤,旅游兼职网站建设,成都购物网站建设Deep Learning for Cardiovascular Imaging
重要性#xff1a;由深度学习 (DL) 的进步推动的人工智能 (AI) 有可能重塑心血管成像 (CVI) 领域。虽然 CVI 的 DL 仍处于起步阶段#xff0c;但研究正在加速#xff0c;以帮助获取、处理和/或解释各种模式下的 CVI#xff0c;其…Deep Learning for Cardiovascular Imaging
重要性由深度学习 (DL) 的进步推动的人工智能 (AI) 有可能重塑心血管成像 (CVI) 领域。虽然 CVI 的 DL 仍处于起步阶段但研究正在加速以帮助获取、处理和/或解释各种模式下的 CVI其中已有多种商业产品投入临床使用。心血管成像师必须熟悉 DL 系统包括对其工作原理的基本了解、与其他自动化系统相比的相对优势以及实施过程中可能出现的陷阱。本文的目标是以简单易懂的方式回顾 DL 在 CVI 中的方法和应用以揭开这项新兴技术的神秘面纱。
观察从本质上讲DL 只是一系列可调数学运算的应用这些运算将输入数据转换为所需的输出。基于受人类神经系统启发的人工神经网络有几种类型的 DL 架构适合不同的任务卷积神经网络特别擅长从 CVI 数据中提取有价值的信息。我们调查了 DL 在 CVI 模式范围内的一些显着应用。我们还讨论了 DL 系统在开发和实施过程中面临的挑战包括避免过度拟合、防止系统性偏差、提高可解释性和促进人机合作。最后我们总结了 DL 在 CVI 中的未来愿景。
结论和相关性深度学习有可能对 CVI 领域产生有意义的影响。DL 不是威胁而是可以看作心血管成像仪的合作伙伴以减轻技术负担并提高护理效率和质量。仍然需要高质量的前瞻性证据来证明 DL CVI 系统的好处可能大于风险。
几十年来自动化一直是心血管成像 (CVI) 领域不可或缺的一部分但我们正在进入一个由人工智能 (AI) 驱动的计算机系统的新时代。
人工智能系统历来使用基于规则的算法称为符号或经典人工智能。然而人工智能最近的流行是由机器学习特别是深度学习推动的。机器学习 (ML) 涉及无需明确编程即可学习的计算机算法而是依赖于模式和数据推理。深度学习 (DL) 是基于深度人工神经网络的 ML 子集其灵感来自人类神经系统附录中的图 1。1
在 CVI 中DL 应用程序已开发用于超声心动图、心脏磁共振 (CMR) 成像、心脏计算机断层扫描 (CCT) 和心脏核成像。从 CMR2 上的图像平面处方到直接从心肌灌注极点图进行结果预测3,4 DL 模型已被用于协助图像规划、简化图像处理或采集、自动测量、生成报告、增强解释、预测结果和深入表型队列框 2、3、5-12。随着 DL 系统在 CVI 中变得越来越普遍临床医生应该对底层方法有一个大致的了解。我们的目标是阐明如何开发和实施 DL 模型以完成 CVI 中的特定任务从而揭开这些技术的神秘面纱。附录 1-7 中包含了 CVI 的 DL 的历史入门和深入的技术回顾。
机器学习是如何学习的
“机器学习”一词让人联想到媒体所描绘的自动化机器人导致人类灭亡的反乌托邦形象。这种误解源于对机器学习技术方面的有限理解。机器学习只需解决一些简单的数学问题有时数十亿或更多即可完成特定于定义任务的模式识别。 表 1 提供了机器学习中使用的术语定义。在 CVI 的背景下用于训练模型的特征类似于统计学中的变量通常是图像像素的数值表示补充中的图 3。模型通过数学算法进行学习该算法通过最小化损失函数代表整体模型预测误差来调整参数类似于回归系数将输入图像映射到所需结果
ML 算法一般分为两类监督式和无监督式。监督式学习使用带标签的训练数据将输入映射到输出模仿儿童通过观察大量示例来学习识别动物的方式并使用明确的监督信号从错误中学习。这是 CVI 中更常见的 ML 形式通常用于分类或回归任务例如使用专家轮廓作为标签在 CMR 上分割左心室腔逐像素分类8 或直接从超声心动图图像预测左心室射血分数回归。13 无监督学习涉及在没有特定标签的情况下对输入数据进行推断。例如无监督学习可用于对超声心动图视觉上相似的片段进行聚类以识别不同的视图。14虽然这个概念框架很有用但这些类别并不互相排斥半监督学习使用部分标记的数据并且还存在其他形式的 ML例如强化学习、自监督学习。
什么是深度神经网络
DL 中的深度是指使用人工神经网络它包含“深度”堆叠的多个层以形成越来越有意义的数据表示。 图 1 显示了深度神经网络最基本架构的简化示意图。 这种结构允许 DL 模型直接处理复杂的输入数据例如原始图像而无需进行大量的手动预处理这一步骤在传统建模技术中称为特征工程补充中的图 4A。 这是 DL 的一个关键属性使模型能够潜在地发现复杂数据中的重要隐藏特征这些特征甚至对专家来说都可能不明显补充中的图 4B。 深度学习模型根据外部信息的反馈直接从图像中生成推论允许使用来自专家共识、未来结果或更具侵入性和更昂贵的测试的标签对模型进行心血管成像训练补充中的图 4C-E。例如可以训练一个模型根据众包专家的共识标签测量超声心动图上的隔壁厚度15使用植入后结果作为标签直接从超声心动图剪辑中预测左心室辅助装置植入后右心室衰竭的风险16或使用来自侵入性冠状动脉造影术的标签预测负荷超声心动图17或负荷核心肌灌注成像18,19上的缺血。此外DL推理通常比传统的图像处理方法更快允许生成DL模型在使用传统图像处理技术所需时间的一小部分内执行图像重建。7模型可以随着时间的推移在大型队列中大规模部署从而可能提高可重复性并降低观察者内和观察者之间的差异20补充中的图4F-G。
卷积神经网络 (CNN) 是大多数现代 CVI 深度学习系统的基础因为它们可以从图像数据中提取重要的空间不变特征即无论左心室位于图像中的哪个位置都可以识别它。CNN 使用一系列在图像上滑动的过滤器来检测与特定任务相关的特征这些过滤器的值是模型的参数或权重补充中的图 6。全卷积神经网络 (FCNN) 仅由整个网络中的卷积层组成通常用于分割任务例如在 CCT 上勾勒和标记冠状动脉因为它们可以通过对单个像素进行分类来重现原始图像的蒙版表示。生成对抗网络俗称 GAN由一类人工神经网络组成它训练生成器和鉴别器相互竞争以生成越来越逼真的图像类似于造假者试图智胜调查员它们已成为 CVI 预处理和重建的流行工具。附录中的 eTable 2 回顾了已部署用于分析 CVI 数据的其他 DL 架构。
训练和评估深度学习模型
深度学习模型通常包含数百万个参数或权重从而导致未知的复杂多维“百万维”损失函数。因此训练 DL 模型需要局部优化以最小化损失/错误这通常通过称为梯度下降的迭代算法执行附录中的图 7。为了概念化梯度下降想象一个徒步旅行者在山顶上云层覆盖非常厚以至于徒步旅行者只能看到前方几英尺。如果目标是下降到山脚徒步旅行者将朝着最陡的下坡迈出一步。 类似地机器计算当前模型状态下损失函数的斜率然后调整模型的参数以沿着这个斜坡“迈出一步”。训练涉及迭代地将模型暴露于新示例并通过梯度下降调整模型参数以提高随着时间的推移的性能。 表 1.机器学习术语 图 1. 人工神经网络的简化表示网络由按层排列的神经元或节点组成并通过称为权重的参数网络连接。输入特征在每个隐藏层中进行变换以得到所需的输出F1-F4 表示隐藏特征。每个特征节点的值计算为每个相应输入特征和权重的乘积之和。然后该结果通过非线性激活函数。这里显示的是 S 型逻辑激活函数它将值转换并限制在 0 和 1 之间通常用于输出层以进行二元分类概率预测。请注意为了简化隐藏层中的偏差权重和激活函数被省略。重要的是如果没有这些激活函数的非线性变换模型将简化为简单的线性模型。这是深度神经网络最简单形式的一个示例仅供说明之用。在实践中更复杂形式的人工神经网络架构对于心血管成像数据的分析是必要的补充材料中的电子表 2。 超参数是与模型相关的设计选择由机器学习工程师明确设置和调整而不是由模型学习附录中的电子附录 3。在训练期间调整超参数理论上可以产生完美拟合的模型。但是这样的模型不太可能在训练集之外的数据上表现良好这种现象称为过度拟合附录中的电子附录 4 和电子图 10A。过度拟合会导致模型记住输入数据而不是学习有意义的表示。就像一个学生记住了测试的答案而不是理解底层概念在新的问题上表现不佳一样对输入数据过度拟合的模型在训练期间未接触的数据上表现不佳附录中的电子附录 5 和电子图 10B。
为了评估性能并监控训练期间的过度拟合必须在验证或开发数据集中评估模型方法是留出一定比例的数据或迭代划分训练数据例如k 倍交叉验证。重要的是DL 中的验证数据集并不等同于统计风险预测文献中的验证队列图 2。由于在训练期间调整了参数和超参数验证数据集中的信息可能会泄漏到训练过程中导致模型过度拟合验证数据本身。因此在单独的保留测试集最好来自外部来源上评估最终模型性能至关重要模型在整个研究和开发过程中从未接触过该测试集补充中的电子附录 6 和电子表 3。如果不这样做可能会导致对性能的估计过于乐观和/或无法识别过度拟合无关特征称为快捷方式例如扫描仪元数据或制造商徽标的模型。21,22 有关 CVI 深度学习模型的设计、实施和评估的详细指南已作为心血管成像相关机器学习评估 (PRIME) 清单拟议要求的一部分发布。23 图 2. 深度学习中训练/验证/测试划分的重要性在传统/统计建模 (A) 中模型与数据拟合后将在独立的内部或外部验证集上进行验证。相比之下深度学习中的“验证”或开发数据集并不等同于统计风险预测文献中使用的验证队列并且对验证模型没有任何作用。相反此数据集分区的目的是在训练过程中调整超参数时评估性能和过度拟合。随着参数和超参数在训练过程中进行调整验证数据集中的信息可能会泄漏到此过程中并且模型可能会开始过度拟合验证数据本身。因此至关重要的是在训练过程中模型未接触的第三个数据集在机器学习文献中称为测试集被放在一边以便在所有训练完成后并且仅在之后评估最终模型性能。 心血管成像中的深度学习示例 以下对深度学习在 CVI 中不同模式的显著努力的调查并非详尽无遗而是突出先前讨论过的概念的实际例子 表 22-11、15-18、20、24-39。
超声心动图
在超声心动图中大多数信息都编码在视频片段中并且不同视图没有像其他成像方式那样明确标记。尽管超声可以提供比 CCT 或 CMR 更好的时间和空间分辨率但超声心动图图像的信噪比较低并且根据声学窗口的不同质量可能会出现显著变化。因此先前的努力最初是解决识别超声心动图视图 9,24,26 或评估视图质量的问题。9,40
迄今为止超声心动图领域的大多数深度学习研究都集中在心脏分割或心室结构和功能的评估上而不是识别病理或预测风险尽管也有少数例外。 Zhang 等人 9 提出了一种全自动处理和解释超声心动图的流程使用一系列 CNN 和 FCNN 来分割心脏结构、计算心腔容积和功能信息并对肥厚性心肌病、心脏淀粉样变性和肺动脉高压进行分类。其他人提出了以高通量方式识别左心室肥大或心脏淀粉样变性的 DL 模型。10,11,15
Ouyang 等人 20 引入了一种 3 维 CNN用于对超声心动图视频片段中的左心室射血分数进行逐次评估其性能超过了之前发表的结果尤其是在因心律失常而导致心跳间变异显著的患者中。这是 DL 方法的一个潜在优势它能够在超声医师或超声心动图医师所需时间的一小部分内完成多心搏分析同时通过减少观察者内和观察者之间的差异来提高可靠性附录中的图 4G。尽管 DL 方法处理超声心动图数据的复杂性和精密性有所增加但仍有许多尚未充分探索的领域虽然 DL 方法在多普勒超声心动图方面的应用正在增加12,14,41 但很少有研究人员将 DL 用于三维超声心动图分析 表 2.心血管成像领域的深度学习研究示例缩写2-D二维3-D三维A2C心尖双腔 A4C心尖四腔AUC受试者工作特征曲线下面积CAC冠状动脉钙化CAD冠状动脉疾病CCT心脏计算机断层扫描CCTA冠状动脉计算机断层血管造影 CFD计算流体动力学CNN卷积神经网络 CW连续波DL深度学习EAT心外膜脂肪组织 ECG心电图FCNN全卷积神经网络 FFR血流储备分数GAN生成对抗网络 HCM肥厚性心肌病HF心力衰竭ICC组内相关系数IVd舒张期心室间厚度LA左心房 LGE晚期钆增强LV左心室LVEDV左心室舒张末期容积LVEF左心室射血分数LVH左心室肥大MACE重大不良心脏事件MAD中位绝对偏差MAE平均绝对误差MI心肌梗死ML机器学习MRI磁共振成像PET正电子发射断层扫描PWd舒张后壁厚度R相关系数RA右心房RV右心室RVEDV右心室舒张末期容积SAX短轴SPECT单光子发射计算机断层扫描SSIM结构相似指数TGA大动脉转位。 a 有关各种评估指标的详细信息请参阅附录中的电子表 3 心脏磁共振成像
和心脏计算机断层扫描 CMR 和 CCT 成像本质上涉及三维采集而不是二维图像。虽然许多研究人员 使用二维数据像素逐片进行训练但 通常可以通过考虑数据的三维结构体素来获得更好的结果。此外CMR 和 CCT 数据 具有高动态范围大范围的灰度强度 需要在分析之前进行预处理。
与 CMR 的 DL 分析相关的已发表研究可能比任何其他 CVI 模式都要多重点是心腔分割以进行结构和功能评估。这可能是由于有高质量的公共 CMR 数据集和流行的在线数据科学竞赛。迄今为止最大的分割工作之一使用了来自英国生物库的近 5000 个 CMR 数据来训练 FCNN以令人印象深刻的精度所有腔的平均绝对误差 10 mL分割左/右心室和心房腔。27
其他研究检查了不同的 MRI 序列或针对了分割以外的任务。Fahmy 等人28 将 FCNN 用于 T1 序列分割以实现全自动 T1 映射。Zhang 等人31,32 开发了一个雄心勃勃的系统用于基于电影 MRI 和 T1 图上的区域壁运动模式描绘心肌疤痕无需钆造影这项技术称为虚拟原生增强。这突出了 DL 的另一个潜在优势使用更具侵入性的模式例如对比 CMR的标签进行训练可以产生具有类似性能的系统该系统可能更安全、更易于访问、更高效附录中的图 4E。
迄今为止CCT DL 的研究主要集中在冠状动脉 CT 血管造影分析或钙化评分上。Coenen 等人 33 测试了一种基于 DL 的算法用于非侵入性冠状动脉 CT 血管造影的血流储备分数估计与视觉评估相比该算法显著提高了功能性阻塞性冠状动脉疾病的评估每条血管的准确率分别为 58% 和 78%。Eisenberg 等人 37 使用 DL 进行风险预测使用先前建立的 FCNN 对 CCT 进行心包内分割以识别心外膜脂肪组织体积这对冠状动脉钙化评分在预测主要不良心血管事件方面具有补充作用。
深度学习在 CMR 和 CCT 中最具创新性的用途可能是用于重建、伪影衰减或图像去噪的生成建模应用。Wolterink 等人 6 使用生成对抗网络对低剂量 CT 图像进行去噪产生的结果类似于全剂量 CT 采集。Fan 等人 7 开发了一种 FCNN用于重建欠采样灌注 CMR 数据与压缩感知方法相比重建时间缩短了 14.4 倍。这突出了一个重要原则虽然训练深度学习模型需要大量计算但使用训练后的模型进行推理可能比传统的基于规则的算法更快附录中的图 4F。
心脏核成像
核成像数据的分辨率相对其他成像方式较低通常需要进行大量预处理例如生成灌注极点图才能进行临床解释。Betancur 等人 18 和 Hu 等人 19 开发了一种 CNN用于从原始、停电和定量极点图中确定每位患者和每条血管的缺血情况。与标准总灌注缺损相比DL 模型取得了适度的改善每位患者的受试者工作特征曲线下面积为 0.80 vs 0.78。这是一个重要的观察结果当使用手动设计的特征特征空间有限为 64 × 64 像素时与更简单的基于规则的方法相比DL 可能提供有限的益处。相反利用 DL 模型自动从原始单光子发射计算机断层扫描 (SPECT) 数据中提取重要特征例如推断衰减伪影的区域 42,43 可能会带来卓越的性能。
深度学习应用的商业化和监管
CVI 中越来越多的商业 DL 应用需要对医疗 AI 系统的监管流程有基本的了解。在美国食品药品监督管理局 (FDA) 负责监管医疗 AI 平台这些平台被视为医疗设备的软件通常通过 510(k) 上市前许可或从头申请针对实质上新颖的平台没有合适的谓词设备获得授权。例如Caption Health 的 Caption Guidance 平台通过了从头分类使用 DL 算法来指导超声心动图剪辑的获取而不是解释目的是让经验较少的操作员也能获取诊断质量的图像。5 附录中的 eTable 4 提供了目前 FDA 批准的用于 CVI 内不同模式的 DL 应用程序的非详尽列表这些应用程序来自现有来源。44-47
值得注意的是很少有系统在临床试验环境中进行前瞻性评估在涵盖目标人群的多样化队列代表的多个临床站点进行评估的系统就更少了。要使算法被接受用于临床应该在多个机构使用来自多个供应商的图像数据对其进行前瞻性验证以确保其预测的稳健性。根据最近制定的循证建议SPIRIT-AI 和 CONSORT-AI 扩展 48,49在随机临床试验中进行前瞻性评估、算法透明度和上市后监测是 FDA 监管流程改进的潜在目标。重要的是据我们所知目前 FDA 批准的应用程序均未获准用于全自动图像解释/分析而是作为具有专家“人工参与”的临床支持系统。
深度学习在心血管成像中的挑战和局限性
要使深度学习系统适合广泛的临床实施它必须准确、无偏且可推广。使用深度学习技术实现 CVI 的这些目标有几个值得一提的重要障碍。
数据可用性
深度学习算法传统上需要大量标记数据集才能产生准确的结果。管理大型 CVI 数据集受到隐私问题、数据主权以及获取和标记医学数字成像和通信 (DICOM) 图像的物流限制。CVI 中大量、匿名且可公开获得的标记数据集的出现例如 EchoNet-Dynamic 和 EchoNet-LVH10,50 回声数据集和英国生物库 CMR 数据集51,52 可能会促进更准确和更具临床实用性的深度学习系统的发展。
可解释性
DL 模型通常被认为是一个黑匣子很难解释模型如何以及为何得出特定的预测。如果临床医生不理解推理过程他们不太可能接受 ML 算法提供的预测。53 此外当使用 DL 进行表型发现时解释模型输出对于揭示机制和治疗见解至关重要。可解释的 DL 方法的研究非常活跃补充材料中的电子附录 7。
数据集转移、数据集漂移和可推广性
由于患者群体、成像设备或采集协议的差异在一个机构表现良好的模型可能在外部机构表现不佳这种现象称为数据集转移。54此外随着患者群体或数据的变化模型性能可能会随着时间的推移而下降这通常称为数据集漂移。数据集转移的创新解决方案正在涌现包括通过跨机构共享深度学习模型而不是数据进行联合学习 55以及通过生成模型从一个供应商到另一个供应商进行图像到图像的转换 56。数据集漂移可以通过持续学习或模型更新来应对。57然而没有什么可以替代在外部、从未见过的数据集中反复验证算法以及持续审核模型性能。
系统性偏见
更令人担忧的是在开发深度学习模型时引入人类隐性偏见的可能性许多机器学习模型的警示性例子导致了系统性歧视。58-61因此研究人员必须保持警惕确保任何算法都能通过仔细选择数据管理、算法设计和模型评估来得出公平和不带偏见的预测。
人机界面
要使深度学习系统取得成功它应该很好地融入心脏成像仪的工作流程并且应该对深度学习系统有一定程度的理解和信任。临床医生可能会认为学习型人工智能可能会取代临床推理并对临床工作人员本身构成威胁。62然而这通常是没有根据的因为大多数人工智能系统旨在增强而不是取代人类的决策。增强智能的概念得到了文献中的大量例子的支持包括 CVI 中的案例在深度学习系统的帮助下人类的表现可以胜过单独的人类或机器。63-65
心血管成像深度学习的现状和未来
CVI 的深度学习仍处于起步阶段尽管当今临床使用的几种应用显示出改变图像获取、预处理、分析和解释方式的潜力。一些应用已在临床试验中证明其实用性例如指导新手操作员获取诊断质量的床边心脏超声图像5 减少在 CMR 上分割心肌腔所需的时间66 提高回声射血分数估计的效率和可靠性。67 然而大多数已发表的结果都是基于回顾性数据。仍然迫切需要高质量的证据来证明这些技术的好处大于风险并且可以改善患者的治疗效果、人口健康、成本效益和/或临床医生的工作生活。68CVI 的 DL 未来将包括在具有临床重要终点的精心设计的随机试验中对 DL 系统进行严格的前瞻性验证。只有这样这些技术的临床应用才会变得广泛。
此外深度学习在 CVI 中的应用范围可能会扩大。自动化任务的范式人类可以轻松完成可能会转向解决迄今为止尚未解决的问题例如基于图像的风险预测和用于机制发现的队列高通量表型分析。此外用于图像重建、去噪、伪影衰减和超分辨率的深度学习的出现是最近的事情这些技术将在未来几年继续发展。我们还可能会看到更多的深度学习系统使用融合架构来集成多模态成像和非成像数据这些融合架构模仿专家整合来自多个来源的数据的方式。
在 CVI 中一个相对较少受到关注的领域是自然语言处理 (NLP)。NLP 可用于从影像报告中提取标签以训练计算机视觉算法或反过来为图像添加标题以自动生成报告。NLP 还可用作临床医生或患者与影像数据应用程序交互的工具改善心脏成像仪和 DL 系统之间的人机交互。随着基于深度自注意力网络的大型语言模型称为 transformers69例如 BERT、70 GPT-3、71 和 GPT-4的引入NLP 领域经历了范式转变这些模型在常见 NLP 任务的准确性方面已经超越了以前的基准。基于 DL 的 NLP 很可能成为 CVI 研究的目标。
最后虽然深度学习算法可以模拟直觉或“格式塔”来识别结构或功能相关性13,72但我们不应忘记世界是由可定义的物理原理支配的。结合有关物理原理的领域知识可以提高深度学习算法的性能、效率和通用性。73此外并非每个问题都需要深度学习解决方案更准确、更有效的方法往往更简单。伯努利方程通过二次关系明确地将主动脉瓣速度与梯度联系起来。无需使用百万参数模型通过梯度下降推导出此公式。CVI 的人工智能未来很可能由混合神经符号算法主导74该算法将深度学习与基于经典规则的编程相结合同时考虑到成像和生理学的底层物理原理
结论
深度学习有可能对 CVI 领域产生重大影响。教育临床工作人员了解 CVI 中的 DL 应用事实上这是本综述的目标对于促进临床医生和工程师之间的合作、推动这些技术在临床实践中的创新和采用至关重要。引用放射科医生 Curtis Langlotz 75 的话深度学习不会取代心血管成像仪但那些使用和理解深度学习技术的人将取代那些不这样做的人
