人工智能（AI）技术在医学影像领域中有着广泛的应用，尤其是在医学影像诊断中。AI技术可以模拟和学习人类的思维过程，并且能够处理大量的数据，通过各种算法进行图像分析、特征提取和识别，辅助医生进行影像诊断，提高了影像诊断的准确性和效率。
AI模型已成功用于医学影像解读，涉及皮肤疾病诊断，心电图、病理切片和眼科等多个领域。美国食品药品管理局（FDA）已批准200多种商业化影像学AI产品，但在这些产品成功广泛应用于临床之前，还有诸多障碍必须克服。
今晨，《新英格兰医学杂志》（NEJM）发文讨论当前临床影像学AI系统优势和局限性、基于AI的临床路径，以及生成式AI和大型多模态基础模型的潜在影响。我们在此简介其主要内容，全文将于明天中午在《NEJM医学前沿》官网发布。
解读医学影像是影像科医师的核心工作。近年来，人工智能（AI）在该领域的应用日益增多。本文回顾了影像学AI模型开发工作的进展、挑战和机遇，以及临床应用。讨论了AI算法在协助影像科医师方面发挥的功能，包括检测、工作流程分流和量化，以及其他科医师应用医学影像学AI这一新兴趋势。还明确了在影像学领域推广应用AI算法的核心挑战，以及对涵盖临床医师-AI协作、透明度和部署后监控在内的验证保障措施的需求。最后，文中讨论了AI多模态大型语言模型开发工作的快速进展。这一进展为开发医学通才AI模型带来了重大机遇，该模型可处理各方面影像解读任务等。
词汇表
由于几个关键因素，影像科很适合应用和采纳AI。首先，AI擅长分析影像，而且与使用影像学技术的其他科不同，影像科已经制定了数字化工作流程和通用的影像存储标准，因此更容易整合AI。
在影像学领域，AI可用于分析各种技术生成的影像，包括X线检查、CT、超声检查和MRI。影像学AI算法具备多种可为影像科医师提供协助的小范围影像分析功能，如量化、工作流程分流和影像增强（图1）。量化算法可对解剖结构或异常进行分割和测量。常见例子包括测量乳腺密度、识别脑内解剖结构、量化心脏血流以及评估局部肺组织密度。工作流程分流涉及标记和传达疑似阳性发现，其中包括但不限于颅内出血、颅内大血管闭塞、气胸和肺栓塞。AI也用于检测、定位和分类肺结节和乳腺异常等情况。此外，AI算法可增强预解读过程，包括影像重建、影像采集和影像降噪。
图中显示的是常见临床AI解决方案，可通过CADt（用于分流的计算机辅助检测）、CADe（用于定性异常的计算机辅助检测）和CADx（用于诊断的计算机辅助检测）进行分流、检测和诊断。AI在影像学领域的其他应用包括影像重建和降噪。
影像学AI模型的探索工作前景广阔，这些模型有望提高解读能力，使之超越人类专家的能力。例如，AI算法可根据颅脑损伤和癌症病例的CT数据准确预测临床结局。此外，AI来源的影像学生物标志物有助于快速、客观地评估与身体成分相关的结构和病理过程，如骨密度、内脏脂肪和肝脏脂肪，评估结果可用于筛查各种疾病。
影像学AI在全球范围内引起了关注，20多个国家的公司已开发出商业化AI算法。研究表明，一些医院和其他即时检验中心已经成功地应用AI产品。在工作中使用AI的影像科医师通常感到满意，认为AI对他们和他们的患者有意义。但影像科医师也表达了以下担忧：缺乏知识、缺乏信任，以及职业身份和自主权发生变化。大多数影像科医师和住院医师预计，影像学专业将在未来十年内发生重大变化，并且认为AI应该拥有“副驾驶员”角色，作为第二读片者并改进工作流程任务。
虽然目前许多影像学AI应用都是为影像科医师设计，但全球范围内有一个新出现的小趋势，即非影像科医师和其他方（即医务人员和患者）正逐渐使用医学影像学AI。在医疗资源不足的机构和急诊科（影像科通常无法全天候为患者进行检查），上述趋势为提高医学影像学检查可及性、减少常见诊断错误提供了机会。这一趋势虽然尚未得到证实，但已被引述为影像科面临的潜在长期威胁，原因是先进AI模型有可能降低影像解读技术的复杂程度，因此非影像科医师可在不依赖影像科医师的情况下进行影像学检查。
便携且低廉的影像学技术常有AI支持，并且降低了应用AI的障碍，因此可以在传统影像学工作流程之外的医学影像学检查中更广泛应用AI。例如，Swoop便携式MRI系统是一种床旁检查设备，它解决了现有影像学技术的局限性，使一系列临床应用变得可及且可操作。该系统可插入标准电源插座，并通过苹果iPad控制。通过便携式超声探头和安装AI应用程序的智能手机，即使用户没有接受过超声心动图和产科超声检查方面的正式培训，也可获取诊断信息。总体而言，尽管非影像科医师对医学影像学AI的使用仍处于早期阶段，但它有可能彻底改变医学影像学可及性并改善患者结局。
国际医疗器械设计与制造技术展览会自2016年起布局医疗电子，从最初的电子部件、电机&传动控制展区到2023年首开的高端医疗设备设计与制造专区，目前已经有包括日立金属投资（中国）有限公司 、砷泰中国 、东莞市雨菲电子科技有限公司、上海孚蕊哲静电科技有限公司 、深圳市格兰拓普电子有限公司和杭州通鉴科技有限公司等多家企业入驻参展。想要系统了解医学成像以及超声影像相关研发设计的更多技术内容，点击参加国际医疗器械设计与制造技术展览会。
考虑在影像学领域广泛应用AI算法时，一个关键问题出现了：它们对所有患者都行得通吗？特定AI应用程序所依赖的模型往往并没有在训练模型的机构之外测试，而且即使是获得FDA批准的AI系统，也很少经过前瞻性测试或在多个临床机构进行过测试。很少有随机对照试验证明在影像学领域使用现有AI算法的安全性和效果，而未经真实世界评估的AI系统可能给患者和临床医师带来巨大风险。
此外，研究表明，将AI应用于与开发模型时不同的患者时，许多影像学AI模型的性能会恶化，这种现象被称为“数据集偏移。”解读医学影像时，数据集偏移可能由多种因素所导致：例如医疗系统、患者人群和临床操作所存在的差异。
我们亟需设计出一些方法来改进AI算法在新环境中的推广。随着该领域的成熟，在算法被广泛应用之前，必须基于公认标准，为推广算法建立更好的检查机制。上述检查包括三个相关领域：临床医师-AI协作、透明度和监控（图2）。
图2. 影像学领域推广AI系统的检查机制
影像学领域推广AI系统有三项基本检查：临床医师-AI协作、透明度和部署后监控。临床医师-AI协作反映出需要从评估AI模型的独立性能转为评估它们在真实世界临床工作流程中作为辅助工具的价值。由于缺乏AI模型的相关信息，透明度方面的要求更加严格，措施包括根据清单进行检查和公开发布医学影像学数据集。部署后监控包括通过一些机制整合临床医师反馈和持续学习策略，从而定期更新模型。
AI在影像学领域的成功应用取决于有效的临床医师-AI协作。理论上，使用AI算法协助影像科医师可以实现人类与AI的协作，其中人类和AI可以利用互补优势。
尽管有一些证据表明，接受AI协助的临床医师可以比未接受协助的临床医师取得更好的表现，但在人类-AI协作解读临床影像的研究中，关于上述协作的意义，目前证据不一。结果因具体指标、任务和研究队列而有所不同，研究表明，尽管AI可以提高影像科医师的表现，但有时AI自己的表现比使用AI的影像科医师更好。
许多AI方法属于“黑箱”，这意味着它们的决策过程难以被人类解读，这可能给试图理解和信任AI建议的临床医师带来挑战。有研究评估了可解读的AI方法在建立临床医师信任方面的潜力，但结果不一。因此，在真实世界临床工作流程中将这些算法用作辅助工具时，有必要从以模型独立性能为中心的评估转向以结局为中心的评估。通过这种方法，我们可以更好地理解AI在临床应用中的效果和局限性，并为有效的临床医师-AI协作建立保障措施。
透明度是评估AI算法在医学影像学领域推广工作的主要挑战。大多数商业化AI产品缺乏经过同行评议，可证明其效果的科学证据。对于获得FDA批准的设备，许多已发表的报告未包含以下信息：样本量、患者人口统计学特征及采集待解读影像所使用的设备的规格。此外，在有关设备的研究中，只有一部分提供了以下数据：训练算法过程中使用的具体人口统计学亚组，以及将这些算法用于代表性不足的人口统计学亚组患者时的诊断性能。缺乏上述信息导致我们难以确定AI和机器学习算法在不同患者人群中是否可以推广。
这些模型只经过有限的独立验证，因此要求更高的透明度和严格程度，我们需要根据清单验证AI模型在医学影像学领域的正确实施，并确保充分的可重复性和临床效果。为了达到透明度，一个解决方案是管理和公开发布医学影像学数据集，将其作为通用基准并显示算法性能。公开发布的胸片数据集已经为大幅推进AI验证提供了支持。然而，在管理公开的医学影像学数据集方面，仍面临挑战，包括共享数据涉及的隐私问题、数据基础设施的成本以及拥有大量资源的学术型医疗中心数据占比过高。联合学习是另一种数据共享方法，它根据分散的数据源训练AI模型，无需将数据转移到中央数据库。为了在确定临床实用性过程中确保透明度，简化各种医学数据集的管理和共享流程十分必要。
即使部署模型之后，其在真实世界中的性能也可能逐渐下降。解读医学影像时，这些偏移可能由多种因素所导致：例如疾病患病率的变化、医学技术的进步和临床实践的改变。如果不根据上述变化更新模型，可能导致模型性能不佳和误用。但是，模型获得批准后，法规可能对其更新作出限制。
持续监控模型性能和采取措施解决逐渐发生的数据集偏移，可以提高AI模型在医学影像解读中的准确性和可靠性。定期更新训练数据，并且通过持续学习的方法，根据新数据对模型进行再训练，有助于随时间推移始终保持模型性能。此外，纳入临床医师反馈可以提供真实世界观点，确定需要改进的领域，从而提高模型性能。最终，部署后监控工作对于确保AI模型在临床应用中始终有效且可靠至关重要。
在影像学领域，当前这一代AI模型只能处理有限的解读任务，并且严重依赖经过特定标记和分类的整理后数据。虽然将影像作为模型的单一输入信息具有一定价值，但它并不能反映影像学领域的真正认知工作，后者包含全面解读医学影像学检查结果、比较当前和既往检查结果，以及将这些信息与临床背景数据相结合，进而提出诊断和治疗建议。
现在有一种趋势是采用更全面方法来开发影像学AI，目的是实现更高价值，而不仅仅是将单个解读任务自动化。最近开发的模型可以识别胸片和脑部CT平扫中的数十甚至数百项发现，它们可以为影像科医师提供关于每项发现的具体细节。越来越多的公司正在提供可涵盖疾病（如卒中和癌症）整个诊断和临床工作流程（从筛查到直接临床转诊和随访）的AI解决方案。尽管这些全面的AI解决方案有可能帮助医疗专业人员更方便地实施和使用该技术，但验证和透明度方面的问题仍然存在。
新一代通才医学AI模型即将出现，它有可能在解读影像方面执行整个任务，甚至执行更多任务。这些模型将能够准确生成完整影像学报告，方法是解读各种发现（其不确定性和特异性取决于影像），将临床背景与影像学数据融合，并且在模型决策中利用以前的影像。
AI模型（包括自监督模型、多模态模型、基础模型，特别是用于文本数据以及用于影像和文本综合数据的大型语言模型）的快速发展有可能加快该领域进程。大型语言模型指的是由具有数十亿或更多权重的神经网络组成，在在大量无标签数据上进行训练的AI模型。对用于医学领域文本任务的大型语言模型进行的早期研究包括GPT-4等聊天机器人，结果表明这些模型在作医疗记录、回答问题和会诊方面达到临床专家水平。
我们预计，未来的AI模型将能够处理影像学数据、语音和医学文本，并输出反映高级医学推理的文本解释、语音建议和影像注释等。这些模型将能够根据输入的医学影像输出定制文本，满足各种最终用户的特定需求，而且能够对影像学检查提出个体化建议和实现自然语言交互。
通才医学AI模型有很大潜力会彻底改变影像学领域。这些模型可生成完整的影像学报告，其中包含各种来源（如影像学检查、临床背景和既往影像学检查）的结果解读和描述。它们还可能将特定影像区域与语言描述建立关联、适应最终用户，并在特定背景下生成结果。此外，这些模型可能具备适应新环境和技术进步的能力。
鉴于大型语言模型的能力，使用大量真实世界医学影像和临床文本数据训练新的多模态大型语言模型虽然具有挑战性，但有望使影像学AI具备变革能力。然而，此类模型将在多大程度上加剧在广泛验证方面存在的问题，目前仍然未知，这是一个需要研究和关注的重要领域。总体而言，通才医学AI模型具备为影像解读任务提供全面解决方案的潜力，这可能不仅会改变影像学领域，还可能广泛改变医疗领域。
国际医疗器械设计与制造技术展览会认为，AI是技术突破的例证，为当前和未来的医学影像学领域带来了各种可能性。影像学见证了这些工具在临床上的应用，尽管迄今产生的影响不太大。预期和实际影响之间的差距可归因于多种因素，例如缺乏来自前瞻性真实世界研究的数据、外推性有限，以及在解读影像方面缺乏全面的AI解决方案。随着医疗专业人员越来越多地使用影像学AI，以及大型语言模型的不断发展，AI在医学影像学领域的未来似乎一片光明。但我们无法确定的是，当前这种形式的传统影像学是否也前景光明。
文章来源：NEJM医学前沿
