专注于为医疗器械研发与生产服务

2025年9月24-26日 | 上海世博展览馆1&2号馆

首页 > 质量管理 > 国际医疗器械展览会Medtec重磅消息!全球首个法案出台,引领医疗AI走向大模型时代

国际医疗器械展览会Medtec重磅消息!全球首个法案出台,引领医疗AI走向大模型时代

2024-04-30

国际医疗器械展览会Medtec获悉,欧盟《人工智能法案》已经正式出台,从市场监管立法的高度,为整个人工智能产业链各利益相关方提供了一个合规义务框架,以规范人工智能的开发和使用。法案实施后将对全球人工智能产业链产生深远影响,值得中国企业关注,并与中国市场目前的医疗人工智能软件监管规定做对照。

当地时间2024年3月13日,欧洲议会以压倒性多数通过了世界上第一个全面的人工智能法律框架——欧盟《人工智能法案》(下称“法案”)。

在走完所有审批程序后,法案将在欧盟公报上予以公布并于20天后生效。法案中的相关条款将分阶段实施,其中,大部分规则要等到法案生效后两年才会适用。
法案由欧盟委员会于2021年4月21日正式提出,历时近3年终于通过,是全球有史以来第一部将人工智能系统置于显微镜下的法律,标志着人工智能技术监管的一个关键时刻,对各个行业,尤其是医疗保健行业,具有深远的意义和影响。

0适用范围

国际医疗器械展览会Medtec了解到在地域方面,这部法案不仅影响欧洲企业,如果欧盟以外的企业在欧洲使用其人工智能系统,也会受到影响。
 
《人工智能法案》第2条规定,无论是欧盟境内还是欧盟境外的实体,只要其在欧盟境内将人工智能系统或通用人工智能模型投入市场或投入使用,均将受到《人工智能法案》的规制。场所位于欧盟境外的人工智能系统提供者,如其系统产生的产出将用于欧盟,相关主体也需适用《人工智能法案》。
 
产业链方面:鉴于人工智能系统价值链的复杂性,人工智能系统的提供者、部署者、进口者、分销者或其他第三方均需履行其角色项下的合规义务。
 
具体而言,根据《人工智能法案》的相关规定,除了人工智能系统提供者,如下主要类型的主体也将受到欧盟人工智能立法的监管:
02  目的:引导人工智能合规发展
法案为整个人工智能产业链上的相关方提供了一个合规义务框架。根据法规,开发和部署高风险人工智能系统的公司将承担严格的合规要求。此外,无论风险类别如何,有涉及人工智能的公司都应采取人工智能合规措施。

人工智能合规性是对人工智能系统内部实施的全面监督,确保其在整个开发、部署和使用过程中遵守法律要求和道德规范。具体包括:

  • 监管评估,以确保在开发、部署和使用人工智能系统的过程中遵守法律。这不仅包括遵守人工智能法律,还包括遵守《通用数据保护条例》(GDPR)规则和版权规范等。

  • 道德标准,包括公平、透明、负责和尊重用户隐私。伦理合规涉及识别人工智能系统中的偏见、防止隐私泄露以及最大限度地降低其他伦理风险。

03  核心:人工智能系统风险等级划分
《人工智能法案》的核心是对人工智能系统进行分类,基于系统对用户和社会的潜在影响程度将其分为4类:不可接受风险类、高风险类、有限风险类、最小风险类。每个类别适用不同程度的监管要求。
 
高风险的人工智能系统须遵守更严格的合规要求,而构成不可接受风险的人工智能系统则被禁止。多数人工智能系统属于风险较低的类别,但仍可能需要根据法案要求履行相应义务。
 
1. 不可接受的风险
 
该法案明确禁止了被认为对人们权利和安全产生不利影响的人工智能实践。
在医疗背景下,这类风险包括生物识别和患者分类、社交评级系统,甚至是鼓励危险行为的语音应用程序等。因此在开发时需要仔细检查模型,是否会危及患者保密性、同意权和自主权,是否能够确保它不会建议患者尝试任何不合适的运动。
2. 高风险要求
 
高风险类的人工智能系统被认为对健康、安全、基本权利和法治构成重大威胁。人工智能在医疗健康领域的应用,大部分被划分为这个类别,包括医疗设备、医疗软件、慢病管理设备、手术机器人等。
法案对高风险应用实施严格的合规要求,包括满足有关透明度、数据质量、记录保存、人工监督和稳健性的具体要求。法案规定的大部分义务适用于高风险的人工智能系统,具体包括以下8个方面:
(1)建立全生命周期风险管理系统
 
高风险人工智能供应商必须在高风险人工智能系统的整个生命周期建立风险管理系统。例如,在医疗诊断人工智能系统的开发阶段,潜在的风险可能包括误诊导致对病人的伤害。开发人员必须实施严格的测试程序,进行广泛的临床试验,并与医疗专业人员合作,以确保人工智能系统的准确性和可靠性。
在整个部署和运行过程中,需要建立持续监测和反馈回路,及时发现和解决任何新出现的风险或性能问题。
(2)使用符合规定的质量标准的训练、验证和测试数据集
提供商必须验证和测试数据集的相关性、代表性,尽最大可能保证数据集的无误性和完整性,以达到预期目的,确保数据管理。
例如,在开发一款旨在利用人工智能诊断皮肤病的数字健康应用程序时,确保数据管理包括验证训练、验证和测试数据集包含不同人口统计学中各种皮肤病的多样而全面的图像。
数据集应来自医疗数据库等信誉良好的来源,以确保准确性和相关性。还应对数据集进行精心设计,以消除错误和不一致之处,如错误标记图像或图像质量差,这些都可能影响人工智能有效诊断皮肤状况的能力。这种严格的数据管理流程有助于提高应用程序向用户提供诊断建议的准确性和可靠性。
(3)建立满足合规要求的技术文档
 
系统提供商必须制定技术文件,以证明符合规定,向当局提供必要的信息,以评估是否符合规定,技术文件可包括:
  • 系统架构:应用程序基础设施的详细图表和说明,包括如何收集、处理和安全存储用户数据。

  • 数据处理政策:概述在整个应用程序生命周期中如何处理用户数据的文档,包括数据收集方法、加密协议和数据保留政策。

  • 人工智能算法:描述应用程序中用于分析用户数据和生成运动建议的人工智能算法,包括算法如何训练和验证的信息。

  • 隐私和安全措施:详细说明应用程序隐私和安全功能的文档,如用户同意机制、访问控制以及防止未经授权访问或数据泄露的措施。

  • 遵守法规:遵守相关法规和标准的证据,如美国的《健康保险可携性和责任法案》(HIPAA)或欧盟的《通用数据保护条例》(GDPR),包括为验证合规性而进行的任何认证或审核。
(4)高风险人工智能系统供应商必须在高风险人工智能系统中纳入记录保存功能,以自动记录相关事件,在整个系统生命周期中识别风险和重大修改。
为了具备记录功能,系统可以自动记录各种事件,如:
  • 患者互动:记录人工智能系统根据患者输入或医疗数据提供诊断或建议的每个实例。

  • 系统更新:记录为提高性能或解决问题而对人工智能算法或软件进行的任何更新或修改。

  • 诊断结果:记录人工智能系统提供的每项诊断结果,包括诊断是否准确或是否需要进一步检测或干预。

  • 不良事件:指出人工智能系统的诊断或建议导致不良后果或对患者造成伤害的任何情况。

  • 系统性能:长期跟踪人工智能系统的性能指标,如准确率、假阳性/阴性率和响应时间。
(5)向下游部署人员提供明确的使用说明,以方便遵守规定。
例如,如果人工智能系统的设计目的是协助放射科医生解读医学影像扫描结果,那么使用说明可能包括:
  • 安全访问和登录人工智能系统的分步程序,包括基于角色和职责的认证要求和用户访问级别。

  • 向人工智能系统界面输入病人数据和上传医学影像扫描的指南,确保符合数据隐私法规,如《健康保险可携性与责任法案》(HIPAA)或《通用数据保护条例》(GDPR)。

  • 关于如何解释和验证人工智能系统输出结果的说明,包括评估系统预测和建议可信度的标准。

  • 在患者病历中记录人工智能系统使用情况的规程,包括系统生成的任何相关发现、建议或警报。

  • 建议将人工智能系统融入现有的临床工作流程和决策过程,最大限度地减少干扰,并确保医疗保健专业人员与人工智能技术之间的无缝协作。

  • 提供培训资源和材料,让医疗服务提供者了解与使用人工智能系统相关的功能、局限性和潜在风险,强调持续教育和技能开发的重要性。

(6)实施强有力的人类监督和干预机制,确保人工智能系统在做出关键医疗决策时不会取代人类的判断

例如,考虑设计一个高风险人工智能系统,以协助医疗服务提供者根据皮肤科图像诊断皮肤癌。为了确保人类的监督和干预,可以实施以下机制:

  • 决策支持警报:对人工智能系统进行编程,以标记其诊断可信度低于某一阈值或诊断不确定的病例。在这种情况下,系统会提示医疗服务提供者查看人工智能的诊断结果,并做出临床判断。

  • 第二意见审查:如果人工智能诊断与医疗服务提供者的初步评估存在不确定性或分歧,医疗服务提供者可以选择要求人类专家或专家小组提供第二意见。

  • 审计跟踪和日志记录:人工智能系统可以对其决策过程进行详细的审计跟踪,包括每项诊断建议背后的理由、用于分析的输入数据以及人工审查员所做的任何调整。这些信息将被记录下来,供医疗保健专业人员审查和核实。

  • 紧急超驰功能:在需要立即采取行动的紧急情况或危及生命的情况下,人工智能系统可包含紧急超驰功能,允许医疗服务提供者绕过人工智能的建议,根据自己的临床判断做出决定。

  • 持续监测和反馈:人工智能系统可纳入持续监测和反馈机制,医疗服务提供者可报告系统使用过程中遇到的差异、错误或不良结果。这种反馈回路将促进人工智能算法的不断改进和完善。
(7)合理设计系统,达到适当的准确性、稳健性和网络安全水平
 
例如:在开发数字医疗应用中诊断心血管疾病的高风险人工智能系统时,实现适当水平的准确性、稳健性和网络安全性对于确保患者安全和数据完整性至关重要。可以通过以下方法实现这一点:
  • 准确性:人工智能系统应使用各种具有代表性的心脏图像数据集、患者记录和临床结果进行严格的验证和测试。应不断改进和优化人工智能算法,以逐步提高诊断准确性。例如,该系统可利用在超声心动图、心电图和其他心脏成像模式的大型数据集上训练的深度学习技术来达到较高的准确性。
  • 鲁棒性:人工智能系统的设计应能在各种实际条件和场景下可靠运行,包括患者人口统计学、成像质量和疾病表现的差异。鲁棒性可通过采用数据增强、模型组装和对抗训练等技术来实现,以增强系统对输入数据中的噪声、伪造和不确定性的适应能力。此外,系统还应包括故障安全机制和错误处理程序,以减轻意外故障或失灵的影响。
  • 网络安全:保护患者数据并确保医疗保健信息的保密性、完整性和可用性对于人工智能系统的安全运行至关重要。应实施强有力的网络安全措施,以防止未经授权的访问、数据泄露和网络威胁。这可能包括对静态和传输中的敏感数据进行加密、实施访问控制和身份验证机制、定期进行安全审计和渗透测试。

(8)建立质量管理体系,确保符合监管要求。
 
高风险人工智能系统质量管理体系包括以下内容:
  • 文件控制:管理所有开发文件,确保准确性和可访问性。

  • 变更管理:严格评估和批准系统变更,以保持安全性和有效性。

  • 风险管理:在系统的整个生命周期内识别、评估和降低风险。

  • 培训:为员工提供软件开发、质量原则和法规方面的培训。

  • 审计:定期进行内部和外部审计,确保合规和持续改进
风险管理水平对医疗器械的器械开发、生产和经销具有重要意义,有助于产品加快上市速度,增加竞争优势。加快补齐我国高端医疗装备短板,加快关键核心技术攻关,突破技术装备瓶颈,实现高端医疗装备自主可控成为我国目前相关企业首要需求。作为国际医疗器械展览会Medtec历年展会的重要组成部分质量论坛A:高端医疗设备生命周期风险管理今年也将选择行业内备受关注的质量热点内容进行解析和讨论,致力于为医疗器械法规和质量人员提供最新的标准资讯,并且制定有效的实施策略。点击此处报名参观>>>
3.有限风险要求
如果符合透明度要求,人工智能的使用被视为风险有限。例如,在使用聊天机器人时,现在有必要披露当事人是在与机器而不是真正的护士互动。
人工智能创建的内容必须适当标注为人工生成。这一要求同样适用于使用深度伪造技术创建的音频和视频内容。因此,需以任何可用的方式向用户表明,他们目前正在与人工智能进行交互。
4.风险要求极低或没有风险要求
法律允许在风险最小的情况下自由使用人工智能。例如,这包括支持人工智能的视频游戏(即与应用程序中的治疗无关的游戏化)或垃圾邮件过滤器。最低风险不受监管。
04  通用人工智能的特别规定
通用人工智能(GPAI)是一种在大量数据基础上进行训练、可以自我监督训练、具有足够的通用性并能胜任各种任务的人工智能模型,最著名的例子就是 ChatGPT
在医疗领域常规的人工智能应用,如X 射线诊断应用程序可协助医生分析 X 射线图像,帮助检测某些病理或疾病,如肺癌或骨关节炎。它使用卷积神经网络等传统机器学习模型来训练 X射线中的异常检测。
而GPAI 模型应用提供了更大的灵活性和提供个性化建议和支持的能力。
比如,一款健康和保健管理应用程序为健康的生活方式提供个性化建议,帮助管理慢性疾病。它利用 GPAI 模型分析用户数据,如病史、体育活动、睡眠和营养指标,以及用户反馈,从而提供个性化建议,提供患者生活质量。
简而言之,传统人工智能擅长识别模式,而生成式人工智能则擅长创造模式。传统人工智能可以分析数据并报告结果,而生成式人工智能则可以利用相同的数据产生全新的输出。
因此,法规对GPAI提供商,特别列出了其他责任。包括:
  • 所有 GPAI 模型提供者必须提供技术文档和模型使用说明,遵守版权法,并公开说明用于训练人工智能的内容。

  • 不构成系统性风险的GPAI 模型的提供者必须遵守版权法,并公布总结的培训数据。

  • 所有构成系统性风险的 GPAI 模型(无论是开放式还是封闭式)的提供者必须进行模型评估、监控和报告涉及人工智能模型的严重事故,并确保网络安全保护。
05  结语
欧盟《人工智能法案》为实施以风险为导向的方法,对人工智能的应用进行划分,对具有不可接受的风险的系统禁止使用,确定高风险人工智能系统清单,并对此类系统以及开发和部署此类系统的公司提出明确要求,要求在将具有高风险的人工智能系统投入使用或推向市场之前进行合规性评估。对风险有限的人工智能系统规定透明度要求,对风险极低的人工智能完全放开管制。
法规还制定了相关处罚措施,不遵守规定的法律规范可能导致高达 3500 万欧元或全球营业额 7% 的巨额罚款。
文章来源:颐通社
X