**防范医疗AI风险,关键是明确使用范围、落实医师审查、保护患者信息,并建立能够追溯的质量管理机制。**不能只核查软件资质,也不能把供应商的“准确率承诺”当作临床安全保障。
对患者而言,了解医院怎样使用AI,比单纯询问“有没有用AI”更有意义。
一、先明确AI能做什么,不能做什么
医疗机构应根据具体应用场景确定用途和边界,避免将普通问答工具直接用于正式诊疗。
| 应用场景 | 需要重点防范的风险 |
|---|---|
| 影像辅助识别 | 漏检、误报,以及不适用于特定设备或人群 |
| 临床决策支持 | 建议与患者实际病情不符,引用依据错误或过时 |
| 用药辅助审核 | 病史、过敏史或用药资料不完整,导致错误提示 |
| 病历辅助生成 | 编造检查结果、遗漏重要事实、混淆患者信息 |
| 智能导诊 | 分诊不当,未识别需要及时就医的情况 |
AI输出应当接受与其用途和风险相适应的核查,不能自动转化为最终诊断、处方或病历事实。
二、采购时,应当核查哪些资质?
不是所有医疗场景中的AI软件都属于第三类医疗器械,应根据预期用途、功能和风险确定管理属性。
属于医疗器械管理的,应核验相应注册或备案资料,并确认实际使用与获准用途一致。
建议重点审查:
- 产品名称、注册人及供应商身份;
- 适用范围、禁忌和限制条件;
- 软件版本及更新管理;
- 对输入数据、设备和使用环境的要求;
- 性能评价资料及已知局限;
- 故障处理、维护和不良事件配合机制。
导诊、行政管理或科研辅助等软件,不能仅因没有医疗器械注册证就一概认定违法;但也不能借这些名称,实际提供未经合规管理的诊断功能。
三、上线前后,医院需要做什么?
建议建立与应用风险相适应的内部管理制度,明确谁批准使用、谁负责维护、谁处理异常。
| 阶段 | 主要管理措施 |
|---|---|
| 上线前 | 核查用途、评估适用性,确认人员和系统条件 |
| 培训时 | 说明输入要求、结果含义、常见错误和停用条件 |
| 使用中 | 设置权限,检查数据质量,落实必要复核 |
| 更新后 | 核查版本变化是否影响用途和原有流程 |
| 异常时 | 及时暂停相关功能,转由人工或替代流程处理 |
“已经采购”“已接入医院系统”不等于能够安全用于全部科室。
相关审批、注册或备案,应按照实际适用制度履行,不能笼统认定“所有医疗AI都必须按限制类医疗技术备案”。
四、医师怎样避免盲目依赖AI?
医师应结合病史、症状、体征及检查结果,对AI建议作出合理判断。
尤其遇到以下情形,应提高警惕:
- AI结论与明显临床表现不一致;
- 输入资料缺失、质量差或患者身份关联错误;
- 系统用于其未覆盖的疾病、人群或场景;
- AI给出的指南、文献、药物信息无法核实;
- 建议可能导致重大或不可逆的治疗决定。
病历应真实记录必要的诊疗判断和处置。对于影响决策的重要AI提示及复核情况,宜保留可追溯记录,但不必机械复制全部系统输出。
不能事后补写“已人工审核”来代替实际审查,也不能将未经核实的AI文字直接写成既定事实。
五、怎样保护患者知情权和个人信息?
诊疗告知与个人信息处理,是需要分别审查的问题。
AI应用涉及重要医疗措施、风险或替代选择的,应依法履行相应告知义务;涉及病历、影像等敏感个人信息处理的,还应核查处理依据及必要性。
以个人同意为处理依据时,应满足相应同意要求,不能用笼统授权替代依法需要的单独同意。
医院还应注意:
- 不向公共AI工具随意上传可识别患者的资料;
- 控制数据范围和操作权限;
- 明确供应商是否留存数据、是否用于模型训练;
- 依法落实加密、去标识化等保护措施;
- 对符合规定的情形,事前开展个人信息保护影响评估。
委托企业处理数据,不意味着医院可以放弃监督;数据用于本次诊疗,也不当然允许继续用于其他商业用途。
六、签了免责协议,医院就不用负责了吗?
不是。
供应商与医院约定“仅供参考”,或者患者签署了风险告知书,都不能当然排除依法应承担的责任。
发生损害时,应分别审查:
| 问题 | 责任判断方向 |
|---|---|
| 医师未尽合理诊疗义务 | 审查医疗机构的医疗损害责任 |
| 医疗器械软件存在缺陷 | 审查医疗产品责任及相应追偿 |
| 安装、维护或技术服务存在问题 | 根据具体义务及损害关系判断 |
| 数据泄露或擅自用于训练 | 另行审查个人信息及隐私侵权责任 |
医院可以通过合同明确供应商的维护、配合取证和责任承担,但不能以内部合同阻碍患者依法索赔。
七、不使用AI,是否就属于落后诊疗?
不能这样判断。
《民法典》要求医务人员尽到与当时医疗水平相应的诊疗义务,但不意味着市场上出现一种AI工具,所有医院和医生就必须立即采用。
是否合理使用某项技术,应结合安全有效性、适用条件、诊疗规范和具体医疗机构条件等判断。
同样,使用了AI也不等于诊疗已经达到应有水平。
对患者来说,可以询问AI在本次诊疗中承担什么作用、谁审核结果、异常如何处理。发生争议时,应及时保存病历、报告和沟通资料,并要求有关机构妥善保留相关系统记录。
医疗AI风险防范,应落实到真实的诊疗流程和安全管理,而不是停留在“系统先进”或“医生签字”的形式上。