人在回路的人工智能:为受监管的制药决策设计审批控制机制
HERMS / 全球生命科学人工智能
发布于2026年11月16日 | HERMS Consultancy DMCC
核心原则 人工智能可以在明确界定的范围内提出建议或执行任务,但责任必须始终落实到适当的人员和流程。
本文内容
- 人在回路的人工智能在受监管生命科学领域中的含义
- 围绕决策风险设计审批关卡,而非针对每一项人工智能输出
- 审批关卡检验清单
- 哪些制药决策需要设置人工审批关卡?
- 人工智能审批工作流程蓝图
- 决策权限、RACI矩阵与职责分离
- 电子记录、电子签名及可供检查的证据
- 例外、人工推翻与人机意见分歧
- 验证、监测与变更控制
- 监管环境:FDA、EMA、欧盟《人工智能法案》与GxP
- 实施路线图与监督关键绩效指标
- HERMS如何支持落实人的责任
- 常见问题
引言
在制药领域,人在回路的人工智能是指:在人工智能辅助工作转化为具有重大影响的决策或行动的关键节点,安排具备相应能力且获得授权的人员参与。人工智能可以在明确界定的范围内提出建议或执行任务,但责任必须始终落实到适当的人员和流程。有效的审批控制应明确所审查的证据、获准作出的决策以及获准执行的具体行动,而不只是规定由谁点击按钮。
适用法律、GxP程序及预期用途决定了哪些环节必须审批;增设审批关卡也可以是一种审慎的组织控制措施。
参考指南:FDA——第11部分:电子记录与电子签名——适用范围与实施;EudraLex——第4卷——药品生产质量管理规范指南;ICH E6——药物临床试验质量管理规范
人在回路的人工智能在受监管生命科学领域中的含义
这些术语描述的是运行安排,而非通用的监管分类。一个工作流程可以在不同阶段采用这三种模式。区别在于人员何时能够影响结果,以及是否能够在不可接受的后果发生之前进行干预。
| 运行模式 | 人员参与方式 | 适当的控制边界 |
|---|---|---|
| 人在回路(Human-in-the-loop) | 在指定行动开展前进行审核或批准 | 需要事先核验或授权审批的重大决策 |
| 人在环上监督(Human-on-the-loop) | 监督范围明确的执行过程,并可进行干预 | 受到监测、具备适当可逆性且可及时干预的行动 |
| 人类主导(Human-in-command) | 制定政策、权限及暂停条件 | 组织层面对部署、授权委托及持续使用的管理权限 |
如果涉及法定签名或必须由具备资质的人员作出的决定,监督不能替代事先审批。同样,批准一个系统并不意味着预先批准其未来的每一项行动。欧盟《人工智能法案》第14条规定了对适用的高风险系统实施有效监督,包括理解和解释输出、认识自动化偏见、推翻输出以及安全中断;该条并不要求由人员批准每一种制药人工智能工具的每一项输出。
延伸阅读:第14条:人工监督
围绕决策风险设计审批关卡,而非针对每一项人工智能输出
应对行动而非文件进行分类。同一申报资料工作流程可以自动对文件分类,要求核验科学摘要,并将最终申报授权保留在申办方获批的流程中。应评估后果、可逆性、对患者或产品的影响、记录完整性、不确定性以及新颖性。
切实可行的政策可以允许对范围明确的低风险任务进行自动处理,对进入受控工作的建议进行核验,并要求在执行具有重大影响的行动前获得明确授权。应将新型产品、不熟悉的司法管辖区、来源缺失和证据冲突作为升级处理的触发因素。除非已针对具体任务证明,否则模型置信度评分并不是经过验证的正确概率。这是一种建议的实施模式,而非监管分类。
延伸阅读:FDA——关于使用人工智能支持药品和生物制品监管决策的考量;NIST——人工智能风险管理框架
审批关卡检验清单
- 本次审批将授权哪一项具体决策或行动?
- 谁具备相应能力以及被授予或依法承担的权限?
- 审核人员能否核验来源、版本、不确定性及后果?
- 任何重大变更是否都会在执行前使原审批失效?
- 如果缺少证据或授权,工作流程能否安全停止并升级处理?
哪些制药决策需要设置人工审批关卡?
以下“决策—审批矩阵”是一项示例性治理建议。它将建议设置的审批关卡与适用情况下各角色既有的职责相结合。该矩阵并不表示每个司法管辖区均要求对列出的每项活动进行人工审批。实际角色与签名要求应遵循适用法律及已批准的程序。
| 工作流程 | 允许人工智能执行的行动 | 人工审批节点 | 最终责任角色(示例) | 保存的证据 |
|---|---|---|---|---|
| 监管申报签批 | 起草、核对及技术检查 | 传输前授权确切的最终申报包 | 申办方/法规事务授权审批人 | 申报包版本;目的地;声明;审批 |
| 安全性信号评估 | 汇总证据并建议优先级 | 验证/评估临床意义 | 具备资质的安全性/医学审核人员 | 个例依据;局限;理由 |
| 个例处理 | 提取候选字段;提示重复个例 | 解决具有重大影响或不确定的评估 | 安全性流程负责人/审核人员 | 原始报告;修改;分类 |
| 临床试验方案变更 | 起草备选方案及影响摘要 | 通过适用的申办方/伦理/监管路径批准变更 | 申办方及相关临床/统计角色 | 版本比较;科学依据 |
| 数据质疑 | 识别不一致;起草质疑 | 批准具有重大影响的解释;常规路由可在限定范围内进行 | 临床数据负责人/研究者,视情况而定 | 来源关联;质疑历史 |
| 医学审核 | 汇总证据;标识问题 | 批准医学结论 | 具备资质的医学审核人员 | 证据;不确定性;评估 |
| 生产偏差 | 汇集记录;提出假设 | 批准调查结论 | 质量/流程负责人 | 记录链接;影响;根本原因依据 |
| 纠正和预防措施(CAPA) | 提出措施并跟踪任务 | 批准措施及经有效性确认后的关闭 | 质量审批人 | 理由;实施;有效性 |
| 批次处置 | 汇总放行证据及例外 | 保留规定由授权质量人员/受权人作出的决定 | 授权质量角色/受权人(QP),如适用 | 受控记录;认证 |
| 供应商资质审定 | 汇总尽职调查及风险提示 | 批准资质或限制条件 | 供应商质量负责人 | 来源可靠性;未解决的发现 |
| 细胞与基因治疗(CGT)证据解读 | 梳理文献并识别缺口 | 批准科学/转化研究结论 | 相关科学/临床专家 | 来源;适用性;局限 |
| 行政分类 | 应用获批标签或路由 | 审核例外;无需对所有低风险标签设置审批关卡 | 流程负责人 | 规则/配置;交易历史 |
人工智能审批工作流程蓝图
采用明确的状态机:接收 → 来源/数据核查 → 建议 → 政策/风险核查 → 授权审核 → 执行 → 经核对的历史记录 → 定期审查。以下控制措施是建议的工程要求,旨在使组织政策能够得到强制执行。
- 接收:为事项分配唯一标识,注明产品/背景及紧急程度;保留原始输入。
- 来源/数据核查:核验来源、权限、版本及必填字段;如缺少关键信息,应停止处理或升级。
- 建议:标识人工智能生成的内容、支持证据、假设及尚未解决的不确定性。
- 政策/风险核查:在模型之外执行已批准的规则;确定角色、审批范围及允许使用的工具。
- 审核:提供明确的批准、拒绝或要求澄清选项;沉默和时间流逝均不构成批准。
- 执行:将审批绑定到确切的内容、目标、版本及行动;拒绝过期或已不再适用的审批,并重新核查权限。
- 历史记录与核对:记录实际执行结果及确认信息,而不只是执行意图;保留能够显示篡改痕迹的历史记录。
- 定期审查:抽查已批准及被拒绝的工作,审查例外,并重新评估审批关卡是否仍然有效。
实施细节至关重要。应使用防重复执行标识,避免重试产生第二次申报或重复个例。如果审批后内容发生变化,应按照明确的重要性判定规则重新评估。审计追踪能够显示一个有缺陷的流程是否完全按设计运行;它是证据,而非合规性的证明。
决策权限、RACI矩阵与职责分离
明确由谁提出建议、审核、批准、管理及审计。服务账户可以准备工作,但不应自行授予审批权限。授权委托应明确范围、生效及失效日期、能力要求以及替代人员,而非共享登录凭据。在有依据或有要求时采用双重审批,不应将其作为普遍性的形式要求。
| 活动 | 执行责任方(R) | 最终责任方(A) | 征询/独立检查 |
|---|---|---|---|
| 制定审批政策 | 流程负责人 | 指定业务/质量负责人 | 法规事务;医学/药物警戒;法务;安全 |
| 准备建议 | 人工智能操作人员/系统负责人 | 流程负责人 | 领域专家 |
| 批准受监管结论 | 获授权的领域审核人员 | 适用程序/法律指定的角色 | 相关跨职能专家 |
| 管理访问权限 | 系统管理员 | 系统/服务负责人 | 安全;质量;访问权限审核人员 |
| 发布配置变更 | 技术/变更负责人 | 获授权的变更审批人 | 质量及受影响领域负责人 |
| 审计控制有效性 | 独立保证职能 | 保证职能负责人 | 流程及技术负责人 |
此RACI矩阵仅作示例。每项明确界定的审批决策应由一个具名角色承担最终责任,同时仍须单独识别专业责任或法定责任。管理员不应能够在不被察觉的情况下改写审批历史。紧急访问必须有时间限制、说明理由,并接受独立审查。
相关参考资料:FDA——第11部分指南;EudraLex——第4卷
电子记录、电子签名及可供检查的证据
工作流程中的确认并不自动构成具有法律意义的电子签名。应确定相关记录与签名是否属于适用要求的范围。FDA关于第11部分适用范围的最终指南不具约束力;第11部分本身在适用时仍然有效,并与相关基础法规要求共同适用。有限的执法裁量并不意味着全面豁免记录完整性、授权访问或签名控制要求。
欧盟GMP附录11涉及计算机化系统,附录16涉及受权人认证及批次放行。自动化检查不能替代规定由授权人员进行的认证。应针对受监管活动实施控制,而非在未评估预期用途的情况下将软件标榜为“符合GxP”。
审批证据包应关联原始来源及版本;相关系统/模型/配置标识;重要输入及输出;政策检查;审核人员身份及角色;具有明确时区参照的时间戳;决策及理由;获批执行的具体内容;执行结果;以及后续更正。应记录足以重建决策的信息,而非不加区分地保留敏感数据。
证据应保存在指定的权威记录系统中,或与该系统建立可靠关联。如果无法在受控记录中识别获批输出,单独的聊天记录并不足够。应保障留存、可访问性及变更历史,并证明导出的证据保留了原有内容及含义。
例外、人工推翻与人机意见分歧
将来源缺失、意外输入、证据矛盾及权限失败的事项分流至有明确责任人的例外处理队列。应根据业务后果而非解决难度确定紧急程度。在安全性工作流程中,审核队列不得妨碍满足适用报告时限;应制定获批的紧急备用处理方案。
对于重大人工推翻或修改,应要求提供与其重要性相称的理由,并保留原始建议。对于意见分歧,自动接受或自动拒绝都不恰当。应区分审核人员的更正与经授权的政策例外;后者必须遵循指定的升级路径。既要跟踪已实际发生的执行错误,也要跟踪险些发生的错误。
假设示例:某智能体因一份证书看似仍在有效期内而建议批准供应商,但审核人员发现该证书涵盖的是另一个生产场地。应拒绝该建议,保留不匹配证据,并调查类似输出。通过变更管理纠正来源匹配控制,而不是允许模型修改自身的审批规则。
只有在影响可逆时,回滚才有意义。对外沟通可能需要更正及影响评估,而非悄然删除。执行失败应保持可见,直至完成核对和处置;重试时不得将原审批用于发生重大变更的内容或不同目的地。
验证、监测与变更控制
在测试前明确预期用途与验收标准。应同时验证人工智能辅助任务和审批机制:未经授权的角色能否审批、失效审批能否触发执行、已拒绝事项能否继续处理、证据能否重建?应针对来源缺失、版本冲突、工具故障及并发编辑开展挑战测试。
将审核人员作为工作流程的一部分进行测试。人为植入具有重大影响的错误,评估用户在现有证据和现实工作负荷下能否发现这些错误。培训应涵盖模型局限、升级处理及自动化偏见,而不只是界面操作。如果具备能力的人员缺少时间、证据或权限,监督就是薄弱的。
对模型、提示词、检索索引、权限、路由规则及集成的变更进行控制。评估影响并重新运行相关回归测试。监测性能漂移及审核负荷,并设置降低自主程度或暂停运行的阈值。定期审查是对变更触发重新评估的补充,而非替代。
监管环境:FDA、EMA、欧盟《人工智能法案》与GxP
| 来源 | 状态/范围 | 对审批控制的意义 |
|---|---|---|
| FDA药品/生物制品人工智能指南 | 2025年1月草案;不具约束力;不供实施 | 关注使用情境中的可信度;并非普遍允许自主审批 |
| EMA药品全生命周期人工智能反思文件 | 2024年9月通过;欧盟科学反思文件 | 全生命周期风险评估及适当责任归属 |
| 欧盟《人工智能法案》第14条 | 对适用高风险系统具有约束力;分阶段适用 | 与风险相称的有效监督、解释、推翻及安全停止 |
| FDA第11部分/适用范围指南 | 法规在适用时具有约束力;2003年9月指南不具约束力 | 评估记录/签名、身份、权限及基础法规要求 |
| 欧盟GMP/ICH GCP | 取决于活动及司法管辖区的要求 | 保留适用的质量责任及申办方/研究者责任 |
| NIST人工智能风险管理框架(AI RMF) | 自愿性框架;AI RMF 1.0正在修订 | 组织监督、评估及监测,但不得声称获得认证 |
这些来源并不是可以相互替代的法律工具。FDA于2025年1月发布的文件仍明确为草案,EMA反思文件已获通过,而NIST框架属于自愿性质。ICH E6(R3)原则及附录1自2025年7月23日起在欧盟生效;附录2自2027年1月15日起生效。各地区的实施情况有所不同。
截至2026年11月16日,欧盟委员会公布的《人工智能法案》一般适用日期为2026年8月2日,高风险系统的修订适用日期为:附录III相关系统为2027年12月2日,附录I所涉产品相关系统为2028年8月2日。分类取决于实际系统、用途及相关条款;并非所有制药人工智能都属于高风险。药品及GxP义务仍独立适用。此处时间表引自欧盟委员会的概述,而非对完整合并法条进行的全面法律评估。
延伸阅读:EMA——关于在药品全生命周期中使用人工智能的反思文件;FDA——人工智能支持监管决策的考量;NIST——人工智能风险管理框架;欧盟《人工智能法案》
实施路线图与监督关键绩效指标
第1—30天:盘点具有重大影响的行动,识别授权角色,并梳理现有记录、签名及例外。第31—60天:配置审批关卡、证据包、权限及备用路径;按照预先设定的验收标准测试。第61—90天:完成用户验收,解决关键发现,并在批准的范围内启用受监测的生产运行。这些是规划时段,并非保证的部署周期。
| 关键绩效指标 | 定义/局限 |
|---|---|
| 人工修改或拒绝率 | 重大修改/拒绝次数除以已审核建议数;低比率可能反映审核松懈 |
| 升级处理率 | 升级事项数除以符合统计条件的事项数;按原因及紧急程度细分 |
| 审核周转时间 | 从“可供审核”状态到责任人员作出决策的时间;检查紧急异常值 |
| 证据不足建议率 | 抽样建议中缺乏充分支持证据的建议比例 |
| 审计追踪完整性 | 抽样决策中包含全部必需证据要素的情况 |
| 漏升级事项(假阴性) | 经判定应升级处理但工作流程未识别的事项 |
| 审批后更正 | 获批后因重大错误而更正的事项;区分严重程度 |
上线前应明确分母、抽样方式、负责人及干预阈值。应将速度与独立质量审查及队列处理能力结合考量。如果审核人员遗漏具有重大影响的错误,或批准超出自身能力范围的事项,更快的审批关卡并不意味着更好。
HERMS如何支持落实人的责任
“模型提出建议;规则引擎作出判断;审计追踪保存记录”是HERMS建议的运行方法,并非声称已部署并验证了相关能力。这里的规则引擎负责判断路由以及执行条件是否满足;它不能替代人员必须作出的专业判断或依法承担的判断。
在这一方法下,建议始终与可核验的证据关联,基于角色的审批关卡控制具有重大影响的行动,不确定性则触发升级处理。HERMS介绍的解决方案领域涵盖法规事务、安全性、生产及先进疗法。其适用性及实际审批控制必须针对预期部署加以确定,不能仅凭产品组合描述进行推断。
了解HERMS解决方案,讨论围绕您的审批边界、证据要求及责任角色开展的演示。
常见问题
每项人工智能输出都需要人工审批吗?
不需要。范围明确的低风险处理可以在获批边界内自动进行。凡法律或程序要求,或风险足以构成理由的环节,应事先审批。应记录哪些行动可以自动处理、哪些需要核验、哪些必须明确授权;不要把生成的草稿等同于行动许可。
智能体可以批准自己的建议吗?
在要求独立审批或由获授权人员审批的情况下,不可以。作为建议的控制措施,应将建议生成与权限检查及审批权分离。模型不应自行授予权限、改变自身阈值或使用他人的登录凭据。
仅设置置信度阈值是否足够?
不够。置信度可能校准不佳,无法证明来源有效性、法规适用性或授权情况。应将经评估的任务性能与强制政策检查、证据可用性及例外触发条件结合使用。新颖或具有重大影响的个案,即使评分很高,也可能需要审核。
什么样的电子审批具有充分的可辩护性?
具有充分依据的记录应明确授权人员、决策、证据、获批版本及后续行动。正式电子签名要求取决于适用规则。通用审批按钮或详细审计日志本身并不能证明这些要求已经得到满足。
应如何处理紧急例外?
采用预定义的紧急程度规则、具名替代人员、限时升级机制及获批备用方案。沉默不得被视为授权。记录采取了什么行动及其原因,随后审查例外。紧急情况应加快责任明确的处置,而不是悄然取消必要的安全或质量控制。
团队如何避免审核瓶颈?
将审批关卡保留给具有重大影响的决策,按照能力及紧急程度分流,提供简明证据包,并监测队列处理能力。测试审核人员能否识别错误。应改善来源检查和路由,而不是通过削弱必要审批来应对拥堵。
何时必须重新审批?
当重大变更影响已批准内容、目的地、行动或支持依据时,应按既定程序重新审批。授权到期或出现相关新风险时,也应重新评估。系统应设计为拒绝失效审批,而不是依赖审核人员发现每一项下游变更。
关于相关视角,前几篇文章讨论了自动化边界、智能体式与生成式架构的区别,以及企业人工智能治理。本文聚焦于将这些政策落实到每项重大决策的执行控制。
通过HERMS解决方案讨论治理准备度评估或以工作流程为重点的演示,并将审批权限、例外处理及检查证据明确列为评估标准。
相关HERMS解决方案
了解与本文所述工作流程相关的HERMS解决方案:
- ATTESTRA——完整性与数据治理
- VERIQIS——证据完整性与保障
- AXION——生产质量
应根据预期用途、证据要求及审批要求评估每项解决方案。
来源与延伸阅读
- FDA——第11部分:电子记录与电子签名——适用范围与实施
- 欧盟委员会——EudraLex第4卷:药品生产质量管理规范
- EMA——ICH E6:药物临床试验质量管理规范
- 欧盟委员会——《人工智能法案》第14条:人工监督
- FDA——关于使用人工智能支持药品和生物制品监管决策的考量
- NIST——人工智能风险管理框架
- EMA——关于在药品全生命周期中使用人工智能的反思文件
- 欧盟委员会——人工智能监管框架
探索制药人工智能系列文章
- 人工智能决策权限与人工监督
- 制药领域的智能体式人工智能与生成式人工智能
- 生命科学领域的人工智能治理
- 用于监管及市场准入的真实世界证据
- 人工智能医疗器械验证与变更控制
- 全球药品市场准入、卫生技术评估(HTA)及定价证据
了解HERMS生命科学解决方案,并申请以工作流程为重点的演示。
原文链接:https://www.hermsglobal.com/human-in-the-loop-ai-pharmaceutical-approval-controls
本文件为HERMS英文在线文章可编辑Word副本的简体中文译本。内容及监管状态反映原文于2026年11月16日发布时的情况。
