← 所有洞察
HERMS · 洞察

生命科学中的人工智能治理:制药公司的实用框架

全球生命科学 AI · 2026 年 11 月 16 日出版 · HERMS 咨询公司 DMCC

探索HERMS生命科学平台和我们的监管事务专业知识。

生命科学中的人工智能治理是决定可以使用哪些系统、它们需要什么证据、谁批准相应决策以及如何控制失败的操作模型。 一个实用的框架连接了责任所有权、风险分类、数据控制、验证、人工监督和生命周期监控——而不是简单的道德政策。

治理始于一个负责任的决定

一家制药公司需要的不仅仅是批准的人工智能工具列表。 它需要一种书面的方式来决定特定配置是否适合特定活动——以及组织是否可以在数据、模型或工作流发生变化后继续依赖它。

相关问题不是“这个模型符合要求吗?” 它是:“这个在这些范围内运行的系统能否以可接受和可证明的风险支持这一决定?” FDA 的框架草案框架同样强调了特定使用环境的模型可信度,而 EMA 采用的反思论文涉及药品生命周期的人工智能。 两者都不提供对 AI 架构或供应商的全面接受。 FDA 药物/生物 AI 指南 EMA AI 药品生命周期反思论文

因此,可实施的制药 AI 治理框架连接了三个记录:

  • 定义目的、所有者和限制的用例记录。
  • 记录风险、控制和支持证据的保证记录。
  • 显示批准、更改、监控和事件的操作记录。

下面的框架是一个拟议的组织模型。 它的层级、委员会和批准门是建议——而不是普遍规定的监管结构。

在分配控件之前定义范围

治理应涵盖通过连接工具协调行动的预测模型、生成系统和代理。 包括内部开发的应用程序、购买的软件、嵌入式供应商功能和员工配置的助手。

相关用途跨度发现、临床运营、法规事务、药物警戒、制造、质量、供应商评估和市场准入。 EMA 的反思论文明确考虑了 AI 从发现到授权后的设置。 EMA AI 药品生命周期反思纸

区分信息使用和随之而来的依赖。 总结公共文献进行探索不同于准备安全评估中所依赖的证据、更改受控记录或触发外部提交。

因此,相同的模型可能需要在不同的工作流中进行不同的控件。 记录实际活动、用户、数据和下游决策——而不仅仅是软件名称。

七个治理支柱

1.用例清单和预期用途

所有者:业务流程所有者,由 AI 技术所有者支持。

为每个重大不同的用途创建一份库存条目。 记录目标、系统配置、用户、司法管辖区、数据类别、连接工具、输出、下游依赖和禁止的行动。

将预期用途写为可测试陈述:“从批准的源文件中提取候选人字段以进行合格审查”比“自动化合规性”更有用。

证据应包括预期用途声明、系统边界图、负责人和审查日期。 文件可预见的误用,包括将建议草案视为经批准的结论的员工。 这种操作方法支持特定于上下文的风险评估,而不是模型级别的概括。 FDA 药物/生物 AI 指南 NIST AI 风险管理框架

2.风险分类和决策权

所有者:过程所有者,具有相关的质量、监管、临床/安全和控制功能参与。

评估对照前的固有风险和控制后的剩余风险。 考虑患者和产品的影响、敏感性、外部影响、可逆性、依赖程度以及是否可以实际检测到错误。

对于代理,分别定义读取、推荐、写入和传输的权限。 批准分析存储库不是批准修改它。

证据应包括风险评估、许可登记和批准途径。 现有的法律责任和授权程序优先于组织的内部授权模式。 NIST AI 风险管理框架 Eudralex 第 4 卷 — GMP 指南

3. 数据质量、出处、隐私和安全

所有者:数据所有者,由隐私和信息安全支持。

指定允许的来源、访问权、保留、地理限制和供应商处理安排。 保留源标识、版本和相关上下文,以便审阅者可以验证声明。

将检索到的文件视为证据,而不是说明。 不得允许不受信任的文本扩展代理的权限。 对服务帐户应用最小权限以及单独的开发、测试和生产访问权限。

证据包括源资格认证、数据流映射、访问审查和安全测试。 生成人工智能风险管理应解决通过第三方引入的信息完整性、隐私、安全性和风险。 NIST 生成式 AI 配置文件

4. 验证、测试和保证

所有者:技术所有者; Quality/GXP 与流程所有者确定适用的受监管的保证预期。

在测试之前定义验收标准。 通过代表性输入、缺失证据、相互冲突的来源、恶意指令、集成失败和不适当的权限来挑战完整的工作流程。

将分析性能与操作控制分开:准确的答案并不能证明路由、签名或工具执行是正确的。

证据应包括要求、测试数据集、结果、未解决的偏差和接受决定。 保证必须与预期用途相匹配; 仅凭供应商基准并不能证明是否适合公司配置的流程。 FDA 药物/生物 AI 指南 Eudralex 第 4 卷 — GMP 指南

5. 人工监督和异常管理

所有者:流程所有者和相关的合格决策者。

指定审稿人必须检查哪些证据,他们收到哪些证据以及何时必须停止工作。 审稿人需要能力、足够的时间和权力来拒绝建议。

定义代表、紧急升级和处理所需的审核人员不可用时的处理。 如果审阅者无法检查来源或工作流程在批准之前执行,那么人工批准步骤无效。

证据包括审阅者培训、批准记录、例外程序和审查有效性的测试。 当 AI 支持这项工作时,适用的临床、质量和受监管的签名职责仍然有效。 ICH E6 良好的临床实践 Eudralex 第 4 卷 — GMP 指南 FDA 第 11 部分 — 范围和应用

6. 监控、变更控制和事件响应

所有者:技术服务所有者,具有流程所有者和相关的质量或安全功能。

监控实际性能、异常和权限违规。 控制模型、提示、检索索引、规则、集成和批准的源的更改。

预定义暂停触发器和回退过程。 调查一个错误是否影响以前的输出,而不仅仅是当前的事务。

证据包括监测报告、变更评估、事件记录和纠正措施。 生命周期监控应满足不断变化的系统行为和操作条件,符合风险管理原则。 NIST AI 风险管理框架 NIST 生成式 AI 配置文件

7. 文档、可审计性和改进

所有者:流程所有者,由记录管理和独立保证支持。

维护一个可审查的证据链,将源、配置的系统、输出、人为决策和执行的行动联系起来。

根据批准的时间表保留与决策相关的记录。 不要不分青红皂白地记录敏感数据或假设隐藏的模型推理可用。

证据包括版本历史记录、访问记录、材料工具事件、批准、审计结果和改进行动。 电子记录控制取决于适用的活动和规则; FDA 的第 11 部分指南明确将基本记录义务与其有限的执法自由裁量政策区分开来。 FDA 第 11 部分 — 范围和应用

应用风险等级而不将其与法律分类混淆

以下四层是内部治理类别。 它们不是欧盟人工智能法案的法定风险类别。

内部层典型特征拟议批准门升级触发器
低信息性; 有限的依赖; 轻松纠正; 批准的低灵敏度数据流程所有者批准和基本安全检查新的敏感数据、操作依赖或外部行动
中等进入既定审查流程的草案或建议过程和技术验收; 相关控制功能审查无法验证的证据、重复的重大错误或扩展权限
高对受监管的证据、安全性、质量或受控记录的重大影响生产前的适用质量/GXP 保证和域验收严重缺失、未经授权的写入、控制故障或重大配置更改
临界潜在的严重伤害、不可逆转的影响或干扰所需的授权决定执行风险决策加上所需的域批准; 禁止不受支持的自主行动失去监督、无法重建决策或不可接受的残余风险

不要因为其他因素得分高而将严重后果平均化。 较差的人类可检测性会使明显可逆的行为变得危险:该组织无法扭转它无法识别的错误。

禁止或非法使用仍然被禁止; 内部委员会不能将其批准为可接受性。 法律分类必须按预期目的、管辖权和行为责任分开评估。 欧洲委员会 AI 法案实施概览

明确决策权

下面的矩阵是一个说明性的 HERMS 治理建议,而不是一个普遍的法律规则。 实际批准角色必须遵循适用的法律、授权和批准的程序。

应用提议的人工智能自主权所需的人力角色关键证据/控制
监管提交起草检索证据并准备候选文本监管和科学审稿人批准受控内容经过验证的源到索赔链接; 版本控制
最终提交批准组装和检查批准的包裹; 仅在授权工作流中传输授权申请人/赞助程序保留批准和签名批准绑定到打包、目的地和版本
文学筛选搜索、优先级和识别候选记录Domain Reviewer 解决相应或不确定的分类覆盖测试; 原件; 记录的排除
光伏信号评估编译模式并提出优先事项合格的安全/医疗人员评估重要性可追溯的证据; 不确定性; 升级
临床方案设计比较选项和草稿替代方案赞助商和相关的临床/统计审查员; 适用的道德/法规审查科学理由和参与者保护
基因治疗证据评估绘制文献和识别证据差距科学、临床和生物安全专家评估结论出处; 翻译限制
GMP 偏差收集证据并提出调查路径质量批准结论、行动和结束调查记录; 因果理由
批处理检查记录和标记异常适用的授权质量/QP 职责仍然存在受控记录; 需要认证
供应商情报巩固证据和标志问题供应商-质量/采购业主决定资格源可靠性; 冲突; 记录的决定

重要的控制权不仅仅是职称。 它是与证据、能力和可执行的工作流程相关联的明确决策权。 相关的临床和 GMP 职责与代理人生成或执行行动的技术能力不同。 ICH E6 良好临床实践 Eudralex 第 4 卷 — GMP 指南

在不创建治理瓶颈的情况下分配角色

使用类似于 RACI 的模型,但为每个决定保留一个已确定的负责人。

角色主要责任
负责任的执行批准政策、资源和风险偏好; 解决合法权威范围内的升级
过程所有者拥有预期用途、运营成果、培训和持续适用性
QA/GXP确定适用的质量体系控制; 监督保证、偏差和受监管的变革流程
调控评估管辖权、面向权威的索赔和提交控制
光伏/医疗/临床拥有相关的专业解释和安全/临床审查
法律/隐私/信息安全评估法律基础、合同、机密性、数据保护和网络安全
数据/AI 技术所有者维护架构、配置、集成、测试和监控
独立保证挑战在没有常规执行的情况下控制设计和操作有效性

中央治理论坛应制定标准并解决高风险例外,而不是批准每一个低风险的提示。 否则,治理变成了队列而不是控制。

文件代表和利益冲突。 独立性尤其重要当同一个团队开发系统、评估其性能并主张部署时。

管理供应商和模型供应链

供应商资格应检查实际购买的服务:模型访问、托管应用程序、检索服务、集成提供商或组合平台。

要求与风险成正比的证据:

  • 数据使用、保留、培训使用和子处理器。
  • 访问控制、事件通知和服务连续性。
  • 模型/配置更改和可用的版本控制。
  • 评估证据、限制和客户责任。
  • 记录和退出安排的可出口性。

供应商证书是支持证据,而不是特定用途评估的替代品。 ISO/IEC 42001 涉及 AI 管理系统; 它不授权药物、验证特定工作流程或证明遵守每项药物义务。 ISO/IEC 42001:2023 官方概述

合同应支持运营控制。 如果服务可以在没有可用通知或可接受的回退的情况下发生重大变化,则要求提前变更评估的政策是无效的。

了解每个监管资源的贡献

源状态/领土实用治理含义
FDA 药物/生物 AI 指南2025 年 1 月草案; 我们; 不具约束力且不用于实施根据定义的使用情况评估可信度; 不要称之为最终
EMA AI 反思纸采用; 2024年9月首次发布; 欧盟科学反思论文考虑整个药品生命周期的人工智能风险
欧盟人工智能法案具有差异化范围和阶段性的具有约束力的欧盟立法分别评估分类、行为者责任和适用义务
NIST AI RMF 和 Genai 简介自愿的跨部门资源结构生命周期风险管理和生成人工智能控制
ISO/IEC 42001:2023国际人工智能管理体系标准建立和完善组织管理安排
ICH/GXP 和电子记录控制依赖于管辖权和活动的实施保留适用的试验、质量、验证、记录和签名责任

这些资源是互补的,而不是等价的。 FDA 页面仍然是明确的草稿; EMA 将其反思文件识别为采用。 NIST 将其框架描述为自愿的,ISO 将 42001 标识为管理系统标准。 FDA 药物/生物 AI 指南 EMA AI 药物产品生命周期反思论文 NIST AI 风险管理框架 ISO/IEC 42001:2023 官方概述

截至 2026 年 11 月 16 日,委员会报告了 2026 年 8 月 2 日起的一般欧盟 AI 法案申请,但除例外。 其当前实施页面报告了附件三和2028年8月2日对AI综合之后的附件I产品相关系统的2027年12月2日修订的高风险日期。 因此,并非每个制药 AI 工具都会自动高风险或受相同时间表的约束。 欧洲委员会 AI 法案实施概览

对于欧盟临床试验,ICH E6(R3) 原则和附件 1 于 2025 年 7 月 23 日生效; 附件 2 于 2027 年 1 月 15 日生效。这些是欧盟实施日期,而不是全球生效日期。 ICH E6 良好的临床实践

2011 年 1 月,现行的 Eudralex 指数列出了附件 11。修订后的附件 11 和拟议的 AI 附件 22 于 2025 年进行了咨询; 经审查的来源没有确定最终采用。 它们不应作为有效的最终要求提出。 Eudralex 第 4 卷 — GMP 指南 GMP 第 4 章、附件 11 和拟议的附件 22 咨询

按比例验证并保存可信的记录

并非每个 AI 工具都是自动 GXP 计算机化系统。 确定其预期用途是否影响受管制的活动、所需记录、患者安全或产品质量。

对于相关系统,将需求连接到测试和测试到验收决策。 包括源出处、访问、集成行为、审阅者控制、故障处理和保留。

保留原件并区分机器生成的候选信息与批准的记录。 在适用电子签名的情况下,保持所需的身份和签名控制; 代理人不得冒充授权人。

FDA 的第 11 部分范围指南指出,第 11 部分仍然有效,尽管有特定的执法自由裁量权,但基本的谓词规则义务仍在继续。 因此,通用的“第 11 部分合规”供应商索赔不会解决特定部署的适用性或充分性。 FDA 第 11 部分 — 范围和应用

解决可预测的故障模式

故障模式具体建议保障
幻觉或不正确的归因根据权威来源段落验证材料索赔
偏见或不具代表性的表现测试相关人群、语言和操作条件
及时注射将外部内容视为不受信任; 执行外部模型指令的授权
数据泄漏限制数据流、权限、保留和提供程序处理
模型或检索漂移监控质量; 控制版本; 重新评估物质变化
可追溯性不足捕获源版本、配置、重大事件和批准
自动化偏差测试审稿人; 需要循证审查; 样品接受的独立输出
第三方依赖失败合格供应商; 定义通知、连续性和退出控制

这些保障措施使风险管理付诸实施; 它们并不声称任何单一技术都消除了相关的风险。 生成人工智能保证需要分层控制和持续评估。 NIST 生成式 AI 配置文件

两种说明性治理方案

档案答案中的来源归因不正确

助手起草对权威问题的回应并引用了一项真正的研究,但引用的段落不支持其结论。

审核人在批准前拒绝索赔。 该团队保留输出,评估其他部分是否受到影响并调查检索和归因性能。 纠正措施解决了失败模式——不仅仅是句子。

治理教训是,引文存在和引用正确性是不同的接受标准。

需要医疗审查的安全信号优先级

系统将低优先级分配给潜在信号,因为报告稀少,而可用的叙述表明了一种临床上重要的模式。

合格的安全人员审查证据并覆盖优先级。 流程所有者检查类似案例是否优先级,并在适当评估后调整监测或升级标准。

治理教训是优先级支持工作负载管理; 它不能默默地取代负责任的医学评估。 这两种情况都是假设的。

分阶段实施,每个门口都有证据

期可测量的可交付成果先决条件
天数 0-30批准的章程; 指定所有者; 初始库存; 对未评估的后果性用途的临时限制执行赞助和与企业/系统所有者的访问权限
第 31-60 天风险评估的优先用途; 预期用途记录; 供应商/数据审查; 定义的接受标准商定的分层方法和相关控制功能参与
第 61-90 天完成试点测试; 训练有素的审稿人; 监测、事故和回退程序; 记录在案的接受决定合适的数据、受控环境和解决的关键发现
第 90 天向后定期审查; 变革引发的重新评估; 供应商监督; 独立抽样; 退休计划稳定的所有权、保留证据和运营监控

这些是计划窗口,而不是承诺的实施持续时间。 高风险部署不应仅仅因为日历里程碑已经过去而进行。

测量控制有效性

在报告之前定义分母和证据来源:

  • 库存覆盖率:通过批准的发现方法建立的针对人口的识别用途。
  • 风险评估覆盖范围:当前批准的评估的积极用途除以主动用途。
  • 验证完整性:经批准的证据支持的适用接受要求。
  • 人工审查周转时间:按紧迫性分割的负责任审查的时间。
  • 覆盖率:按理性分类的重大更改或拒绝建议。
  • 事件遏制时间:从检测到记录的收容的经过时间。
  • 逾期审查:系统超过其批准的审查日期。
  • 出处完整性:采样输出具有足够的经过验证的源谱系。
  • 审计跟踪完整性:包含所有必需的决策和行动记录的抽样任务。

将速度指标与质量采样配对。 下降的超控率可能表明改善或自满。 没有通用目标适用于所有用途。

赫姆斯视角

Herms Global 将其产品组合围绕在开发、监管、制造、访问和安全方面的互联生命科学智能。 可追溯的证据、有限的自主权、明确的决策权和人力责任是评估此类工作流程的适当原则。 本文不独立建立产品验证、监管接受或部署性能。 Herms 解决方案

经常问的问题

制药公司的人工智能治理框架是什么?

它是所有权、政策、决策权、控制和从提案到退休的人工智能使用的保留证据的结合。 它应该将业务流程与适用的质量、安全、隐私和监管要求联系起来,而不是作为单独的道德文件存在。

当代理人提出受监管的建议时,谁负责?

问责制仍由组织和适用的授权角色负责。 明确识别流程所有者、技术所有者和合格的审阅者。 模型生成的推荐不会将法定、专业或程序责任转移到软件中。 ICH E6 良好临床实践 Eudralex 第 4 卷 — GMP 指南

哪些用途需要正式验证或人工签字?

评估预期用途、受管制影响、记录、适用法律和批准的程序。 随之而来的使用通常保证更强的保证。 所需的临床、质量或签名责任仍然适用; 每个 AI 输出都需要人工批准,没有普遍的规则。 FDA 第 11 部分 — 范围和应用 ICH e6 良好的临床实践 eudralex 第 4 卷 — GMP 指南

一种风险等级可以适用于整个公司吗?

一种通用的方法可以,但评估应保持特定用途。 同一平台可以支持探索性研究和相应的记录处理。 对每个配置和工作流进行分类,然后重新评估其数据、权限或依赖关系的变化。

ISO/IEC 42001 认证是否证明药品合规性?

不,它涉及人工智能管理系统。 它不取代特定用途的保证、适用的 GXP 义务、所需的批准或产品授权。 与部署证据一起评估认证范围,而不是将其视为普遍接受。 ISO/IEC 42001:2023 官方概述

系统何时应该暂停或退休?

暂停 当关键控制失败、未经授权的操作发生或无法证明可接受的性能时。 退休应撤销访问权限、禁用集成、保留所需记录并分配未解决输出的所有权。 在需要之前测试回退。

要讨论治理准备、可追溯证据和适当的决策权威,请探索HERMS 解决方案,并通过相关解决方案查询请求以工作流程为重点的演示。

相关的 HERMS 解决方案

探索与本文讨论的工作流程相关的 HERMS 解决方案:Atestra — 完整性和数据治理; veriqis — 证据完整性和保证; Regaxis — 注册生命周期智能。 根据您的预期用途、证据和批准要求评估每种解决方案。

资料来源和进一步阅读

探索医药AI系列

探索HERMS 生命科学解决方案 和AI 治理和可追溯性,或请求以工作流程为重点的演示。

如需技术咨询,
请致电 +971505528077

面向医疗专业人员

面向患者

面向研究人员

打造智能。革新生命科学。

HERMS 是智能平台。 其 应用 是决策引擎。HERMS 专家服务支持 HERMS 智能生态系统的落地实施与合规执行,涵盖监管与市场准入、药物警戒、合规与质量。

各国药品注册时限 · SFDA、MOHAP、EDE、EDA、EMA 与 FDA 时限 · GCC 集中注册