受监管医疗健康领域负责任人工智能的一项指导原则。
人工智能能够以任何团队都无法企及的速度阅读、总结并提出建议。然而,在医疗健康与生命科学领域,缺乏问责机制的速度本身就是一种风险。
HERMS 的构建遵循一条规则:模型从不作出决策,只提出建议。规则引擎作出决策,审计追踪则记录两者。
概率性组件与确定性组件之间的这一界限,使每一项结果都具有可解释性。审核人员可以查看模型提出了什么建议、应用了哪些规则,以及最终决策为何如此作出。
同一原则也支持受治理的学习。平台通过经过管控和审核的更新持续改进,绝不依赖在无人监督的情况下改变系统行为的失控自动化。
对于监管机构和合规负责人而言,这正是“必须信任的人工智能”与“能够核验的人工智能”之间的区别。
