聚鑫汇模型风险
模型通过Independent Validation以后,为什么上线只是Model Risk Management真正开始的时间点?
一个模型完成了Independent Validation(独立验证),验证团队出具了正面结论,治理层批准上线——走到这一步,很多参与项目的人会有一种"任务完成"的感觉,后续的关注度自然会转移到下一个待开发的模型上。但从Model Risk Management的角度看,Validation通过更像是打开了一扇门,而不是关上了一本结案卷宗:模型正式投入使用之后,它才开始在真实、不断变化的业务环境里接受检验,这个阶段产生的信息,反而是判断模型是否值得信任的更关键依据。
上线后的工作至少包括两条持续的线:一是Monitoring,跟踪模型在实际使用中的运行状态,比如输入数据是否出现异常、模型输出的分布是否与验证时观察到的一致;二是Outcome Analysis,定期把模型的历史预测和已经实现的真实结果做比较,判断预测准确性是否仍然维持在验证时的水平。这两项工作都不是一次性的检查,而是需要按照模型的重要程度设定合理频率,持续开展。
把这两条线做扎实,机构才能真正回答一个问题:这个模型现在还值得信任吗?验证报告记录的是模型在验证那个时间点的表现,而业务环境会持续变化,模型上线之后的实际表现,才是决定它未来还能不能继续使用的真正证据。Independent Validation通过,标志着模型达到了投入使用的门槛,Model Risk Management的核心工作,恰恰是从这里才真正展开。
聚鑫汇模型风险
Vendor已经告诉机构"模型在全球很多银行使用"以后,为什么Local Validation仍然不能省掉?
供应商在推介一款模型产品时,经常会强调它已经被全球多家银行采用、经历过大规模实践检验,这类信息确实有参考价值——说明模型的基础设计和实现质量经受住了一定程度的考验。但"被广泛使用"回答的是"这个模型是否成熟可靠",而不是"这个模型是否适合本机构当前的数据和业务场景",这是两个不完全相同的问题,后者只能通过Local Validation(本地验证)来回答。
模型的表现高度依赖它所使用的数据分布和业务上下文。同一款信用评分模型,在某个市场的客群结构、征信数据完整度、监管环境下表现良好,换到另一个客群结构明显不同、数据来源和字段定义都有差异的市场,排序能力和Calibration都可能出现明显偏差。"很多银行在用"这个事实,并不能保证这些银行的客群、数据和业务规则与本机构完全一致,供应商的验证报告所依据的样本,往往也无法完全覆盖本机构的具体情形。
因此,无论供应商提供的历史应用记录多么丰富,机构在正式采用一个Vendor Model之前,仍然需要在自己的数据和场景下完成一轮独立验证,确认模型的排序能力、校准程度和适用边界符合本机构的实际情况,并在上线后持续跟踪本地表现。规模和知名度可以作为参考背景,但不能替代针对具体使用场景的验证工作。
聚鑫汇模型风险
生成式AI越来越像一个能够调用工具的Agent以后,为什么传统模型验证开始无法覆盖全部风险?
传统模型验证体系,是围绕"输入进去、输出结果、评估结果是否准确"这样一条相对简单的链路建立起来的:无论是信用评分模型还是市场风险模型,验证团队核心要回答的问题都是模型的输出是否可靠。但当一个生成式AI系统开始具备Agentic能力——能够读取多个数据源、调用外部工具、准备甚至执行一系列操作步骤时,仅仅验证"某一次输出是否正确",已经无法覆盖这类系统实际带来的全部风险。
一个具备工具调用能力的AI系统,风险可能出现在链路的任何一个环节:它读取的数据是否包含了不该被这个使用场景访问的敏感信息;它调用的工具和接口权限范围是否被合理限制;它在多步骤任务中生成的中间结论,是否会在后续步骤里被当作既定事实继续使用,从而放大早期的一个小错误;以及整个操作链条是否留下了完整、可追溯的记录,方便事后审查每一步决策的依据。这些问题,都不是传统"输出准确性验证"框架里原本设计要回答的内容。
这也是为什么金融机构在为Agentic AI设计治理框架时,需要在传统模型验证之外,额外建立权限分级机制、数据访问边界、人工审批节点和完整的操作日志。验证的对象,正在从"这个模型的一次输出是否正确",扩展为"这个系统在一整条自主决策链路上,每一步是否都在可控和可追溯的范围内",这是传统模型验证方法论原本没有覆盖、需要专门补充的部分。