准备资料时先处理哪些问题？
- 登记资料来源、有效期、版本和允许访问的角色；对重复、冲突或已废止内容进行标识。切分文档与建立索引之前，要先确认哪些内容可以进入模型或外部服务。
- 选取真实业务问题构建基准，覆盖有答案、无答案、跨文档、过期资料与权限受限场景。问答质量不能只靠上线前临时提几个问题判断。
怎样检查答案与引用？
- 分别评估是否检索到正确材料、答案是否由材料支持、引用是否能定位，以及信息不足时是否说明限制。流畅的表达不应掩盖错误依据。
- 把评价标准固定后再比较不同配置，保留检索片段与模型版本。人工复核有分歧时应记录判断规则，避免用单一主观评分替代业务验收。
工具执行需要额外约束
- 对查询、草拟和真正提交操作设定不同权限。涉及删除、付款、发布或设备控制等行为时，应按业务风险设计授权与确认，不能让模型仅凭文档中的指令执行。
- 异常时应能明确区分未执行、已执行和状态未知，防止重复提交。外部资料中的指令不应获得与用户指令相同的权限。
上线和移交检查
- 按风险记录适用范围、评测结果、已知失败模式和人工接管流程。NIST AI RMF 提供风险管理思路，并不是产品认证或准确率保证。
- 建议交付数据处理流程、权限配置、评测集、索引更新方法与审计入口。资料或模型版本发生变化后，应复跑关键基准。