先建立数据字典
- 明确每个字段的含义、单位、允许范围、空值与异常值。设备名称相同不代表字段语义一致。记录采集方式和处理历史,区分原始值、人工修正值与计算派生值。
做有针对性的抽查
- 检查重复、跳变、时间倒序和不同来源之间的矛盾。图像任务抽查标签,时序任务检查采样间隔,模型参数检查物理范围。通用统计报告不能替代领域规则检查。
缺失数据如何处理
- 根据用途选择补采、排除或显式估计,并记录处理规则。不能将估计数据当作实测数据混入验收集。若关键结论对缺失项敏感,应停止相应分析或将结论降级为假设比较。
交付数据质量记录
- 保存问题清单、清洗规则、版本和样本数量变化。让接收方知道哪些数据可用于训练、验证或展示。数据处理后的效果要能追到原始输入,不能只交一个不透明的最终文件。