我们都经历过——有些仪表盘异常过时,但您可能仍然需要紧急使用这些数据进行报告。
如何快速启动并运行仪表盘? 最终,数据中断可以归纳为 3 个主要方面。 从这些思路出发,帮助您进行探索
- 输入: 馈入数据管道的数据已更改。
- 转换: 转换逻辑已更改。
- 运维: 由于计划变更、权限变更、运行时错误和基础设施故障等问题,数据系统无法按预期运行。
要准确查明可能出错的地方,请按照以下步骤操作。
从源头开始
通常,仪表盘是由来自多个数据源的一系列转换构建而成。目标是追溯到上游的第一个出现问题的节点。最好的情况是,最直接的节点导致了错误,您可以立即修复它。最坏的情况是,问题源于原始节点,您需要回填每个损坏的数据表,直到到达有问题的节点。
如果您可以访问数据沿袭文件,就可以鸟瞰仪表盘中所有数据库之间的关系。从最直接的上游节点开始,向后回溯以检查哪个节点面临问题。
检查查询
既然您已经确定了中断的根源,下一步是弄清楚表创建背后的逻辑。
1) 搜索日志: 最近修改或重写了哪个查询? 这些更改如何影响数据集?
2) 调查逻辑: 任何查询中是否存在可能导致错误的漏洞?
深入数据
希望到现在您已经对导致数据错误的原因有所了解。但是,如果完成上述步骤后仍未找到问题的根本原因,您可以检查数据集,注意以下事项,例如
- 时间段 - 数据是否在特定时期内出现错误?
- 时间戳 - 数据是否在正确的时区?
- 货币 - 您的货币换算是否错误?
- 分段 - 是否有任何查询未涵盖的新分段? 例如:桌面、移动设备;域名;
- 格式 - 应该是数字的字段中是否有任何文本?
调查生产环境
如果不是数据问题,那么错误很可能出现在运维环境中。数据系统日志可以突出显示潜在的中断区域,例如
- ETL 工具和数据库之间的数据同步延迟;
- 运行作业中的错误;
- 作业计划的变更;
- 处理时间过长;
- 网络、访问权限和/或数据基础设施的变更;