‧
阅读时间:3 分钟
对您的数据保持健康的怀疑态度
Metabase 团队
‧ 3 分钟阅读
分享本文
如果您不是整天埋头于数据的人,那么很容易想当然地认为您在图表或仪表板上看到的数字是万无一失的,永远不会误导您。然而,当您对数据越熟悉,您就会意识到情况并非总是如此。事实上,我们认为对这些数字持一点怀疑态度是个好主意。
我们当然不是让您抛弃事实,但我们都知道数据可能具有误导性、包含错误,并反映出偏见。重要的是要达到一个您对数据足够熟悉,能够知道何时出现异常,并知道如何应对异常情况的境界。
当数据波动时保持冷静
随着公司的发展,您将瞄准不同的受众,测试新功能,并调整优先级,您将会遇到一些令人恐慌的时刻,数据——客户注册、留存率、收入预测或其他指标——显示出您意想不到的情况。
当出现这些下降和飙升时,尽量保持冷静。当然,您希望尽快对信号做出反应,并在必要时纠正方向,但对每一次微小变化都做出过度反应并不是做出决策的方式。问自己这些问题:
-
数据管道中是否存在实际问题,例如血缘问题或时区错误?
-
您的问题是解释上的问题吗?也许您误读或误解了图表,那个高峰实际上并不意味着您所认为的。考虑检查或创建相关指标,这些指标可以从不同的角度来衡量这些数字。
-
这实际上只是一个意想不到的结果吗?
确实会发生令人惊讶的结果,但在改变方向之前,最好先确认基础数据。当数字看起来好得可疑时,这种冷静的反应甚至更为关键,因此不要仅仅根据数字就沾沾自喜。对于刚刚起步的小公司来说,要知道您的数据会随着时间的推移变得更可靠,因为您会收集更多数据,完善信息获取方式,并对哪些数字重要,哪些是背景噪音有更清晰的认识。
示例:净推荐值 (NPS) 的波动性
NPS(净推荐值)可能是一个熟悉的指标,它基于一个问题来衡量客户满意度:“您向同事推荐我们产品的可能性有多大?”
虽然NPS是一个有用的信号,但该指标本身可能极不稳定。您公司的NPS可能会因为每周样本量的变化,或者您对客户调查的长度或内容所做的调整等因素而大幅波动。
对于像NPS这样看似简单的指标,很容易看到一个低数值就立即产生灾难性的想法。此时,放弃严格的平均值,转而采用跟踪NPS随时间变化的滚动平均值会很有帮助。您可能还想创建一个可视化图表(例如条形图),它可以根据您在最近一个月或一个季度收到的调查数量来展示NPS的可靠性。
磨练“数据直觉”需要时间
对数据健康的怀疑态度不会一蹴而就,需要通过实践和反复试验来增强这种直觉能力。实践意味着除了数字之外,还要花时间进行定性研究,例如了解您的用户和产品。也要花时间了解数据的潮起潮落,例如特定指标是否会根据您所处的季度而波动。
如果您的组织有数据团队,与这些数据科学家和分析师建立良好关系,将极大地帮助您更熟悉这些数字。他们比您更了解这些数字(以及它们是如何产生的),可以建议新的方法来跟踪或可视化复杂的指标,或者提供您可能遗漏的关键背景信息。因此,利用他们的专业知识,尽可能多地了解贵公司所依赖的数据源以及它们的建模方式。
您对如何磨练数据直觉有什么建议吗?在Metabase论坛上告诉我们!