‧
阅读3分钟
保持对数据健康的怀疑态度
Metabase团队
‧ 阅读3分钟
分享此文章
如果你不是一个整天与数据打交道的人,你可能很容易认为图表或仪表板上看到的数字是万无一失的,永远不会误导你。然而,当你对数据越来越熟悉时,你会发现情况并非总是如此。事实上,我们认为对这些数字保持一点怀疑态度是件好事。
我们当然不是让你抛弃事实,但我们都知道数据可能具有误导性,包含错误,并反映偏差。重要的是,要让你对数据足够熟悉,知道什么时候出现异常,以及出现异常时如何应对。
数据波动时保持冷静
随着公司发展,你将面向不同受众、测试新功能并调整优先级,届时可能会出现一些令人恐慌的时刻,例如客户注册、留存、营收预测或某些其他指标显示出你意想不到的结果。
面对这些涨跌,请尽量保持冷静。当然,你想尽快响应信号并在必要时进行修正,但对每一次细微变化都反应过度,绝不是做决策的好方法。问问自己这些问题:
-
数据管道中是否有实际问题,例如血缘关系问题或时区错误?
-
你的问题是解读上的吗?也许你误读或误解了图表,那个高峰并不真正意味着你所认为的。考虑检查或创建相关的指标,从不同的角度来解读这些数字。
-
这真的只是一个意想不到的结果吗?
真正令人惊讶的结果确实会发生,但在改变策略之前,最好先确认基础数据。当数字看起来好得出奇时,这种冷静的反应更加重要,因此不要仅仅根据数字而沾沾自喜。对于刚起步的小公司来说,请知道你的数据会随着时间的推移变得更加可靠,因为你会收集更多数据,改进信息捕获方式,并更清楚地了解哪些数字重要,哪些是背景噪音。
示例:净推荐值 (NPS) 的波动性
净推荐值(NPS)可能是一个熟悉的指标,它通过一个简单的问题衡量客户满意度:“您有多大可能向同事推荐我们的产品?”
虽然NPS是一个有用的信号,但该指标本身可能极不稳定。您公司的NPS可能会因为每周样本量的变化或您对客户调查长度或内容进行的调整等因素而大幅波动。
对于NPS这种看似简单的指标,很容易一看到低数字就陷入灾难性思维。此时,放弃严格的平均值,转而采用跟踪NPS随时间变化的滚动平均值会很有帮助。您可能还希望构建一个可视化图表(例如条形图),以根据最近一个月或一个季度收到的调查数量来展示您的NPS可靠性。
磨练“数据直觉”需要时间
对数据保持健康的怀疑态度并非一蹴而就,需要通过实践和反复试验来增强这种直觉。实践意味着除了关注数字之外,还要花时间进行定性研究,例如了解你的用户和产品。也要花时间理解数据的潮起潮落,比如某些指标是否会根据季度进展而波动。
如果你的组织有数据团队,与这些数据科学家和分析师建立良好关系,将大大有助于你更好地掌握数据。他们比你更了解这些数字(以及它们的来源),可以建议新的方法来跟踪或可视化复杂的指标,或提供你可能缺乏的关键背景信息。因此,请充分利用他们的专业知识,并尽可能多地了解公司所依赖的数据源以及它们的建模方式。
关于如何磨练数据直觉有什么建议吗?请在Metabase论坛告诉我们!