初创公司常犯的十个分析错误
在启动你的分析时,你会犯错误。这里是如何犯更少的错误。
本文讨论了创业公司在应用数据进行决策时常见的十个错误。这些是许多有良好意愿的人可能会遇到的情况,回顾这些错误的目的不是批评自己,而是强调在(你和你组织的)决策过程中需要保持自我意识,并不断改进。我们将在《管理你的信息预算》中进一步探讨决策问题。
1. 混淆相关性因果关系
是的,你已经知道了,但仍然很容易陷入其中。混淆相关性和因果关系在探索历史数据时尤其危险,或者在没有明确的假设来证伪的情况下。最好是把过去发生过的任何常见模式视为对因果关系的暗示,而不是作为原因,除非证明否则。
2. 期望数据回答你无法形成的问题
太多公司认为他们只需收集数据,使用最新的潮流技术,并聘请昂贵的数据科学家/分析师/MBA来搞清楚他们的业务。事实是,你的商业情报质量直接与你组织阐述需要回答的问题的好坏成正比。更多数据和有才能的数据分析师可以为一个有明确决策和产品流程的组织提供动力,但加大对大数据的投入并不会拯救一个缺乏专注的组织。
3. 寻找数据来支持你已经做出的决策
当你(或团队中的其他人)已经做出决定时,收集数据、分析数据并做出决定是很常见的。相反,你应该制定假设,看看你是否可以证伪它们,并在数据走向另一方向时更新你的观点。
4. 寻找积极的证据
寻找支持决策的数据的一个子集:寻找支持乐观情况的数据。即使在濒临破产的公司中,也总有东西是呈上升趋势的。如果你认为重要的所有指标都在下降,就避免寻找告诉你一个更光明故事的指标。
5. 期望结果过于清晰
即使你看过很多动作电影,当你看一场真实的拳击比赛时,你可能无法理解太多。如果你习惯于看到精心编排的打斗序列,从完美的角度拍摄,配有完美的灯光和剪辑,现实生活中打斗的混乱和速度可能会让你感到困惑。
这同样适用于那些习惯于MBA课程或高度理想化的博客文章的人,当他们遇到现实生活中的定量决策时。在现实世界中,效果可能很小,很混乱,是多模态的(我们将在下面讨论平均值的陷阱)。你需要处理你拥有的数据,而不是你想象中的完美数据。
6. 期望通过A/B测试走向成功
虽然精心计划、运行良好的A/B测试可以对公司产生变革性影响,但它们也常常导致徒劳的追求。在开始A/B测试之前,确保你知道什么是显著的结果。不要一看到某个选项似乎表现更好就停止测试,并始终包括一个对照组。效果越小,你需要测试的用户数量就越大。如果你只有1万名月活跃用户,你最好简单地推迟任何类型的A/B测试,直到你有更多的人可以测试。
此外,A/B测试不会为你确定最佳产品功能或广告文案。结果只能与测试的选项一样好,而且结果对初始设计的质量非常敏感。不要让“我们将进行A/B测试”成为一种口号,阻碍了决定你的产品实际上是什么的过程。A/B测试最好用于添加最后的润色。
7. 使用错误的时间段
如果您的客户在一个多月的周期内购买,并且您的产品周期以两周为冲刺,您不需要实时分析。同样,如果您试图诊断网络操作的错误,而停机成本以每分钟数百万计,您最好不要查看每小时图表。将报告时间周期与您的决策的自然时间周期联系起来非常重要。如果您在太细的时间周期内查看数据,您最终会在决策之间变得紧张不安。如果您使用的时间周期太大,您将永远落后三步。
8. 只看平均值
平均值是隐藏不舒服真相的好地方。如果您只在有机和付费渠道中使用混合平均值,您可能会忽略您的付费获取渠道变得不可持续昂贵的事实。如果您查看所有网页的平均延迟,您可能不会注意到您最重要的网页随着时间的推移而变慢。一般来说,当平均值告诉您某事正在变差时,是时候担心了。当平均值告诉您一切看起来不错时,是时候深入了解。
当您将数据分解为直方图时,大多数由平均值引起的错觉都会消失。例如,关于客户获取平均成本的乐观预测,当您按渠道分解成本时,可能会消失。
9. 关注总量而不是变化率
每个人都喜欢向右上方走的图表。“注册总数”、“累积收入”和“商品销售总额”可能会成为很好的新闻报道,但对于大多数情况,您应该查看变化率,甚至可能是该变化率的增长。如果一个指标的95%信息都与几个月或几年前发生的事件有关,这能帮助您评估您现在的表现吗?或者明天会怎样?
10. 不评估决策的结果
在做出重大决策之前收集大量信息是很常见的。然而,一旦做出决策,并且结果开始慢慢显现,人们通常会假设事情进展顺利。坏决策是不可避免的,但那些您不接受并纠正的坏决策最终会给您带来最大的伤害。立即意识到您做出了错误的决策,比发现您已经错了几个月要好。
下一节:悲伤的五阶段
所以您想在您的客户面前展示数据...但是代价是什么?