2015年分析软件市场

随着2015年的结束，现在是时候回顾一下分析软件市场的变化。一些趋势（开源、云托管、Hadoop上的SQL）一直在继续，AWS Redshift作为数据仓库的主要力量也应运而生。

此外，许多初创公司围绕Redshift在原本停滞的市场中创造的生态位聚集。

SQL继续接管Hadoop生态系统

除了Spark之外，Hadoop生态系统中的大部分争议都集中在Presto、Impala和Drill上。为了取代MapReduce而展开的竞争正在激烈进行；竞争者短名单中的主要共同因素是它们都基于SQL接口。自2010年Hive开始逐渐取代Pig以来，这一趋势就已经显现。

Hadoop生态系统所提供的大部分价值都与分析和商业智能（BI）有关。整个世界已经使用了数十年的SQL，围绕它建立的组织能力也难以取代。在经历了与Hadoop相关的NoSQL的热潮之后，一切又回到了原点。

Druid似乎正在积聚势头

在主要的内存中OLAP数据库中，LinkedIn的Pinot和Metamarkets的Druid是两大主要玩家。Druid似乎在Yahoo（见此处）以及越来越多的处于技术前沿的公司中获得了相当多的关注，这些公司越来越多地使用它来支持实时BI。

十月份，一些主要贡献者宣布了Imply.io，这是一家提供商业支持和构建Druid生态系统的公司。总体而言，许多聪明的人都在将其视为一个内存数据库，以便对大量数据进行交互式分析。

开源机器学习库众多

十一月份，谷歌开源了 Tensor Flow，这是一个用于数据流图计算的一般化库。它主要用于机器学习和深度神经网络。它加入了Theano、Torch和来自微软的DMLT。

尽管这些库不能简单地作为插件添加到任何产品中以实现人工智能，但它们为将最先进算法提供给任何拥有足够数据来训练其系统的人提供了基础。随着其他人在此基础上构建，产品和服务的整体复杂度将不断提高。

IBM支持Spark

IBM在六月份宣布将3500名研究人员和开发者投入到Spark相关项目中。Spark在许多方面是Hadoop生态系统中MapReduce的继任者。它允许开发者混合使用低级数据处理语言、机器学习库、图算法和Hadoop上的SQL数据库。

尽管它仍然处于采用曲线的前沿，但它拥有巨大的开发者支持。十月份，IBM在Bluemix上宣布了Spark作为一项服务，并将其Data Works产品移植到Spark。这对于Databricks公司来说将会非常有趣，该公司此前一直是Apache Spark项目的负责人。

开源商业智能正迎来大丰收的一年

从历史上看，大多数开源软件带来的颠覆性变革都发生在软件栈的较低层。随着时间的推移，以及开源软件公司可行商业模式的演变，越来越多的面向最终用户的软件正在开源环境中开发。

去年，两大老牌开源BI公司之一的Jaspersoft被Tibco以1.85亿美元收购。去年二月，另一家公司Pentaho被日立数据系统以超过5亿美元的价格收购。

与此同时，2015年涌现出许多轻量级开源项目。例如AirPal和re:Dash，它们专注于快速便捷地在Redshift集群上运行SQL查询（下面将详细介绍），而Metabase则提供了一个易于安装的工具，允许非技术用户运行查询，并使用来自各种数据库的数据共享仪表板和报告。

专注于事件分析的公司仍在稳步发展

虽然Google Analytics仍然是默认选择，但围绕收集和分析网站或移动应用程序上用户行为的全功能分析系统一直活跃。

与此同时，Google Analytics的主要竞争对手Mixpanel（去年融资6500万美元）在年中之前一直相对安静。7月份，它效仿Heap，宣布推出“无代码分析”。

这允许通过向您的移动应用程序添加SDK来自动为您的移动应用程序进行事件跟踪，并在不手动跟踪特定事件（如按钮点击）的情况下获取事件分析。11月，它宣布推出Predict，它允许您应用轻量级机器学习来预测用户是否会执行某些操作（如转化）。

与此同时，Heap因其在移动和Web事件分析中的易用性而备受关注；Amplitude在8月份融资900万美元；新进入者Interana在1月份完成了一轮2000万美元的A轮融资，其故事围绕着分析速度。

与此同时，以低成本和便捷方式运行数据仓库（AWS的Redshift）的出现，给完全托管、专业事件分析服务的一般观念带来了冲击。

新兴的参考云分析架构

2015年，如何处理BI的新标准正在出现。这回到了20世纪90年代的统一数据仓库概念。允许这一转变的关键因素是AWS Redshift作为分析数据仓库的广泛应用。

与处理传统的数据库（如Aster、Vertica、Teradata等）相比，它维护起来相对容易，因此很快成为大多数成长型科技公司的数据仓库的默认起点。

有两类初创公司在这个浪潮中受益：一类是帮助您将数据导入Redshift的公司，另一类是让您在Redshift中分析数据的公司。

第一类公司包括一些完全专注于将数据加载到Redshift的公司（如Alooma、Etleap、Textur）。此外，Segment今年正式宣布了将数据发送到Redshift的能力。同时，电子商务分析提供商RJMetrics现在提供其系统中的数据导入部分，允许您将数据发送到Redshift。

总的来说，许多公司都在将自己的车马与亚马逊挂钩，其中大多数是在去年秋天QuickSight发布之前。随着AWS的数据管道和其他摄取服务的持续改进，它们剩下的业务规模还有待观察。鉴于AWS的移动分析SDK和摄取管道的存在，2016年这个系统里还剩下多少氧气，完全取决于亚马逊的决心。

鉴于QuickSight预览版本目前显示的初级能力，许多BI软件供应商在2015年的增长中有很大一部分来自对Redshift投入重金的客户。Looker、Mode Analytics、Periscope和Metabase都突出用于分析Redshift中的数据。同样，明年AWS会带来什么，以及这些公司的市场格局将如何转变，还有待观察。

总的来说，2016年看起来将是非常多事的一年，因为资金放缓的影响变得更加明显。尽管这应该有利于大玩家，但许多趋势对大型、缓慢的既得利益者来说是非常危险的。

伟大的缓和

虽然在当时很难看清，但回顾过去，似乎很清楚的是，当富达公司公开下调其大量后期投资的估值时，公开市场的收入倍数压缩终于通过了蛇身。富达公司公开下调其大量后期投资的估值。

对于与数据分析相关的公司，Cloudera基本未受影响，而Dataminr的估值下降了35%。总的来说，数据分析初创公司的资本成本，无论是早期还是后期，都大幅上升。尽管许多风险投资公司关闭了新基金并且有大量的资金可以投资，但整体感觉是，对于给定的运行速度或其他牵引力指标，估值已经缓慢下降。

今年在许多数据分析公司的融资和，更重要的是，客户基础下游预算方面都可能出现一些动荡。鉴于大多数公司的客户终身价值对“C”字词（流失）非常敏感，2016年看起来是一个时候，要系好安全带并确保你知道在哪里找到防晕机袋。

_这篇帖子最初发表在Techcrunch _