构建和扩展高效且快乐的数据团队的建议

太多公司在能力范围之外设定了数据角色的职责。在初创公司，听到数据分析师被期望修复管道和数据仓库的故事并不少见。或者，一位单独的数据工程师受聘来控制公司难以管理的现代数据堆栈的混乱局面。

每个公司的数据仍然绝对是一团糟吗？
作者：u/Reddit_Account_C-137，发表于 dataengineering

有时人们对数据团队面临的挑战以及他们如何工作知之甚少。但更重要的是，他们为公司带来的价值。

如果您是数据团队的一员，您可能知道这种感受。但如果您领导着一个数据团队或一家公司，则很难在问题失控之前发现它。

我们可以深入探讨公司的数据团队失败的具体原因。但相反，我们从自己的数据团队和互联网上的数据人员那里获得了宝贵的反馈，以便为如何在构建或扩展时应对这些问题提供建议。

在收集数据之前，先明确和理解业务问题

如果您没有正确的数据，您将无法解决问题。明确您希望从数据中获得哪些问题和价值将有助于避免常见的、浪费的错误，例如投资不必要的工具或基础设施，或收集大量错误的数据。

一些数据团队没有被告知要关注哪些业务问题，或者公司为什么要收集数据，这使得数据角色不可能高效工作。这可能是人员流失的原因。

如果您领导着一个数据团队或一家公司，请向任何数据角色详细解释业务问题。与团队合作，解释您收集和使用数据的愿景。没有这些信息，他们将无法帮助您。并且至关重要的是，在进一步扩大团队之前，您需要向现有员工澄清。自 2020 年以来，各种规模公司的员工流失率一直在增长。

如果您是数据团队的一员，并且无法总结您收集和处理特定数据的原因，请要求管理层澄清业务问题以及他们收集和使用数据的想法。如果他们没有答案或时间，这可能表明公司没有足够的结构来支持数据文化、您的角色或数据团队。

了解每个数据角色的优势并相应地委派工作量

不设定数据角色的期望可能会导致高离职率。如果您在一家较小的公司或初创公司工作，您可能会在预算和团队规模等方面受到限制，这使得角色范围难以确定。

但是，您需要设定每个角色的上限，以避免未来的倦怠和人员流失，这可能会对您的团队或公司产生持久的影响。

在您创建新的数据团队职位描述或发展和晋升您的团队之前，您应该清楚了解覆盖范围的差距。找到每个数据角色的上限，并以这种方式填补空白。

角色不需要被定义得如此明确，以至于数据分析师永远不能从事他们感兴趣的其他事情，但您需要为团队的工作设定实际的界限。否则，你们都将争先恐后地填补覆盖范围的空白，这是最快导致倦怠的方式。

让我们分解一些更常见的数据团队角色，以及他们的优势，以便更清楚地了解如何在不要求过多的情况下确定范围要求。

分析工程师可以是构建数据文化的良好起点

如果您是一家希望建立数据文化的小型公司，那么分析工程师可以帮助清除数据团队在实施新的数据架构和流程时面临的大部分早期障碍。

分析工程师拥有弥合业务需求和团队需求之间差距的技能。适合此任务的数据工程师将能够强调核心软件技能，但具有通才的态度和对业务需求的深刻理解。

一旦您有数据工程师加入，并转向需要构建自定义数据管道或优化性能的阶段，数据工程师就可以提供帮助。

数据工程师可以提供专门的基础设施，同时领导数据治理

自 Hadoop 时代以来，数据工程师的角色发生了很大变化。公共云改变了我们看待数据架构的方式，因此今天许多数据工程师都被期望遵循传统的 SWE 最佳实践，而不是数据可观察性最佳实践。这可能是一个挫败感的来源。

为了避免这种情况，请了解数据工程师通常致力于将原始数据存储在适当的数据仓库中，然后为其他工程师（如分析工程师）提供基础设施和工具，将数据转换为模型。他们还可以通过执行数据库和模式调整来负责优化数据模型的存储和查询。

数据工程师通过添加从 API 等来源引入数据的新管道来确保数据完整性和数据合规性，并且可以修剪您不再需要维护的过时管道。这就是为什么如果您正在寻找一些数据治理，他们是您团队的完美补充。

借助到位的架构和一些建模数据（这要归功于数据工程师），数据分析师可以帮助您从数据中提取意义，从而开始制定业务决策。

如果您给他们足够的空间，数据分析师可以帮助做出明智的决策

数据分析师处理复杂的业务问题。他们是从您的数据中找到真相并使用证据来帮助您做出决策的关键。

鼓励分析师离职的一个好方法是聘请他们从头开始启动数据程序，或让他们不堪重负，承担诸如设置数据架构之类的大型任务。初级数据分析师市场可能高度饱和，因此小型公司很容易犯下错误，即聘请一位雄心勃勃的分析师，并期望他们从事工程工作。避免这种情况，让您的分析师专注于数据分析。

数据分析师的优势在于他们能够看到和跟踪模式。如果您给他们空间专注于此，那么您的整个公司将能够更好地从不同的角度（包括客户的角度）理解数据。

如果您希望扩展到更大的数据项目，例如计算未来预测或 ML 或 AI，数据科学家可以助您一臂之力。

数据科学家将领域知识与他们的技术经验相结合，以建模和验证数据

数据科学家可能是最被误解和争论的角色。他们是否需要与数据工程师相同水平的深入工程知识？某些公司是否仅仅因为“这是该做的事情”而聘请数据科学家？真的很难回答围绕数据科学家角色的问题，因为它在不同行业之间可能差异很大。

但是，一般来说，数据科学家角色与数据分析师角色并行，有些公司对同一角色使用这两个名称。数据科学家通常是数据分析师的更技术版本，在建模和实验（例如机器学习）方面具有更多经验。

分析师倾向于关注理解历史（例如，6 月份客户注册发生了什么？），而数据科学家倾向于关注构建模型以预测未来（例如，假设我们知道 X，我们可以创建一个模型来预测我们应该联系哪些潜在客户，以及我们应该关注哪些市场。）

数据科学家的优势，如清理和预处理数据、评估、创建和维护模型以及验证数据的能力，可以让他们与多个利益相关者合作，从产品和工程到财务和业务领导层。

随着您的团队不断壮大，下一步做什么真正取决于需求，但如果您扩展到一家更大的公司，在某个时候您应该考虑与其他团队合作。

随着您的成长，数据角色应与其他团队合作

当公司规模较小时，数据团队往往更加集中或作为一个团队工作。随着您的成长，分散某些角色及其工作将变得更加重要。

数据工程师和分析工程师几乎总是普遍集中化的，而数据分析师和科学家通常会随着公司规模的扩大而变得更加分散。这是因为数据分析师和科学家需要与其他人互动以获得领域知识，并且经常需要在数据差异和问题发生时可用。

在这个阶段，这些角色离他们的领域越近，他们的工作就越好。例如，如果数据分析师的领域是特定类型的产品，那么您的产品、设计和工程团队将对客户有很多有价值的见解。让他们嵌入到这些团队中，以便紧密而高效地协同工作。

继续朝着使整个公司都可以使用数据的方向前进

随着您的规模扩大，自助式分析可以将数据团队的一些压力分担出去。致力于在公司层面提高数据素养，以便每个人都可以学习和欣赏使用数据，并专注于如何简化临时请求以避免倦怠。

最重要的是，跟踪围绕数据角色和流程的内部数据点。数据团队的反馈非常有价值。倾听他们的意见，并努力改善环境。这将对贵公司的数据文化产生最大的影响。