构建和扩展高效快乐的数据团队的建议

许多公司将数据角色范围扩大到超出他们的能力。听到初创公司数据分析师被期望修复管道和数据仓库的故事并不少见。或者，一个被雇佣来控制公司混乱的 现代数据栈 的独立数据工程师。

每个公司的数据是否仍然是一团糟？
由 u/Reddit_Account_C-137 在 dataengineering 发布

有时人们对数据团队面临的挑战以及他们如何工作的理解很少。但更重要的是，他们对公司带来的价值。

如果你是数据团队的一员，你可能知道这种感觉。但如果你在领导一个数据团队，或者领导一家公司，在问题失控之前很难发现这个问题。

我们可以深入探讨公司为什么无法满足数据团队的原因。但相反，我们从自己的数据团队和互联网上的数据人士那里收集了宝贵的反馈，以提供如何在构建或扩展过程中应对这些问题的建议。

在收集数据之前明确并理解业务问题

如果你没有正确的数据，你就无法解决问题。明确你想要从数据中得到哪些问题和价值将有助于避免常见的、浪费的失误，例如投资不必要的工具或基础设施，或者收集大量错误的数据。

一些数据团队没有被告知应该关注哪些业务问题，或者为什么公司要收集数据，这使得数据角色无法高效工作。这可能是离职的一个原因。

如果你在领导一个数据团队或一家公司，请向任何数据角色的人详细解释业务问题。与团队一起解释你收集和使用数据的愿景。没有这些信息，他们无法帮助你。在扩大团队之前，向现有员工明确这一点至关重要。 自2020年以来，所有规模公司的流失率都在增长。

如果你是数据团队的一员，并且无法总结你收集和工作的特定数据的原因，请要求管理层明确业务问题和他们的数据收集和使用想法。如果他们没有答案或时间，这可能表明公司没有足够的结构来支持数据文化、你的角色或数据团队。

了解每个数据角色的优势并相应地分配工作量

不对数据角色设定期望可能导致高流失率。如果你是一家小公司或初创公司，你可能在预算和团队规模等方面有限制，这使得很难确定角色。

然而，你需要为每个角色设定上限，以避免未来的燃尽和流失，这可能会对你或公司产生长期影响。

在创建新的数据团队职位描述或扩大和提升你的团队之前，你应该对覆盖范围中的差距有一个清晰的了解。找到每个数据角色的上限，并通过这种方式填补这些差距。

角色不需要被明确界定，以至于数据分析师永远无法从事他们感兴趣的其他事情，但你需要为团队的工作设定现实的边界。否则，你们都会争先恐后地填补覆盖范围中的空白，这是最快导致燃尽的方式。

让我们分析一些更常见的数据团队角色及其优势，以便更清楚地了解如何在不要求太多的情况下确定需求。

数据工程师可以是建立数据文化的良好起点

如果你是一家小公司，想建立一个数据文化，数据工程师可以帮助清除数据团队在实施新的数据架构和流程时所面临的大部分早期障碍。

数据分析工程师具备将业务需求与团队需求之间差距弥合的技能。适合这一任务的数据工程师能够强调核心软件技能，但以通才态度和对业务需求的深刻同情。

一旦您拥有数据工程师，并转向需要构建定制数据管道或优化性能的阶段，数据工程师就可以提供帮助。

数据工程师可以在领导数据治理的同时提供专门的的基础设施。

自Hadoop时代以来，数据工程师的角色已经发生了很大变化。公共云改变了我们看待数据架构的方式，因此，今天的许多数据工程师都被期望遵循传统的软件开发最佳实践而非数据可观察性最佳实践。这可能会成为一种挫败感。

为了避免这种情况，了解数据工程师通常负责将原始数据存储在合适的数据仓库中，然后为其他工程师，如数据分析工程师提供基础设施和工具，以将数据转换为模型。他们还可以通过数据库和模式调整来优化数据模型存储和查询。

数据工程师通过添加从API等来源获取数据的管道以及修剪不再需要维护的过时管道来确保数据完整性和合规性。这就是为什么如果您正在寻找一些数据治理，他们将是您团队中完美的补充。

有了数据工程师搭建的架构和一些模型数据，数据分析师可以帮助您从数据中提取意义，从而开始做出业务决策。

如果您给予他们空间去做，数据分析师可以帮助做出明智的决策。

数据分析师处理复杂的企业问题。他们是从您的数据中找出真相，并使用证据来帮助您做出决策的关键。

鼓励分析师流动的一个好方法是雇佣他们从头开始一个数据项目，或者用像设置数据架构这样的大型任务让他们应接不暇。初级数据分析师市场可能饱和度很高，所以小公司很容易犯下错误，雇佣了一个有抱负的分析师并期待他们做工程工作。避免这种情况，让您的分析师专注于数据分析。

数据分析师的优点在于他们能够看到并跟踪模式。如果您给他们空间专门专注于这一点，您的整个公司将能够从不同的角度理解数据，包括客户的视角。

如果您想要扩大到更大的数据项目，如计算未来预测或机器学习或人工智能，数据科学家可以提供帮助。

数据科学家将领域知识与他们的技术经验相结合，以建模和验证数据。

数据科学家可能是最被误解和争论的角色。他们是否需要与数据工程师相同的深入工程知识? 是否有些公司仅仅因为“这是潮流”而雇佣数据科学家? 由于它可以根据行业有很大的不同，所以很难回答有关数据科学家角色的相关问题。

但是，通常情况下，数据科学家职位与数据分析职位并行，一些公司甚至用这两个名称来指代同一职位。数据科学家通常比数据分析人员技术性更强，在建模和实验方面（如机器学习）拥有更丰富的经验。

分析师倾向于关注理解历史（例如，6月份客户注册发生了什么？），而数据科学家则倾向于建立模型来预测未来（例如，如果我们知道X，我们可以创建一个模型来预测我们应该联系哪些潜在客户，以及我们应该关注哪些市场。）

数据科学家的优势，如清洗和预处理数据、评估、创建和维护模型以及验证数据的能力，使他们能够与来自产品、工程、财务和业务领导等多个利益相关者合作。

随着您的团队不断壮大，您下一步要做什么在很大程度上取决于需求，但如果您扩大到更大的公司，您应该考虑与其他团队融合。

随着您的成长，数据角色应该融入其他团队

当公司规模较小时，数据团队往往更加集中或作为一个团队工作。随着您的成长，将某些角色及其工作去中心化将变得更加重要。

数据和分析工程师几乎总是集中在一起，而随着公司规模的扩大，数据分析师和科学家通常从团队中变得更加分散。这是因为数据分析师和科学家需要与其他人互动以获得领域知识，并且通常需要数据差异和问题时随时可用。

在这一阶段，这些角色越接近其领域，他们的工作就会越好。例如，如果数据分析师的领域是特定类型的产品，您的产品、设计和工程团队将拥有大量有价值的客户洞察。让他们融入这些团队，以便更紧密、更有效地合作。

继续朝着让整个公司都能获取数据的目标前进

随着您的规模扩大，自助式分析可以减轻数据团队的一些负担。致力于在公司层面提高数据素养，以便每个人都可以学习和欣赏使用数据，并关注简化临时请求的方法，以避免疲劳。

最重要的是，跟踪关于数据角色和流程的内部数据点。数据团队的反馈极其宝贵。倾听他们的话，并努力改善环境。这将对公司数据文化产生最大的影响。