构建和扩展高效愉快的数据团队的建议

太多公司的数据角色超出了他们的能力范围。初创公司的数据分析师被要求修复数据管道和数据仓库，或者一名独立的数据工程师被雇佣来控制公司庞大现代数据堆栈的混乱局面，这样的故事并不少见。

每家公司的数据仍然是一团糟吗？
由 u/Reddit_Account_C-137 在 dataengineering

有时人们对数据团队面临的挑战、他们如何工作以及更重要的是他们为公司带来的价值知之甚少。他们为公司带来的价值。

如果你是数据团队的一员，你可能知道这种感受。但如果你是数据团队的领导者，或者是公司的领导者，那么在问题失控之前发现它可能很难。

我们可以深入探讨公司为何未能支持数据团队的具体原因。但我们Instead instead 收集了来自我们自己的数据团队和互联网上数据专业人士的宝贵反馈，为如何解决这些问题提供建议，无论是在构建还是扩展过程中。

在收集数据之前，澄清并理解业务问题

如果你没有正确的数据，就无法解决问题。明确你希望从数据中获得什么问题和价值，将有助于避免常见的浪费性错误，例如投资不必要的工具或基础设施，或者收集大量错误数据。

有些数据团队不知道要关注哪些业务问题，也不知道公司为何要收集数据，这使得数据角色无法高效工作。这可能是人员流失的一个原因。

如果你是数据团队或公司的领导者，请向所有数据角色详细解释业务问题。与团队合作，解释你收集和使用数据的愿景。如果没有这些信息，他们将无法帮助你。在进一步扩大团队之前，你必须向现有员工澄清这一点。自2020年以来，所有规模公司的流失率都在增长。

如果你是数据团队的一员，并且无法总结收集和使用特定数据的原因，请要求管理层澄清业务问题以及他们收集和使用数据的想法。如果他们没有答案或时间，这可能表明公司没有足够的结构来支持数据文化、你的角色或数据团队。

了解每个数据角色的优势并相应地分配工作量

不明确数据角色的期望可能导致高离职率。如果您是小型公司或初创公司，您可能会受到预算和团队规模等方面的限制，这使得界定角色变得困难。

但是，您需要设置每个角色的上限，以避免未来的倦怠和流失，这可能会对您的团队或公司产生持久的影响。

在创建新的数据团队职位描述，或发展和提升您的团队之前，您应该对覆盖范围的空白有一个清晰的认识。找出每个数据角色的上限，并以此方式填补空白。

角色的范围不必如此明确，以至于数据分析师永远不能从事他们感兴趣的其他事情，但您需要为团队的工作设定实际的界限。否则，您都将争先恐后地填补空白，这是导致倦怠的最快方式。

让我们分解一些更常见的数据团队角色，以及它们的优势，以便更清楚地了解如何界定需求而不过多要求。

分析工程师可以成为构建数据文化的良好起点

如果您是一家寻求构建数据文化的小公司，分析工程师可以帮助清除数据团队在实施新数据架构和流程时面临的大多数早期障碍。

分析工程师拥有弥合业务需求和团队需求之间差距的技能。胜任此任务的正确数据工程师将能够强调核心软件技能，但要具有通才态度和对业务需求的深刻同理心。

一旦您有了数据工程师，并且转向需要构建自定义数据管道或优化性能的地步，数据工程师就可以提供帮助。

数据工程师可以提供专业的架构，同时领导数据治理

自Hadoop时代以来，数据工程师的角色发生了很大变化。公共云改变了我们看待数据架构的方式，因此如今许多数据工程师都希望遵循传统的SWE最佳实践而不是数据可观察性最佳实践。这可能会成为挫折的根源。

为避免这种情况，您需要知道数据工程师通常负责将原始数据存储在适当的数据仓库中，然后向其他工程师（如分析工程师）提供基础设施和工具，以将数据转换为模型。他们还可以通过进行数据库和模式调优来优化数据模型的存储和查询。

数据工程师通过添加从API等来源获取数据的新管道来确保数据完整性和数据合规性，并且可以修剪您不再需要维护的过时管道。这就是为什么如果您正在寻求一些数据治理，他们是您的团队的完美补充。

借助数据工程师提供的架构和一些可供使用的数据模型，数据分析师可以帮助您从数据中提取意义以开始制定业务决策。

如果你给他们足够的空间，数据分析师可以帮助做出明智的决策

数据分析师处理复杂的业务问题。他们是发现数据真相并利用证据帮助您做出决策的关键。

鼓励分析师离职的一个好方法是雇佣他们从零开始启动数据项目，或者用建立数据架构这样的大型任务压垮他们。初级数据分析师市场可能严重饱和，因此小公司很容易犯下聘请有抱负的分析师并期望他们从事工程工作的错误。避免这种情况，让您的分析师专注于数据分析。

数据分析师的优势在于他们发现和追踪模式的能力。如果您让他们只专注于此，您的整个公司将更好地从不同角度（包括客户角度）理解数据。

如果您希望扩展到更大的数据项目，例如计算未来预测或机器学习或人工智能，数据科学家可以提供帮助。

数据科学家将领域知识与技术经验相结合，以建模和验证数据

数据科学家可能是最被误解和争论的角色。他们需要与数据工程师相同水平的深入工程知识吗？某些公司仅仅因为“这是潮流”就雇用数据科学家吗？围绕数据科学家角色的问题很难回答，因为它可能因行业而异。

但是，通常，数据科学家角色与数据分析师角色并行，有些公司将这两个名称用于同一角色。数据科学家通常是数据分析师的技术版本，在建模和实验方面拥有更多经验，例如机器学习。

分析师倾向于关注理解历史（例如，6月客户注册发生了什么？），而数据科学家倾向于关注构建模型以预测未来（例如，鉴于我们知道X，我们可以创建一个模型来预测我们应该联系哪些潜在客户，以及我们应该关注哪些市场）。

数据科学家的优势，例如清理和预处理数据、评估、创建和维护模型以及验证数据的能力，使他们能够与多个利益相关者合作，从产品和工程到财务和业务领导层。

随着团队的不断壮大，接下来要做什么真的取决于需求，但在某个时候，如果你发展成为一家大公司，你应该考虑与其他团队嵌入。

随着公司发展，数据角色应与其他团队融合

当公司规模较小时，数据团队往往更集中或作为一个团队工作。随着公司发展，分散某些角色及其工作将变得更加重要。

数据和分析工程师通常总是集中的，而数据分析师和科学家通常随着公司规模的扩大而变得更加分散。这是因为数据分析师和科学家需要与他人互动以获取领域知识，并且通常需要在数据差异和问题发生时随时待命。

在此阶段，这些角色离其领域越近，他们的工作就越好。例如，如果数据分析师的领域是特定类型的产品，那么您的产品、设计和工程团队将对客户有许多宝贵的见解。让他们嵌入这些团队，以便密切高效地协作。

持续努力，让全公司都能获得数据

随着规模的扩大，自助式分析可以减轻数据团队的一部分负担。努力提高公司层面的数据素养，以便每个人都能学习和欣赏使用数据，并专注于简化即席请求，以避免倦怠。

最重要的是，跟踪数据角色和流程的内部数据点。数据团队的反馈非常有价值。倾听他们的意见，努力改善环境。这将对您公司的数据文化产生最大的影响。