构建和扩展高效愉快的数据团队的建议

太多公司对数据岗位的要求超出了其能力范围。在初创公司中，数据分析师被期望修复数据管道和数据仓库的情况并不少见。或者，聘请一名独立的数据工程师来控制公司庞大现代数据堆栈的混乱。

每家公司的数据情况都还是一团糟吗？
由 u/Reddit_Account_C-137 发布于 dataengineering

有时，人们对数据团队面临的挑战以及他们的工作方式了解甚少。但更重要的是，他们为公司带来的价值。

如果你是数据团队的一员，你可能知道这种感觉。但如果你是数据团队的领导者，或公司的领导者，那么在问题失控之前发现它可能很难。

我们可以深入探讨公司数据团队失败的具体原因。但我们转而从我们自己的数据团队和互联网上的数据专业人士那里获取了宝贵的反馈，以提供关于如何在构建或扩展过程中应对这些问题的建议。

在收集数据之前明确并理解业务问题

如果你没有正确的数据，就无法解决问题。明确你希望从数据中获得什么问题和价值，将有助于避免常见的浪费性错误，例如投资不必要的工具或基础设施，或收集大量错误数据。

一些数据团队没有被告知要关注哪些业务问题，或者公司为什么要收集数据，这使得数据岗位无法高效工作。这可能是人员流失的原因。

如果你是数据团队或公司的领导者，请向任何数据岗位人员详细解释业务问题。与团队合作，解释你收集和使用数据的愿景。没有这些信息，他们将无法帮助你。而且，在进一步扩大团队之前，你务必向现有员工明确这一点。自2020年以来，所有规模公司的流失率都在上升。

如果你是数据团队的一员，并且无法总结你收集和处理特定数据的原因，请要求管理层澄清业务问题以及他们收集和使用数据的想法。如果他们没有答案或时间，这可能表明公司没有足够的结构来支持数据文化、你的角色或数据团队。

了解每个数据岗位的优势并相应地分配工作量

不为数据岗位设定期望可能导致高人员流失率。如果你在一家规模较小的公司或初创公司，你可能在预算和团队规模等方面受到限制，这使得很难确定岗位范围。

但是，你需要设定每个岗位的上限，以避免未来的倦怠和人员流失，这可能会对你的团队或公司造成持久影响。

在创建新的数据团队职位描述，或发展和提升你的团队之前，你应该对覆盖范围的空白有一个清晰的认识。找到每个数据岗位的上限，并以此方式填补空白。

岗位不需要明确到数据分析师永远不能从事他们感兴趣的其他工作，但你需要为团队的工作设定切合实际的界限。否则，你们都将争先恐后地填补空白，这是最快导致倦怠的方法。

让我们分解一些更常见的数据团队岗位，以及它们的优势，以便更清楚地了解如何确定需求范围，而不会要求过高。

分析工程师可以是建立数据文化的好起点

如果你是一家希望建立数据文化的小公司，分析工程师可以帮助清除数据团队在实施新数据架构和流程时面临的大多数早期障碍。

分析工程师具备弥合业务需求和团队需求之间差距的技能。胜任此任务的数据工程师将能够强调核心软件技能，同时具备通才的态度和对业务需求的深刻同理心。

一旦你有了数据工程师，并转变为需要构建自定义数据管道或优化性能时，数据工程师就可以提供帮助。

数据工程师可以在领导数据治理的同时提供专业基础设施

自Hadoop时代以来，数据工程师的角色发生了很大变化。公共云改变了我们看待数据架构的方式，因此今天许多数据工程师被期望遵循传统的SWE最佳实践而非数据可观察性最佳实践。这可能成为沮丧的根源。

为避免这种情况，请了解数据工程师通常负责将原始数据存储在适当的数据仓库中，然后向其他工程师（如分析工程师）提供基础设施和工具，以将数据转换为模型。他们还可以通过数据库和模式调优来优化数据模型的存储和查询。

数据工程师通过添加从API等源获取数据的新管道来确保数据完整性和数据合规性，并且可以清除不再需要维护的过时管道。这就是为什么如果你正在寻找一些数据治理方面的帮助，他们是团队的完美补充。

在数据工程师的帮助下，架构已经到位并有了一些可供使用的数据模型，数据分析师可以帮助你从数据中提取意义，从而开始制定业务决策。

如果你给予数据分析师足够的空间，他们可以帮助做出明智的决策

数据分析师处理复杂的业务问题。他们是发现数据真相并利用证据帮助你做出决策的关键。

鼓励分析师流失的一个好方法是雇佣他们从头开始一个数据项目，或者用设置数据架构这样的大任务压垮他们。初级数据分析师市场可能高度饱和，因此小型公司很容易犯一个错误，即聘请一位雄心勃勃的分析师，却期望他们能做工程方面的工作。避免这种情况，让你的分析师专注于数据分析。

数据分析师的优势在于他们发现和追踪模式的能力。如果你给予他们仅专注于此的空间，你的整个公司将更好地理解从不同角度（包括客户视角）的数据。

如果你希望扩展到更大的数据项目，如计算未来预测或机器学习或人工智能，数据科学家可以助一臂之力。

数据科学家结合领域知识和技术经验来建模和验证数据

数据科学家可能是最被误解和争议的角色。他们需要与数据工程师相同深度的工程知识吗？某些公司招聘数据科学家仅仅是因为“流行”？围绕数据科学家角色回答这些问题确实很困难，因为它在不同行业中可能大相径庭。

但是，一般来说，数据科学家角色与数据分析师角色并行，有些公司对同一个角色使用这两个名称。数据科学家通常是数据分析师的更技术化版本，在建模和实验（例如机器学习）方面拥有更多经验。

分析师倾向于关注理解历史（例如，六月份客户注册发生了什么？），而数据科学家倾向于构建模型来预测未来（例如，鉴于我们已知X，我们可以创建一个模型来预测我们应该联系哪些潜在客户以及应该关注哪些市场）。

数据科学家的优势，例如清理和预处理数据、评估、创建和维护模型以及验证数据的能力，使他们能够与产品和工程、财务和业务领导等多个利益相关者合作。

随着团队的不断壮大，接下来要做什么真的取决于需求，但如果公司规模扩大到一定程度，你应该考虑与其他团队进行嵌入式合作。

随着公司的发展，数据岗位应嵌入到其他团队中

当公司规模较小时，数据团队往往更集中或作为一个团队运作。随着公司发展壮大，分散某些角色及其工作将变得更加重要。

数据和分析工程师几乎总是集中化的，而数据分析师和数据科学家通常会随着公司规模的扩大而从团队中变得更加分散。这是因为数据分析师和数据科学家需要与他人互动以获取领域知识，并且在发生数据差异和问题时通常需要随时待命。

在此阶段，这些角色与各自领域越接近，他们的工作就越出色。例如，如果数据分析师的领域是特定类型的产品（你的产品），那么你的产品、设计和工程团队将对客户有许多宝贵的见解。让他们嵌入到这些团队中，以密切高效地协同工作。

持续努力让整个公司都能使用数据

随着规模的扩大，自助式分析可以减轻数据团队的一些负担。努力提高公司层面的数据素养，让每个人都能学习和欣赏使用数据，并专注于简化临时请求，以避免倦怠。

最重要的是，跟踪围绕数据角色和流程的内部数据点。数据团队的反馈极其宝贵。倾听他们的意见，并努力改善环境。这将对你公司的数据文化产生最大影响。