在一个以数据驱动的世界中，企业需要准确且干净的数据来做出明智的决策。干净的数据对于可靠的见解、高效的运营以及最终的成功至关重要。
对于许多人来说，脏数据仍然是一个重大挑战，因为它可能导致不准确的分析和错误的决策。在本文中，我们将探讨三种数据清洗方法，以便您充分利用您的数据。
在 Metabase 中使用模型
在Metabase中实现数据清洗流程的最好方法之一是开发一个基于特定标准的模型来表示数据。《模型》（Models）是Metabase的基本构建块。它们可以与派生表或专用保存的问题相媲美，作为新分析的开始点。模型可以在SQL或查询构建器问题的基础上构建，允许包含自定义和计算列。
Metabase中模型的优势
- 用户友好：需要最少的专业技术知识。可以快速轻松地在分析平台内直接清洗数据。
- 赋权专家：模型使领域专家能够控制定义和细化业务问题，允许他们在不通过数据团队的情况下进行更改。这种灵活性确保了不同的团队可以拥有自己的模型。
Metabase中模型的不利因素
- 规模/复杂性有限：可能不适用于复杂的数据清洗场景或大规模数据处理。
示例
让我们考虑一个在线商店的销售交易样本数据集。原始数据可能如下所示
在此数据集中，有几个问题需要解决。要解决这些问题，您可以在Metabase中实施模式或函数
-
不统一的产品名称：使用regexextract通过删除品牌名称并仅保留产品型号来标准化产品名称。示例模式：
REGEXEXTRACT([Product], '^(?:Apple|Nike|Dell|Adidas) (.*)$') -
缺少支付方式信息：实现一个检查缺少支付方式值的函数，并将其替换为默认值或占位符。示例函数：
COALESCE([PaymentMethod], 'Not Provided')
清洗后的数据集应如下所示
在转换管道中清洗数据
您可以通过创建用于数据转换管道的SQL查询来确保清洗后的数据被存储并随时可用于分析。这有助于减少后期需要额外数据操作的需求。
数据转换管道为数据清洗提供了强大且可扩展的解决方案，尤其是在处理大型、复杂的数据集或多个来源时。然而，您必须考虑实施和维护此方法所需的技能。
在数据转换管道中实施数据清洗通常需要数据工程师和分析师之间的合作。分析师可能需要与业务利益相关者合作以收集需求并定义规则。数据工程师可以设计和设置管道，并编写所需的转换来清洗和结构化数据。这些规则可以包括过滤掉无关数据、标准化格式、处理缺失值以及合并来自多个来源的数据。
转换管道的优势
- 更智能：可以处理复杂的数据清洗场景，并随着数据增长而有效扩展。
- 节省时间：通过自动化数据清洗过程，您可以减少错误并节省本可以用于手动数据清洗的时间。
- 解决根本原因：实际上解决了源数据的根本问题，而不是仅仅应用临时措施。
转换管道的缺点
- 成本和复杂性增加：需要技术专长，可能比使用模式或函数更耗费资源。特别是在资源有限的较小组织中，可能会导致成本和复杂性的增加。
- 开销更大：可能耗时，并且随着业务需求的变化可能需要持续维护。
转换管道的示例
以下是一组客户订单样本数据集。
在这个例子中，有几个需要清理的问题
-
在
CustomerName字段中的格式不统一（例如，使用下划线代替空格） -
在
CustomerName字段中缺少数据（NULL值） -
第5行的
Email字段中分隔符不正确（逗号代替句号） -
第5行的
PurchaseDate字段日期格式不统一
您可以使用SQL来清理数据。以下是如何操作的示例
-- Create a temporary table with cleaned data
CREATE TEMPORARY TABLE cleaned_orders AS
SELECT
OrderID,
-- Replace underscores with spaces and handle NULL values in the CustomerName field
COALESCE(NULLIF(REPLACE(CustomerName, '_', ' '), ''), 'Unknown') AS CleanedCustomerName,
-- Replace comma with period in the Email field
REPLACE(Email, ',', '.') AS CleanedEmail,
ProductID,
-- Standardize the date format in the PurchaseDate field
STR_TO_DATE(PurchaseDate, '%Y-%m-%d') AS CleanedPurchaseDate
FROM
raw_orders;
清理后的数据集将如下所示
使用人工智能进行数据清理
人工智能正在改变我们处理数据清理的方式。特别是像OpenAI的ChatGPT模型这样的大型语言模型等高级算法和机器学习技术，可以自动化数据清理过程。
使用人工智能的优点
-
自动化：人工智能服务可以自动识别和纠正数据中的错误、不一致性和异常。这种自动化不仅节省了时间，而且降低了数据清理过程中出现人为错误的风险。
-
可扩展性：人工智能服务旨在快速有效地处理大量数据集。这意味着即使您的业务增长并产生更多数据，人工智能驱动的数据清理解决方案也可以扩展以满足您的需求，而不会牺牲准确性和速度。
-
随时间改进：人工智能服务最令人印象深刻的特点之一是它们能够随着时间的推移学习和改进。随着人工智能系统处理更多数据，它将更好地识别模式并做出明智的决策，从而实现更准确和高效的数据清理。
-
领域专业知识：如果您的组织可以访问领域专家，他们的见解对于创建定制的数据清理规则或指导人工智能驱动的解决方案的实施非常有价值。
使用人工智能的缺点
-
初始投资：为数据清理实施人工智能服务可能需要投资技术和资源。然而，提高数据质量和减少人工劳动的长期效益可能超过这些成本。
-
人类监督/验证：尽管人工智能服务可以自动化数据清理的大部分过程，但仍需一定程度的有人监督和验证。重要的是要有一支了解您数据细微差异的团队，并在需要时做出明智的决策。
使用人工智能的示例
人工智能可以执行的数据清理的更复杂示例是识别和解决多个数据源中服装产品属性的不一致性。这通常涉及理解不同属性（如颜色、尺寸和样式）之间的上下文、语义和关系。
样本数据集
在本示例数据集中，来自三个不同数据源的产品属性存在不一致，需要在线服装店进行标准化处理。传统的清理方法可能难以有效识别和解决这些不一致，因为属性术语、顺序和结构各不相同。
然而，人工智能驱动的解决方案可以分析不同属性之间的上下文、语义和关系，并将它们映射到一组标准属性。例如，AI可以识别出“女士连衣裙，蓝色，M号”、“女性，连衣裙，M，蓝色”和“连衣裙，中号，女性，颜色：蓝色”都指的是相同的商品属性，并将它们映射到单一的标准格式，如“性别：女性，类别：连衣裙，颜色：蓝色，尺寸：中号”。
清理后的数据集将如下所示
现在我们可以将产品属性拆分为单独的列，以便更容易进行分析。
您应该采取哪种方法？
最适合您业务的数据清理方法取决于多种因素，例如数据类型和质量、数据集大小和复杂性、可用资源以及具体的业务目标。在将某种清理方法集成到您的技术栈之前，测试和评估不同的清理方法至关重要。通常，公司会利用上述方法的组合。检查数据源是否与您首选的方法兼容，并确保您有必要的资源来有效执行所选解决方案。