在数据驱动的世界中，干净的数据对于做出明智的决策至关重要。然而，处理脏数据是一个常见的挑战——它可能导致错误的分析和糟糕的决策。本文将介绍三种清洗脏数据的方法，将您的脏数据集转化为可信赖的数据。
如何清洗数据
让我们探讨将脏数据处理成干净数据的不同方法，从在Metabase中使用工具到设置完整的数据管道，甚至使用人工智能。
使用Metabase模型清洗数据
在Metabase中清洗数据的简单方法是使用模型。这些是Metabase中的关键元素，允许您根据特定条件定义和清洗数据。
模型可以在SQL中或使用查询构建器构建，允许您直接在Metabase中清洗和结构化数据。它们非常适合中小型数据集，特别是当您需要快速解决方案时。
为什么在Metabase中使用模型？
在Metabase中实施数据清洗程序的最佳方法之一是开发一个基于特定条件表示数据的模型。模型是Metabase中的基本构建块。它们可以与派生表或专门的保存查询进行比较，作为新分析的起点。模型可以在SQL或查询构建器问题上构建，允许包含自定义和计算列。
- 易于使用：无需高级技术技能即可直接在平台中清洗数据。
- 赋能您的团队：业务团队可以清洗和调整数据，而无需总是依赖数据团队。
缺点
- 不适用于大数据集：模型可能难以处理更复杂或更大的数据集。
示例
让我们考虑一个在线商店的销售交易样本数据集。原始数据可能如下所示
在这个数据集中，有几个问题需要解决。要解决这些问题，您可以在 Metabase 中实现模式或函数。
-
产品名称不一致：使用 regexextract 通过删除品牌名称并仅保留产品型号来标准化产品名称。示例模式：
REGEXEXTRACT([Product], '^(?:Apple|Nike|Dell|Adidas) (.*)$') -
缺少支付方式信息：实现一个函数，检查缺失的支付方式值并用默认值或占位符替换。示例函数：
COALESCE([PaymentMethod], 'Not Provided')
清洗后的数据集应如下所示
在转换管道中清洗数据
如果您正在处理大型或复杂的数据集，数据转换管道可以提供帮助。此过程允许您提前清洗数据，以便无需后续额外工作即可进行分析。
通过编写SQL查询来自动化此过程，您可以确保数据在进入分析平台之前是干净的。
想了解更多？：ETL、ELT和逆向ETL
为什么使用数据转换管道？
- 可扩展：适用于大型复杂数据集。
- 节省时间：自动化清洗过程，减少手动工作。
解决根本问题：它从源头清洗数据，因此您不会只进行快速修复。
缺点
需要技术技能：构建和维护管道可能需要更多的专业知识和资源。
转换管道示例
以下是客户订单的示例数据集。
在此示例中，有几个问题需要清理
-
CustomerName字段中的格式不一致（例如，下划线代替空格） -
CustomerName字段中缺少数据（NULL值） -
第5行
Email字段中的分隔符不正确（逗号代替句点） -
第5行
PurchaseDate字段中的日期格式不一致
您可以使用SQL清洗数据。以下是一个如何实现此功能的示例
-- Create a temporary table with cleaned data
CREATE TEMPORARY TABLE cleaned_orders AS
SELECT
OrderID,
-- Replace underscores with spaces and handle NULL values in the CustomerName field
COALESCE(NULLIF(REPLACE(CustomerName, '_', ' '), ''), 'Unknown') AS CleanedCustomerName,
-- Replace comma with period in the Email field
REPLACE(Email, ',', '.') AS CleanedEmail,
ProductID,
-- Standardize the date format in the PurchaseDate field
STR_TO_DATE(PurchaseDate, '%Y-%m-%d') AS CleanedPurchaseDate
FROM
raw_orders;
清洗后的数据集将如下所示
使用AI清洗数据
人工智能正在改变我们处理数据清洗的方式。先进的算法和机器学习技术，特别是OpenAI的ChatGPT模型等大型语言模型，可以自动化数据清洗过程。
为什么使用AI进行数据清洗？
- 自动化：人工智能自动化清洗过程，减少人为错误。
- 处理大数据集：随着数据增长，可快速扩展。
- 持续改进：人工智能处理的信息越多，数据清洗能力就越强。
缺点
- 初始投资：设置AI驱动的解决方案可能需要更多的前期工作。
- 仍需人工监督：尽管人工智能可以清洗大量数据，但通常仍需要人工审核结果。
使用AI的示例
人工智能可以执行的一个更复杂的数据清洗示例是识别和解决多个数据源中服装产品属性的不一致性。这通常涉及理解上下文、语义以及颜色、尺寸和款式等不同属性之间的关系。
样本数据集
在这个样本数据集中，来自三个不同数据源的产品属性不一致，需要为在线服装店进行标准化。由于术语、顺序和属性结构的不同，传统清洗可能难以有效识别和解决这些不一致性。
然而，AI驱动的解决方案可以分析不同属性之间的上下文、语义和关系，并将它们映射到一组标准化的属性。例如，AI可以识别“Women’s Dress, Blue, Size M”、“Female, Dress, M, Blu”和“Dress, Medium, Woman, Color: Blue”都指的是相同的产品属性，并将它们映射到单一的标准化格式，例如“Gender: Female, Category: Dress, Color: Blue, Size: Medium”。
清洗后的数据集将如下所示
现在我们可以将产品属性拆分为单独的列，以便更轻松地进行分析。
您应该采取哪种方法？
最适合您业务的数据清洗方法取决于多种因素，例如数据类型和质量、数据集大小和复杂性、可用资源以及具体的业务目标。在选择一种方法集成到您的技术栈之前，测试和评估不同的清洗方法至关重要。通常，公司会结合使用上述方法。检查数据源是否与您首选的方法兼容，并确保您拥有有效执行所选解决方案所需的资源。