作为 Netguru 的 BI 专家，我经常遇到无法用于分析的数据。当这种情况发生时，我必须重新整理数据，以提高其质量并确保所有使用这些数据创建的仪表板都能呈现有意义的洞察。为此，我首先会准备数据。
什么是数据准备过程？
数据准备是在处理和分析之前对原始数据进行清理和转换的过程。它通常包括数据清理、合并不同数据源、数据转换和聚合。
这可能很耗时。然而，这一步的成果对于之后从商业智能分析中获得最大价值至关重要。
数据准备为什么重要？
原始数据往往是非结构化且杂乱的。为了让您的数据带来价值，您需要删除错误，以便您的可视化图表能显示真实的洞察。您可以通过过滤和聚合数据集来优化它，以确保您的仪表板更高效。
如果在分析前没有准备数据，很多事情都可能出错。例如，您可能会在同一类别中发现几个名称具有相同的含义，例如**“Groceries”**、**“Grocery”**、**“Grocery”**。另一个例子是同一列中使用了不同的度量单位。当您将其求和时，仪表板上将显示错误的值。
清理数据可以消除这类风险，确保数据的一致性。
数据准备的5个步骤
确定您的可视化所需的数据。首先，您必须确保您知道构建有洞察力且有价值的可视化图表所需的数据。
确保您可以访问所需的数据。下一步是确保您可以访问所有包含您之前识别的数据的数据库和文件。必须采取适当的安全措施，以防止任何数据泄露和未经授权的访问。
检查数据质量并清理您的数据。进一步，您必须识别数据中的所有问题——空值、重复项、字段错误。下一步是修复它们，这可以通过以下方式实现：
- 处理缺失值；
- 过滤异常值和异常情况；
- 将数据转换为常用格式；
- 将字段更改为一致的数据类型；
转换数据。清理数据后，您可以使用合并（join）和追加（union）等操作对其进行转换。此外，重塑和数据聚合有助于您根据最相关的字段汇总数据。
加载数据。最后，您获得了构建正确可视化图表所需的高质量数据。然后，需要将其加载到选定的 BI 工具易于访问的目标位置。