作为 Netguru 的 BI 专家，我经常遇到不适合用于分析的数据。当这种情况发生时，我必须重新整理数据，以提高其质量，并确保所有使用这些数据创建的仪表板都能呈现有意义的洞察。为此，我首先准备数据。
数据准备过程是什么？
数据准备是在处理和分析之前，对原始数据进行清洗和转换的过程。它通常包括清洗、合并不同数据源、转换和聚合数据。
这可能非常耗时。然而，通过这一步骤获得的成果对于稍后从商业智能分析中获取最大价值至关重要。
数据准备为何重要？
原始数据往往是非结构化且杂乱的。为了让您的数据带来价值，您需要清除错误，以便您的可视化图表能显示真实的洞察。您可以通过筛选和聚合数据集来优化它，以确保您的仪表板更高效。
如果您在分析前不准备数据，很多事情都可能出错。例如，您可能会在同一类别中发现几个名称具有相同含义，例如 **“Groceries”、“Grocery”、“Grocery”**。另一个例子是列中使用不同的度量单位。当您将它们求和时，您的仪表板上将显示错误的值。
数据清理消除了这类风险，确保了数据的一致性。
数据准备的 5 个步骤
确定您的可视化图表需要哪些数据。 首先，您必须确保您知道需要哪些数据才能构建有洞察力且有价值的可视化图表。
确保您有权访问所需数据。 下一步是确保您有权访问包含您之前识别的所有数据的数据库和文件。必须采取适当的安全措施，以防止任何数据泄露和未经授权的访问。
检查数据质量并清理数据。 接下来，您必须识别数据中的所有问题——空值、重复项、字段错误。下一步是修复它们，这可以通过以下方式实现：
- 处理缺失值；
- 过滤异常值；
- 将数据转换为通用格式；
- 将字段更改为一致的数据类型；
转换数据。 清理数据后，您可以使用合并（join）和追加（union）等操作对其进行转换。此外，重塑和数据聚合有助于您根据最相关的字段汇总数据。
加载数据。 最后，您将获得构建正确可视化图表所需的高质量数据。然后，需要将其加载到所选 BI 工具易于访问的目标位置。