作为 Netguru 的 BI 专家，我经常会遇到尚未准备好用于分析的数据。当这种情况发生时，我必须重新组织数据以提高其质量，并确保使用这些数据创建的所有仪表板都能呈现有意义的洞察。为了实现这一点，我首先要准备数据。
什么是数据准备流程？
数据准备是指在处理和分析之前，对原始数据进行清洗和转换的过程。它通常包括清洗、合并不同数据源、转换和汇总数据。
这可能非常耗时。然而，通过这一步获得的成果对于后续从商业智能分析中获得最大价值至关重要。
为什么数据准备很重要？
原始数据往往是非结构化且混乱的。为了让您的数据带来价值，您需要消除错误，以便您的可视化能够显示真实的洞察。您可以优化您的数据集，通过过滤和汇总来确保您的仪表板更有效。
如果您在分析前不准备数据，很多事情都可能出错。例如，您可能会遇到一个类别中有几个具有相同含义的名称，例如“Groceries”、“Grocery”、“Grocery”。另一个例子可能是列中使用不同的度量单位。当您汇总时，您的仪表板上将会显示错误的值。
清理数据可以消除这类风险，确保数据的一致性。
数据准备的 5 个步骤
确定可视化所需的数据。首先，您必须确保知道构建有洞察力且有价值的可视化所需的数据。
确保您能够访问所需数据。下一步是确保您能够访问包含之前已确定数据的所有数据库和文件。必须应用适当的安全措施，以防止任何数据泄露和未经授权的访问。
检查数据质量并清洗数据。接下来，您需要识别数据中的所有问题——空值、重复项、字段错误。下一步是修复它们，这可以通过
- 处理缺失值；
- 过滤异常值和离群点；
- 将数据转换为通用格式；
- 将字段更改为一致的数据类型；
转换数据。清洗数据后，您可以使用合并（join）和追加（union）等操作进行转换。此外，重塑和数据汇总有助于您根据最相关的字段来汇总数据。
加载数据。最后，您将获得构建正确可视化所需的高质量数据。然后需要将其加载到选定的 BI 工具可以轻松访问的目的地。