调试 SQL 查询结果中的重复数据
当您的查询返回带有重复行或列的数据时该怎么办。
您的数据在哪里重复了?
重复行
开始之前,请确保您了解源表或嵌套查询的模式。
- 您是否缺少
GROUP BY
子句? -
检查您的源表或嵌套查询是否包含重复行。您需要对包含重复行的每个表或查询结果重复步骤3和4。
-- If the row_count is greater than 1, -- you have duplicated rows in your results. SELECT < your_columns >, COUNT(*) AS row_count FROM < your_table_or_upstream_query > GROUP BY < your_columns > ORDER BY row_count DESC;
- 查看下方的表格,了解您的连接类型如何与您的表关系交互。
- 更改连接类型或减少表关系.
解释
当上游系统或ETL作业中的数据刷新时,行可能会意外重复。
有些表中的行乍一看像是重复的。这在跟踪状态变化的表(例如,每次状态更改时都会添加一行的订单状态表)中很常见。状态表中的行可能看起来完全相同,除了行的时间戳。如果您有许多列的表,可能很难检测到,因此请务必运行上述步骤2,或者如果您不确定,请咨询您的数据库管理员。
如果您在编写连接时假设表具有一对一关系,而实际上它们是一对多或多对多关系,那么您将为“多”表中的每个匹配获得重复行。
延伸阅读
连接类型和表关系
此表总结了连接类型如何与表关系交互,以便在找到匹配行时产生重复项。
A与B是一对一关系 | A与B是一对多关系 | A与B是多对多关系 | |
---|---|---|---|
A INNER JOIN B | 无重复行。 | 无重复行。 | A或B中的重复行。 |
A LEFT JOIN B | 无重复行。 | 表B中可能存在重复项。 | A或B中的重复行。 |
B LEFT JOIN A | 无重复行。 | 表B中可能存在重复项。 | A或B中的重复行。 |
A OUTER JOIN B | 无重复行。 | 表B中可能存在重复项。 | A或B中的重复行。 |
A FULL JOIN B | 无重复行。 | 表B中的重复行。 | A或B中的重复行。 |
如何减少表关系
如果您的重复行是由于您假设一对一关系,而实际上您的表是一对多或多对多,您可以使用以下方法删除重复项:
- 对于一对多关系,使用INNER JOIN。
- 对于一对多或多对多关系,使用带聚合函数的CTE。
例如
-- Assume table_a is a one-to-many with table_b.
-- The query below will duplicate rows from table_b
-- for every matching row in table_a.
SELECT
< your_columns >
FROM
table_a
LEFT JOIN table_b ON key_a = key_b;
选项1:使用带有“一对多”关系的INNER JOIN
-- The query below will get one row from table_b
-- for every matching row in table_a.
SELECT
< your_columns >
FROM
table_a
INNER JOIN table_b ON key_a = key_b;
选项2:使用CTE减少表关系
-- The query below will get aggregated values from table_b
-- for every matching row in table_a.
WITH table_b_reduced AS (
SELECT
AGGREGATE_FUNCTION (< your_columns >)
FROM
table_b_reduced
GROUP BY
< your_columns >
)
SELECT
< your_columns >
FROM
table_a
JOIN table_b_reduced ON key_a = key_b_reduced;
重复列
- 如果您正在连接数据,请检查您的
SELECT
语句是否同时包含主键和外键列。 - 通过遵循调试SQL逻辑下的步骤,检查您的列是否在源处重复。
- 了解更多关于查询结果意外的常见原因。
您有其他问题吗?
您还卡住了吗?
搜索或询问 Metabase社区。