MySQL 删除数据库中重复数据方法

在数据库管理中，数据重复是一个常见的问题。它不仅会占用额外的存储空间，还可能影响查询性能和数据的准确性。MySQL 作为广泛使用的关系型数据库管理系统，提供了多种方法来删除重复数据。本文将详细介绍这些方法，帮助你高效地清理数据库中的冗余信息。

目录#

  1. 使用 GROUP BY 和聚合函数
  2. 使用 ROW_NUMBER() 窗口函数（MySQL 8.0+）
  3. 使用临时表
  4. 最佳实践
  5. 示例用法
  6. 参考

使用 GROUP BY 和聚合函数#

原理#

通过 GROUP BY 子句将具有相同值的行分组，然后使用聚合函数（如 MIN()、MAX() 等）选择要保留的行。

示例#

假设我们有一个 users 表，其中包含重复的用户记录（根据 email 字段判断重复）：

CREATE TABLE users (
    id INT AUTO_INCREMENT PRIMARY KEY,
    name VARCHAR(50),
    email VARCHAR(100)
);
 
INSERT INTO users (name, email) VALUES
('Alice', '[email protected]'),
('Bob', '[email protected]'),
('Alice', '[email protected]');

要删除重复的 email 记录，只保留 id 最小的行：

DELETE FROM users
WHERE id NOT IN (
    SELECT MIN(id)
    FROM users
    GROUP BY email
);

注意事项#

  • 确保 GROUP BY 子句中的列能够唯一标识重复的行。
  • 聚合函数的选择取决于你希望保留哪一行（例如，MIN(id) 保留最早插入的行，MAX(id) 保留最新插入的行）。

使用 ROW_NUMBER() 窗口函数（MySQL 8.0+）#

原理#

ROW_NUMBER() 函数为每个分组内的行分配一个唯一的编号。我们可以利用这个编号来标识并删除重复的行。

示例#

继续使用上面的 users 表：

WITH cte AS (
    SELECT 
        id,
        name,
        email,
        ROW_NUMBER() OVER (PARTITION BY email ORDER BY id) AS row_num
    FROM users
)
DELETE FROM users
WHERE id IN (
    SELECT id
    FROM cte
    WHERE row_num > 1
);

注意事项#

  • ROW_NUMBER() 是 MySQL 8.0 引入的窗口函数，确保你的数据库版本支持。
  • PARTITION BY 子句指定分组依据（这里是 email），ORDER BY 子句指定编号的顺序（这里按 id 升序）。

使用临时表#

原理#

将不重复的数据插入到临时表中，然后删除原表数据并将临时表数据插回。

示例#

CREATE TEMPORARY TABLE temp_users AS
SELECT DISTINCT * FROM users;
 
DELETE FROM users;
 
INSERT INTO users SELECT * FROM temp_users;
 
DROP TEMPORARY TABLE temp_users;

注意事项#

  • 确保临时表的结构与原表一致。
  • 这种方法适用于数据量较小的情况，因为它涉及多次数据操作。

最佳实践#

  • 备份数据：在执行任何删除操作之前，务必备份数据库，以防意外情况。
  • 测试环境：先在测试环境中验证删除方法，确保不会误删重要数据。
  • 索引优化：如果经常处理重复数据，考虑在相关列上创建索引，以提高查询和删除效率。

示例用法#

假设我们有一个 orders 表，其中 order_number 字段存在重复（根据业务逻辑，每个 order_number 应该唯一）：

-- 使用 GROUP BY 和 MIN(id)
DELETE FROM orders
WHERE id NOT IN (
    SELECT MIN(id)
    FROM orders
    GROUP BY order_number
);
 
-- 使用 ROW_NUMBER()（MySQL 8.0+）
WITH cte AS (
    SELECT 
        id,
        order_number,
        ROW_NUMBER() OVER (PARTITION BY order_number ORDER BY id) AS row_num
    FROM orders
)
DELETE FROM orders
WHERE id IN (
    SELECT id
    FROM cte
    WHERE row_num > 1
);
 
-- 使用临时表
CREATE TEMPORARY TABLE temp_orders AS
SELECT DISTINCT * FROM orders;
 
DELETE FROM orders;
 
INSERT INTO orders SELECT * FROM temp_orders;
 
DROP TEMPORARY TABLE temp_orders;

参考#

通过以上方法，你可以根据具体的业务需求和数据库环境选择合适的方式来删除 MySQL 数据库中的重复数据。记得遵循最佳实践，确保数据操作的安全和高效。

2026-09