seo网站结构图,东莞设计网站企业,优秀产品设计作品,微信公号嵌入网站开发要在 MySQL 中删除重复的数据并只保留一条#xff0c;可以使用下面的方法#xff08;要用的时候直接复制小改下条件和表名称即即可#xff09; 方法一#xff1a;使用 left join 子查询删除重复数据(推荐) 温馨提示#xff1a;本人在 500w 数据下执行此 SQL 耗费 15s-30s… 要在 MySQL 中删除重复的数据并只保留一条可以使用下面的方法要用的时候直接复制小改下条件和表名称即即可 方法一使用 left join 子查询删除重复数据(推荐) 温馨提示本人在 500w 数据下执行此 SQL 耗费 15s-30s 左右 使用 left join (推荐方法删除重复数据添加唯一组合索引可以使用数据量大的也可以)
// 先把历史数据删除才能够添加唯一的组合索引
DELETE u1
FROM uf_cs_record_batch_detail u1
LEFT JOIN (SELECT MIN(id) AS min_idFROM uf_cs_record_batch_detailGROUP BY cs_contact_name, cs_safe_remark
) u2
ON u1.id u2.min_id
WHERE u2.min_id IS NULL;另外在附上添加唯一组合索引的 SQL 写法很实用
// 添加组合的唯一索引
ALTER TABLE uf_cs_record_batch_detail ADD UNIQUE KEY idx_uni_contact_safe_stat (cs_contact_name, cs_safe_remark);方法二创建临时表(需分多步执行逻辑清晰但会改变ID值)
这种方法假设你有一个表 your_table并且你要基于某些列来判断哪些数据是重复的。 例如如果你想删除基于 column1 和 column2 的重复记录只保留一条记录你可以按照以下步骤操作
使用 CREATE TABLE 语句创建一个临时表用于存储唯一的记录。使用 INSERT INTO ... SELECT 语句将唯一的记录插入到临时表中。删除原始表中的所有记录。使用 INSERT INTO ... SELECT 语句将临时表中的记录插入回原始表。删除临时表。
以下是一个完整的 SQL 例子
-- 创建临时表 SQL 参考
CREATETABLE temp_table AS
SELECT*FROM your_table-- 将不重复的数据临时存在这个 temp_table 临时表中
INSERTINTO temp_table
SELECT*FROM your_table t1
WHERE t1.id (SELECTMIN(t2.id)FROM your_table t2WHERE t1.column1 t2.column1AND t1.column2 t2.column2
);-- 然后将源表中的数据删除
DELETEFROM your_table whereWHERE 字段1值;-- 再将临时表中不重复数据重新写回到源表中
INSERTINTO your_table
SELECT*FROM temp_table;-- 最后删除临时表
DROPTABLE temp_table;这样你就成功地删除了原始表中的重复记录只保留了一条唯一记录。
注意但是这种方法会改变原来的数据 ID 所以这种方法看场合使用
方法三使用 JOIN 自连查询(需要注意性能问题)
为了避免改变原来的数据 ID我们可以使用一个不同的方法通过使用自连接来标记重复的数据并删除多余的记录。这种方法在保留原始 ID 的情况下删除重复记录。
假设你的表结构如下
表名your_table列名id (主键), column1, column2, 以及其他列。
你可以使用以下 SQL 来删除重复记录只保留一条通常是保留 ID 最小的那一条
-- Step 1: 标记要删除的重复记录
DELETE t1
FROM your_table t1
INNER JOIN your_table t2
WHERE t1.id t2.idAND t1.column1 t2.column1AND t1.column2 t2.column2;-- Step 2: 确认删除成功查看剩余数据
SELECT * FROM your_table;解释
-标记要删除的重复记录我们使用自连接 INNER JOIN 来找到重复的记录并且使用 WHERE t1.id t2.id 来确保只删除 id 较大的记录从而保 留 id 最小的记录。
确认删除成功通过 SELECT 语句查看剩余的数据确保删除操作正确。这个方法的优点是不会改变原始数据的 ID。保留每组重复记录中 ID 最小的一条记录。操作简单且高效。
小总结
使用 left join 删除重复数据(推荐使用)适合大数据量性能 OK创建临时表 适合需要重建数据表的场景适合数据量中等的情况不过比较繁琐自连查询 能保留最小 ID适合不想改变 ID 的情况下删除重复数据。
