MySQL数据去重

关注

原创最新推荐文章于 2026-09-14 08:00:11 发布 725 阅读 AI 写同款· GEO 优化 ›

Ubuntu本地部署CodeX编程助手：CLI配置全指南本地AI编程助手是当前开发者关注的核心技术趋势，指在不依赖云端API、保障代码隐私前提下，于本地环境运行具备代码理解、多语言补全与知识库检索能力的智能辅助工具。其技术原理涉及模型加载、API网关编排、向量数据库集成及系统级资源调度，关键价值在于可控性、低延迟与合规性。典型应用场景包括企业内网DevOps提效、边缘设备嵌入式开发支持，以及敏感代码场景下的离线编程增强。本文聚焦Ubuntu系统下基于CLI的手动配置路径，深入解析Ollama服务注册、Node.js版本锁定、API Key环境隔离及Qwen2.5 阅读详情

删除重复数据

一次删除一批重复数据，需要多次执行

DELETE FROM TABLE_NAME 
WHERE ID IN(
	(
		SELECT MIN(ID) 
		FROM TABLE_NAME 
		GROUP BY COLUMNA,COLUMNB
		HAVING COUNT(1)> 1
	)TEMPA 
)

REPLACE 插入新行之前删除旧行

https://dev.mysql.com/doc/refman/5.7/en/replace.html

REPLACE [LOW_PRIORITY | DELAYED]
    [INTO] tbl_name
    [PARTITION (partition_name [, partition_name] ...)]
    [(col_name [, col_name] ...)]
    {VALUES | VALUE} (value_list) [, (value_list)] ...

INSERT INTO ON DUPLICATE KEY UPDATE

表需要设置唯一键，当数据重复时，更新该数据
https://dev.mysql.com/doc/refman/5.7/en/insert-on-duplicate.html

INSERT INTO t1 (a,b,c) VALUES (1,2,3)
  ON DUPLICATE KEY UPDATE c=c+1;
UPDATE t1 SET c=c+1 WHERE a=1;

使用values函数引用表中对应列的值

INSERT INTO t1 (a,b,c) VALUES (1,2,3),(4,5,6)
  ON DUPLICATE KEY UPDATE c=VALUES(a)+VALUES(b);

INSERT INTO IGNORE

忽略重复值插入

INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE]
    [INTO] tbl_name
    [PARTITION (partition_name [, partition_name] ...)]
    [(col_name [, col_name] ...)]
    {VALUES | VALUE} (value_list) [, (value_list)] ...
    [ON DUPLICATE KEY UPDATE assignment_list]