关于MySQL 大批量插入时如何过滤掉重复数据

前言: 加班原因是上线,解决线上数据库存在重复数据的问题,发现了程序的bug,很好解决,有点问题的是,修正线上的重复数据。 线上库有6个表存在重复数据,其中2个表比较大,一个96万+、一个30万+,因为之前处理过相同的问题,就直接拿来了上次的Python去重脚本,脚本很简单

mysql过滤复制思路详解

mysql过滤复制思路详解

目录mysql过滤复制主库上实现从库上实现一些问题mysql过滤复制两种思路:主库的binlog上实现(不推荐,尽量保证主库binlog完整)从库的sql线程上实现所以主从过滤复制尽量不用,要用的也仅仅在从库上使用,因为要尽可能保证binlog的完整性主库上实现在Master端为保证二进制日

1253067 TFnetwork_cn