MYSQL8.0不停机搭建主从复制

要求：宝塔几台机器全部安装好 mysql8.0, 服务器之间可以相互访问 3306 端口

配置主服务#

备份数据

mysqldump -uroot -ppassword --single-transaction --master-data=2 --databases db1 db2 xxx > databases.sql

压缩数据并拷贝到从服务器上

 tar -zcvf databases.sql.tar.gz databases.sql
 scp databases.sql.tar.gz root@xxx:/

从服务器#

加压文件
```
tar -zxvf databases.sql.tar.gz 
```

导入数据

mysql -uxxx -pxxx
source /databases.sql.tar.gz

查看日志节点
```
cat databases.sql | head -n 50
```

更新节点

CHANGE MASTER TO MASTER_HOST='10.206.0.10',MASTER_USER='xxx',MASTER_PASSWORD='xxx',MASTER_LOG_FILE='xxx',MASTER_LOG_POS=xxx;

查看同步状态

start slave;#开启同步
show slave status\G;#查看同步状态

异常错误#

跳过错误

stop slave;
set GLOBAL SQL_SLAVE_SKIP_COUNTER=1;
start slave;

mysql

本作品采用《CC 协议》，转载必须注明作者和本文链接

zh-mead

课程读者 92 声望

暂无个人描述~

2 人点赞

你将学到如 RESTFul 设计风格、PostMan 的使用、OAuth 流程，JWT 概念及使用和 API 开发相关的进阶知识。

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

推荐文章：

更多推荐...

博客

冯老师的困惑 —— 一个跑了两年的 BUG 19 / 16 |

博客

手摸手带你使用 docker-compose 编排一个开发环境 18 / 15 |

MySQL 8.0 官方手册翻译征集 10 / 14 |

博客

Laravel 实用小技巧 —— 如何快速更新 20 万条 MySQL 数据？ 20 / 26 |

Mysql 的 varchar 字段最大长度真的是 65535 吗？ 35 / 10 |

博客

别让这样的定时任务拖垮你的网站 24 / 30 |

讨论数量: 23

kis龍

Laravel 9.x 译者 498 声望

备份和导入数据库之间更新的数据，如何同步过去呢？

1年前评论

zh-mead （楼主）

从数据库会根据主库bin日志执行备份之后的sql

kis龍（作者）

@zh-mead 我记得 pt 有个工具，可以校验主从数据一致性

raybon

Laravel 8.x 译者 332 声望 / php @ 远程

不停机，但也要保证主库不能写数据才行呀，不强制开启，是启动不了的，强制启动，又会丢数据

1年前评论

raybon （作者）

@air93610 主从版本都是一样的，源码安装，内网，我查过这个报错，如果不开启跳过索引，主库只要有写入数据，从库我这边是无法开启的，会提示错误，关闭主库的写入，只读模式，从库就正常开启

zh-mead （楼主）

不会丢数据

raybon （作者）

@zh-mead 你要是主库有数据写入，你能启动从库吗，这个我记得是启动不了的呀

air93610

@raybon 从库的启动和主库没有直接关系。从库可以单独启动之后再开启复制任务。这个方法的关键在于，MASTER_LOG_POS=xxx; 这个地方。这个地方是主库最后的二进制文件位置，从库链接上之后，会从这个位置开始继续往后读取更新

raybon （作者）

@air93610 我之前遇到的问题是，主库的索引找到最新的，因为主库没有关停程序，索引一直在变，我的从库开启复制的io 一直报错，有一种方案是跳过那些索引

air93610

@raybon 你应该检查一下是不是二进制文件尺寸设置的太小，或者说业务数据插入量太大，因为本质上来说，这个pos其实指的是键值对关系，指定的pos对应一次（或者多次，可以设置）数据库的改动，或者还有一种情况是，主从数据库版本不一致，会导致某些主库上面能成功插入的数据，在从库上面一写入就失败

air93610

@raybon 哈确实很有意思，我得复现一下。看看自己有这个问题

raybon （作者）

@air93610 你想一下，如果索引一直在变，log 一直刷新，你的从库启动必须保证启动的节点后面没有数据，这块我查了资料，可以选择跳过索引开启，会丢失一部分数据

air93610

@raybon 已经进行了一波复现，完全没有遇到你的情况，从库启动并不是你说的这个逻辑，binlog是一个很大的文件（非常big）所以可能是你设置的这个文件尺寸太小，从你拷贝完数据到从库上开始恢复这个时间节点，主库已经划过了一整个的文件位了，自然就找不到报错了（这个只是我的猜测，也许还有其他的原因），

position只是标识当前正常记录的最后的二进制文件中的位置。pos一直在变化，但是并不代表你导出时候的那个pos已经不在了。只是告诉从库，你开始拷贝的时候要从这个指定的pos位置开始读取。所以你的情况更像是，binlog文件已经被刷新，原来的pos位置已经找不到了。才会报错

show variables like ‘max_binlog_size’;
你可以使用这个命令查看binlog文件的大小，超过这个尺寸之后就会刷新，自然就找不到原来的位置了

air93610

@raybon 最新消息，我正在使用的5.7版本，，哪怕是pos位置完全写错了，也能启动，只是无法正常接收更新。。。。我打算试试8.0版本

air93610

@raybon 现在我瞎鸡毛写了个完全不存在的位置，终于报错了

Got fatal error 1236 from master when reading data from binary log: 'log event entry exceeded max_allowed_packet; Increase max_allowed_packet on master; the first event 'mysql-bin.000071' at 1020, the last event read from './mysql-bin.000071' at 123, the last byte read from './mysql-bin.000071' at 1039.'

raybon （作者）

@air93610 Slave_IO_Running: Yes Slave_SQL_Running: Yes 你看下你的启动这两个状态正常不，指定索引之后，主库继续写入数据

air93610

@raybon 如果是范围内能索引，并且正常的pos。这两个值是能正常，就是能自动复制中间新增的pos

raybon （作者）

@air93610 场景可能不太一样，我们这是30多个服务同时连着的，服务不停，数据库是启动不了，我们都是分布式的数据库，版本也是5.7 ，我的意思是持续的写入数据，不是你先写入后开启，真实场景就是数据库在一直写入，你去启动，你写入之后再去启动没问题

air93610

@raybon 我觉得还是主数据库二进制日志的设计问题。因为这个东西的本质就是从库在一直读取主库的二进制文件，听你们这个情况，我非常感觉是主库写入速度超过二进制文件pos范围。但是我觉得我可以尝试复现一下你这个情况。

raybon （作者）

@air93610 这个很容易复现，在主库一直不短写入数据的时候，你去启动，正常你是启动不了的，官方文档有说明，你可以选择跳过高于当前索引设定的位置，你说的那种是先写入数据，你在启动，和主库一直持续写入启动，场景是不一样的

air93610

@raybon 我进行了复现，现在简单说一下我的做法，以及结果。感觉确实是个很有意思的事情。

测试代码A：无事务环境下，密集循环写入，不过虽然密集，本质只占用了一个链接进程

$i = 1;
$DB = DB::connection("mysql_test");
while ($i < 100000) {
    $DB->table('album')->insert([
    'title'=>$i,
    'artist'=>123,
    'price'=>123
    ]);
$i++;
}
dd(1);

测试代码B：携带事务以及sleep的一个写入过程

$i = 1;
$DB = DB::connection("mysql_test");
$DB->beginTransaction();
while ($i < 1000) {
    $DB->table('album')->insert([
    'title'=>$i,
    'artist'=>123,
    'price'=>123
    ]);
$i++;
}
$DB->commit();
dd(1);

结果是A 和B 在主服务上面启动了10秒后再次开启从服务器都能正常开启，并且能获取主服务器的更新数据，并且开启事务的代码上面（事务中更新的数据两台服务器上面都看不见，事务提交后逐步更新到主从服务器），事务运行过程中再重新手动在目标表上面进行操作是能正常同步到从服务器上面的。

air93610

@raybon 一个极好的消息~

我通过flush binary logs; 刷新二进制文件复现了一个情况，不过这个情况还是因为（使用了重置命令，就是重新创建复制从服务的命令）

CHANGE MASTER TO MASTER_HOST='10.206.0.10',MASTER_USER='xxx',MASTER_PASSWORD='xxx',MASTER_LOG_FILE='xxx',MASTER_LOG_POS=xxx;

不过这个报错的本质是重复的数据日志写入（因为这些id号已经写过了）

小李世界

Laravel 8.x 译者 2.0k 声望 / Doge 先锋 @ dogeow.com

是的，我记得要关闭写，不然会有问题

1年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

MYSQL8.0不停机搭建主从复制

配置主服务#

从服务器#

异常错误#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

MYSQL8.0不停机搭建主从复制

配置主服务#

从服务器#

异常错误#

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录