docker中搭建canal监听mysql例子

canal是众所周知的阿里监听解析mysql的binlog的工具，由于在本机使用时不方便直接运行，所以使用docker来部署mysql+canal，也可以加上canal-admin，下面直接展示：

部署mysql

本来mysql在容器启动时可以添加参数配置log-bin和binlog-format但无法配置server_id导致容器无法启动，所以使用默认配置启动容器再进入容器修改配置方式
这里可以不映射相关路径，根据需求决定

//创建一个容器内网络
docker network create my_network
//构建mysql
docker run --name mysql-es --net my_network   -v /youdir:/var/lib/mysql   -p 3307:3306 -e MYSQL_ROOT_PASSWORD=123456 -d  mysql:5.7.32

然后需要进入docker内部修改配置文件，之所以没有使用映射配置文件路径，因为配置映射后可能导致默认配置文件丢失情况，正式使用时也可以重新打包mysql，不用每次都进去修改。

//进入docker中
docker exec -it mysql-es /bin/bash
//修改相关配置
cd /etc/mysql/mysql.conf.d/
echo 'log-bin=mysqlbin'>> mysqld.cnf
echo 'server_id=1' >> mysqld.cnf
echo 'binlog-format=ROW'>> mysqld.cnf
exit
//重启该容器
docker restart mysql-es

在任意客户端连接该mysql执行

CREATE USER canal IDENTIFIED BY 'canal';  
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';
-- GRANT ALL PRIVILEGES ON *.* TO 'canal'@'%' ;
FLUSH PRIVILEGES;

启动canal

这里分为使用canal-admin和不适用两种部署方式

• 1.使用canal-admin
  先启动canal-admin，这里没有让canal-admin再接入mysql所以未对其加入mysql参数配置

  docker run --name mycanal-admin --net my_network --link mycanal:mycanal  -e server.port=8089 -e canal.adminUser=admin -e canal.adminPasswd=admin  --link mysql-es:db -p 8089:8089  -d  canal/canal-admin:v1.1.4

  再启动canal

  docker run --name mycanal --net my_network -e canal.auto.scan=false  -e canal.destinations=test  -e canal.instance.master.address=db:3306   -e canal.instance.dbUsername=canal   -e canal.instance.dbPassword=canal   -e canal.instance.connectionCharset=UTF-8  -e canal.instance.tsdb.enable=true  -e canal.instance.gtidon=false -e canal.admin.manager=mycanal-admin:8089 -e canal.admin.port=11110 -e canal.admin.user=admin -e canal.admin.passwd=4ACFE3202A5FF5CF467898FC58AAB1D615029441  -p 11112:11112  -p 11111:11111 -p 11110:11110 --link mysql-es:db  -d canal/canal-server:v1.1.4

  这里canal.admin.passwd参数，由于canal.admin设置密码是admin，所有要使用mysql执行select password(‘admin’)查看对应的加密后的值填入
  之所以先启动admin再启动canal-server，因为如果canal-server配置中有admin相关参数，而在启动时无法连接到admin会导致启动失败。

至此浏览器登录localhost:8089，用户名：admin，密码：123456
可以看到正常显示
另外在canal-server启动时已经加入canal.destinations该参数相关配置，所以若是启动正常，可以直接在canal-admin管理界面看到一个正常启动的instance，若是没有看到，有可能提示instance配置文件不存在，此时直接在管理界面，手动添加一个instance，名称为创建容器时canal.destinations的参数赋值的名称即可

• 2.不使用canal-admin方式
  因为canal-admin占用内存不小，在同时开启多个容器，比如es+mysql+canal+kibana+canal-admin，在本机往往撑不住，此时就放弃canal-admin，直接启动canal：

  docker run --name sicanal --net my_network -e canal.auto.scan=false  -e canal.destinations=test  -e canal.instance.master.address=db:3306   -e canal.instance.dbUsername=canal   -e canal.instance.dbPassword=canal   -e canal.instance.connectionCharset=UTF-8  -e canal.instance.tsdb.enable=true  -e canal.instance.gtidon=false   -p 11112:11112  -p 11111:11111 -p 11110:11110 --link mysql-es:db  -d canal/canal-server:v1.1.4

  至于相关日志和相关参数调整可以进入容器内部自行调整和查看。

到此已经完成完成搭建部分的基础逻辑，后续客户端执行调用可参照官方文档根据自身语言进行后续编写
最后说下这只是本机测试和开发时可以用的一个实现方式，正式环境还要考虑容器内部文件存储映射，内存管理等等因素

本作品采用《CC 协议》，转载必须注明作者和本文链接