flink CDC 的学习

参考资料#

  1. flink 文档
  2. flink CDC 文档

故障和恢复#

当 flink 的任务意外终止后,可以通过指定恢复点从恢复点继续运行,运行命令如下:
flink run -s file:///C:/addons/checkpoints/e8072d0f5e9cd7d407fe1edd06b679aa/chk-27 path/to/jar

创建恢复点可以用 savepoints 和 checkpoints,两者的区别如下:

配置保存目录 区别 1 区别 2
state.checkpoints.dir 系统自动创建 文件轻量
state.savepoints.dir 需手动命令创建 文件较大,包含整个状态

消费 binlog 的数据格式#

DataChangeEvent 包含五个字段:

  • Table ID: table ID
  • Before: 数据改变前
  • After: 数据改变后
  • Operation type: 数据改变类型
  • Meta: 数据的元数据

Operation type 有四个类型:

  • Insert: 新数据,此时 before = null and after = new data
  • Delete: 删数据,此时 before = removed data and after = null
  • Update: 修改数据,此时 before = data before change and after = data after change
  • Replace: 暂无

与 canal 数据格式的区别如下:

flink CDC 的学习

本作品采用《CC 协议》,转载必须注明作者和本文链接