flink CDC 的学习
参考资料#
故障和恢复#
当 flink 的任务意外终止后,可以通过指定恢复点从恢复点继续运行,运行命令如下:flink run -s file:///C:/addons/checkpoints/e8072d0f5e9cd7d407fe1edd06b679aa/chk-27 path/to/jar
创建恢复点可以用 savepoints 和 checkpoints,两者的区别如下:
配置保存目录 | 区别 1 | 区别 2 |
---|---|---|
state.checkpoints.dir | 系统自动创建 | 文件轻量 |
state.savepoints.dir | 需手动命令创建 | 文件较大,包含整个状态 |
消费 binlog 的数据格式#
DataChangeEvent 包含五个字段:
Table ID
: table IDBefore
: 数据改变前After
: 数据改变后Operation type
: 数据改变类型Meta
: 数据的元数据
Operation type
有四个类型:
- Insert: 新数据,此时
before = null
andafter = new data
- Delete: 删数据,此时
before = removed
data andafter = null
- Update: 修改数据,此时
before = data before change
andafter = data after change
- Replace: 暂无
与 canal 数据格式的区别如下:
本作品采用《CC 协议》,转载必须注明作者和本文链接
推荐文章: