flink CDC 的学习
17 / 0 / 创建于 1个月前 /
xing393939 的个人博客
参考资料
故障和恢复
当flink的任务意外终止后，可以通过指定恢复点从恢复点继续运行，运行命令如下：flink run -s file:///C:/addons/checkpoints/e8072d0f5e9cd7d407fe1edd06b679aa/chk-27 path/to/jar
创建恢复点可以用savepoints和checkpoints，两者的区别如下：
| 配置保存目录 | 区别1 | 区别2 |
|---|---|---|
| state.checkpoints.dir | 系统自动创建 | 文件轻量 |
| state.savepoints.dir | 需手动命令创建 | 文件较大，包含整个状态 |
消费binlog的数据格式
DataChangeEvent包含五个字段：
Table ID: table IDBefore: 数据改变前After: 数据改变后Operation type: 数据改变类型Meta: 数据的元数据
Operation type有四个类型:
- Insert: 新数据，此时
before = nullandafter = new data - Delete: 删数据，此时
before = removeddata andafter = null - Update: 修改数据，此时
before = data before changeandafter = data after change - Replace: 暂无
与canal数据格式的区别如下：
本作品采用《CC 协议》，转载必须注明作者和本文链接
关于 LearnKu
粤公网安备 44030502004330号
推荐文章：