flink CDC 的学习

xing393939 的个人博客 / 7 / 0 / 创建于 1年前 / 更新于 1年前

参考资料#

故障和恢复#

当 flink 的任务意外终止后，可以通过指定恢复点从恢复点继续运行，运行命令如下：
flink run -s file:///C:/addons/checkpoints/e8072d0f5e9cd7d407fe1edd06b679aa/chk-27 path/to/jar

创建恢复点可以用 savepoints 和 checkpoints，两者的区别如下：

配置保存目录	区别 1	区别 2
state.checkpoints.dir	系统自动创建	文件轻量
state.savepoints.dir	需手动命令创建	文件较大，包含整个状态

消费 binlog 的数据格式#

DataChangeEvent 包含五个字段：

Table ID: table ID
Before: 数据改变前
After: 数据改变后
Operation type: 数据改变类型
Meta: 数据的元数据

Operation type 有四个类型:

Insert: 新数据，此时 before = null and after = new data
Delete: 删数据，此时 before = removed data and after = null
Update: 修改数据，此时 before = data before change and after = data after change
Replace: 暂无

与 canal 数据格式的区别如下：

flink CDC 的学习

本作品采用《CC 协议》，转载必须注明作者和本文链接

278 声望

暂无个人描述~

推荐文章：

更多推荐...

记学习渗透测试之枚举 10 / 1 |

记学习渗透测试之情报收集 10 / 0 |

如何配置安全的 SSH 服务？（OpenSSH 安全必知必会） 14 / 3 |

开源的 13 个 Spring Boot 优秀学习项目 14 / 1 |

实用 Docker 速查大全：快速认识 Docker 的概念和使用方法 98 / 7 |

使用 Kubernetes 来部署你的 Laravel 程序 106 / 9 |

讨论数量: 0

(=￣ω￣=)··· 暂无内容！

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

未填写

私信

文章归档

3 篇 2024 年 12 月 1 篇 2024 年 7 月 1 篇 2024 年 4 月 1 篇 2024 年 3 月 1 篇 2024 年 2 月 2 篇 2024 年 1 月 4 篇 2023 年 9 月 2 篇 2023 年 8 月 1 篇 2023 年 7 月 1 篇 2023 年 6 月 3 篇 2023 年 5 月 2 篇 2023 年 3 月 2 篇 2022 年 3 月 1 篇 2022 年 2 月 1 篇 2022 年 1 月 7 篇 2021 年 12 月 1 篇 2021 年 10 月 1 篇 2021 年 4 月 6 篇 2021 年 3 月 4 篇 2021 年 1 月 7 篇 2020 年 12 月 2 篇 2020 年 11 月 2 篇 2020 年 10 月 2 篇 2020 年 9 月 1 篇 2020 年 7 月 3 篇 2020 年 6 月

4个月前 K-Means聚类算法 4个月前 Elasticsearch 向量检索相关知识点学习 5个月前 elasticsearch的bulk模式下的curd 10个月前 github的开源项目，如何确定某版本是否包含某功能 1年前基于 vx.dev 也搞了一个自动生成前端代码的工具

8 windows下使用endless报错：undefined: syscall.SIGUSR1 6 Discuz! Q 源码浅析 5 LaravelConf 2018《优雅与效能，Laravel 与 swoole 整合之路》笔记 3 整理了一些和PHP有关的技术大会 2 分享一个无需定义结构体解析json的包

博客标签

成为赞助商