求一款类是ETL的获取数据转换程序

问答 / 0 / 5 / 创建于 3年前 / 更新于 3年前

问题是这样的：

主要是服务商会提供一个API，这个API每时每刻都在更新数据，我们需要将这个数据定时的取出来，按照条件将字段转换成我们可用的字段，然后存储到数据库中。
这个需要按照计划去运行，主要用在Linux端

kettle 这个我试了，并不理想

求一款类是ETL的获取数据转换程序
这个图是基本流程

大佬们，有没有这样的软件推荐

大佬们，收费的开源的，都可以，主要是时间紧，没时间开发。
有是最好，没有就只能去开发了。

etl 获取数据爬虫 API数据

wuliqiang

2 声望

暂无个人描述~

1 人点赞

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

博客

Tiny RDM - 您的极简Redis数据管理利器！高效、易用、快速部署。立即体验！🚀! 欢迎各位来尝鲜. 13 / 23 |

MySQL 8.0 官方手册翻译征集 10 / 14 |

面试 POPER 的后端开发工程师的离奇经历 38 / 105 |

分享创造

探讨一下大数据量的导出Excel 方案 11 / 57 |

博客

Dcat-admin 用 alpinejs 数据双向绑定 10 / 2 |

博客

Laravel 实用小技巧 —— 如何快速更新 20 万条 MySQL 数据？ 20 / 26 |

讨论数量: 5

曾是然

课程读者 281 声望 / Developer @ Tencent

最近也有这个需求，尝试了一下 NIFI，感觉还不错

3年前评论

wuliqiang （楼主）

好的，我试试

luler

168 声望

hello.dreamplay.top/show/project/8

3年前评论

huxiaochu

课程读者 6 声望

之前用的就是kettle 感觉还不错啊

3年前评论

wuliqiang （楼主）

这个不能持久化，需要在 Linux 下进行持续的get

huxiaochu （作者）

在crontab中添加一下不就可以了吗？

wuliqiang （楼主）

@huxiaochu 我的意思是，这个对于持续服务来说，不能用，不是持续运行。

dinosaur

2 声望

canal 一类自己封装也可以啊

3年前评论

wuliqiang （楼主）

主要是没时间去开发，

wuliqiang

2 声望

@dinosaur 没时间啊，有现成的，就不用开发了

3年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

求一款类是ETL的获取数据转换程序

问题是这样的：

大佬们，有没有这样的软件推荐

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

求一款类是ETL的获取数据转换程序

问题是这样的：

大佬们， 有没有这样的软件推荐

推荐文章：

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录

大佬们，有没有这样的软件推荐