求一款类是ETL的获取数据转换程序

问答 / 0 / 5 / 创建于 4年前 / 更新于 4年前

问题是这样的：

主要是服务商会提供一个API，这个API每时每刻都在更新数据，我们需要将这个数据定时的取出来，按照条件将字段转换成我们可用的字段，然后存储到数据库中。
这个需要按照计划去运行，主要用在Linux端

kettle 这个我试了，并不理想

求一款类是ETL的获取数据转换程序
这个图是基本流程

大佬们，有没有这样的软件推荐

大佬们，收费的开源的，都可以，主要是时间紧，没时间开发。
有是最好，没有就只能去开发了。

etl 获取数据爬虫 API数据

wuliqiang

2 声望

暂无个人描述~

1 人点赞

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

讨论数量: 5

曾是然

课程读者 281 声望 / Developer @ Tencent

最近也有这个需求，尝试了一下 NIFI，感觉还不错

4年前评论

wuliqiang （楼主）

好的，我试试

luler

183 声望

hello.dreamplay.top/show/project/8

4年前评论

huxiaochu

课程读者 6 声望

之前用的就是kettle 感觉还不错啊

4年前评论

wuliqiang （楼主）

这个不能持久化，需要在 Linux 下进行持续的get

huxiaochu （作者）

在crontab中添加一下不就可以了吗？

wuliqiang （楼主）

@huxiaochu 我的意思是，这个对于持续服务来说，不能用，不是持续运行。

dinosaur

2 声望

canal 一类自己封装也可以啊

4年前评论

wuliqiang （楼主）

主要是没时间去开发，

wuliqiang

2 声望

@dinosaur 没时间啊，有现成的，就不用开发了

4年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

求一款类是ETL的获取数据转换程序

问题是这样的：

大佬们，有没有这样的软件推荐

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

求一款类是ETL的获取数据转换程序

问题是这样的：

大佬们， 有没有这样的软件推荐

社区赞助商

关于 LearnKu

资源推荐

服务提供商

其他信息

请登录

大佬们，有没有这样的软件推荐