求一款类是ETL的获取数据转换程序

问答 / 171 / 5 / 创建于 2年前 / 更新于 2年前

问题是这样的：

主要是服务商会提供一个API，这个API每时每刻都在更新数据，我们需要将这个数据定时的取出来，按照条件将字段转换成我们可用的字段，然后存储到数据库中。
这个需要按照计划去运行，主要用在Linux端

kettle 这个我试了，并不理想

求一款类是ETL的获取数据转换程序
这个图是基本流程

大佬们，有没有这样的软件推荐

大佬们，收费的开源的，都可以，主要是时间紧，没时间开发。
有是最好，没有就只能去开发了。

etl 获取数据爬虫 API数据

1 声望

暂无个人描述~

《L02 从零构建论坛系统》

以构建论坛项目 LaraBBS 为线索，展开对 Laravel 框架的全面学习。应用程序架构思路贴近 Laravel 框架的设计哲学。

《G01 Go 实战入门》

从零开始带你一步步开发一个 Go 博客项目，让你在最短的时间内学会使用 Go 进行编码。项目结构很大程度上参考了 Laravel。

推荐文章：

更多推荐...

面试 POPER 的后端开发工程师的离奇经历 34 / 104 |

百万级数据导入(hyperf+xlswriter+task+websocket) 19 / 12 |

📙《高并发的哲学原理》开源图书发布十一天 star 数已经破千！ 47 / 16 |

经过代理如何获取真实IP 及 laravel 中配置可信代理的原理 16 / 1 |

微信小程序、抖音小程序、百度小程序、支付宝小程序、快手小程序集合（支付、手机号解密、获取Token、模版消息、支付异步通知、退款、订单查询） 18 / 13 |

API 授权为啥要在 Authorization 标头里加个 Bearer？ 53 / 67 |

讨论数量: 5

曾是然

课程读者 278 声望 / Developer @ Tencent

最近也有这个需求，尝试了一下 NIFI，感觉还不错

2年前评论

wuliqiang （楼主）

好的，我试试

luler

106 声望

hello.dreamplay.top/show/project/8

2年前评论

huxiaochu

课程读者 6 声望

之前用的就是kettle 感觉还不错啊

2年前评论

wuliqiang （楼主）

这个不能持久化，需要在 Linux 下进行持续的get

huxiaochu （作者）

在crontab中添加一下不就可以了吗？

wuliqiang （楼主）

@huxiaochu 我的意思是，这个对于持续服务来说，不能用，不是持续运行。

dinosaur

1 声望

canal 一类自己封装也可以啊

2年前评论

wuliqiang （楼主）

主要是没时间去开发，

wuliqiang

1 声望

@dinosaur 没时间啊，有现成的，就不用开发了

2年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助