小木曾雪菜 » 日志
通过接口在kettle同步数据（ETL）

最近在做数据同步的时候有一组硬件数据的发送接收，收到接口文档的时候，我第一想法是通过JAVA写一个接收程序，定时启动jar进行数据入库，后来发现，接口非常的多，硬件设备型号各不相同，运维起来非常麻烦。
我就想着通过Kettle的reset client控件实现接口的数据接收。但是由于token是有时间限制，而且token和data数据获取的方法不同，则需要双重reset client控件进行post请求获取数据。

这种接口是比较经典的带令牌的接口，而且token为动态的。
post接口也可以通过http post控件，还有http client控件，kettle作为etl工具是纯java写的。本次的数据同步设计当中我发现了一个问题，我在版本8.2运行我的ktr结果是json不能解析，但是在7.1当中是成功取到数据，非常的奇怪。现在还是没有找到问题，估计要看版本说明了，应该是比较底层的东西。
此方法做接口数据传输可以非常方便运维，转换也可以进行多接口数据接收。