基于kettle作业和转换常用控件总结

概述

今天主要介绍一下kettle的常用控件。

1.jpg


一、kettle控件

Kettle控件的特点:Kettle的控件分类比较细致,功能相对单一也很具体。使用起来很容易掌握。

Kettle一般处理方法:正式由于Kettle控件的细化特点,所以往往需要组合起来使用。组合使用只是从点的角度看问题,还有就是从线的角度看问题。比如,目标表中的各个列其值可能由其他列的值计算得到,这就涉及到列的计算次序。合理选择计算次序,可以降低计算复杂度和可读性。

修改kettle文件:修改之后要保存才能生效。

2.jpg

因为我们用作业和转换比较多,所以主要介绍这两类的控件。


二、作业中常用控件:

3.jpg

1、通用——START:作业开始;

2、通用——作业:指定某个作业循环执行;

3、通用——转换:指定某个转换,加入到作业中来;

4、通用——设置变量:设置变量,为了转换或者作业中获取变量;

5、通用——成功:作业完成操作;

6、通用——DUMMY:空操作,什么也不执行;

7、邮件——发送邮件:给指定邮箱发送邮件,发件人的账号需要开通第三方发送邮件的功能;

8、文件管理——复制/移动结果文件:复制/移动文件;

9、文件管理——创建一个目录:创建指定的目录;

10、文件管理——删除一个文件:删除指定的一个文件;

11、文件管理——复制文件:复制指定的文件;

12、文件管理——删除目录:删除指定的目录;

13、文件管理——删除多个文件:通过正则表达式批量删除文件;

14、条件——检查数据库连接:检查数据库是否能够连接通;

15、条件——检查表是否存在:检查指定的表是否存在;

16、文件传输——SFTP下载:可以通过SSH进行远程下载文件;

17、文件传输——SFTP上传:可以通过SSH进行远程上传文件;

18、文件传输——FTP删除:可以远程删除指定的文件;


三、转换中常用控件:

4.jpg

1、输入——Excel输入:从excel文件中读取数据;

2、输入——文本文件输入:从文本文件中读取数据;

3、输入——生成随机数:用来生成指定类型的随机数;

4、输入——自定义数据常量:将值不变的变量存入到此处,方便管理;

5、输入——获取系统信息:可以获取系统信息(日期、命令行参数);

6、输入——表输入:从数据库表中读取数据;

7、输出——Excle输出:注意.xls格式输出行数有限制,一般输出.xlsx最好;

8、输出——插入/更新:根据指定的匹配字段,可以检测是插入新数据,还是修改旧数据;

9、输出——文本文件输出:将结果数据输出到文本文件中去;

10、输出——表输出:将结果数据输出到某个数据库的某个表中;

11、转换——增加常量:在原数据中将常量值增加新一列;

12、转换——排序记录:对原数据按照某个字段进行排序;

13、转换——剪切字符串:对字符串进行截图;

14、转换——去重复记录:对于某个字段有重复的记录进行过滤;

15、转换——字段选择:筛选流中的字段,慎用,过滤后后面的控件将无法获取流中筛除的字段了;

16、流程——空操作:将不需要的数据放到此处,类似垃圾箱;

17、流程——过滤记录:按照条件进行过滤,类似if-else;

18、流程——Switch/Case:与java中switch/case一样;

19、脚本——java代码:执行java代码;

20、脚本——javascript代码:执行javascript代码;

21、脚本——执行SQL脚本:执行sql;

22、连接——记录集连接:类似于sql的left join/right join/inner join,但是使用前的数据必须要经过排序;

23、作业——从结果获取记录:从作业中获取数据;

24、作业——复制记录到结果:将转换中的结果数据放到作业中去;

25、作业——获取变量:从作业中获取变量;

26、作业——设置变量:设置变量,从而让作业中能够获取变量;



版权声明:
作者:WaterBear
链接:https://l-t.top/585.html
来源:雷霆运维
文章版权归作者所有,未经允许请勿转载。

THE END
分享
二维码
< <上一篇
下一篇>>