基于kettle作业和转换常用控件总结
概述
今天主要介绍一下kettle的常用控件。
一、kettle控件
Kettle控件的特点:Kettle的控件分类比较细致,功能相对单一也很具体。使用起来很容易掌握。
Kettle一般处理方法:正式由于Kettle控件的细化特点,所以往往需要组合起来使用。组合使用只是从点的角度看问题,还有就是从线的角度看问题。比如,目标表中的各个列其值可能由其他列的值计算得到,这就涉及到列的计算次序。合理选择计算次序,可以降低计算复杂度和可读性。
修改kettle文件:修改之后要保存才能生效。
因为我们用作业和转换比较多,所以主要介绍这两类的控件。
二、作业中常用控件:
1、通用——START:作业开始;
2、通用——作业:指定某个作业循环执行;
3、通用——转换:指定某个转换,加入到作业中来;
4、通用——设置变量:设置变量,为了转换或者作业中获取变量;
5、通用——成功:作业完成操作;
6、通用——DUMMY:空操作,什么也不执行;
7、邮件——发送邮件:给指定邮箱发送邮件,发件人的账号需要开通第三方发送邮件的功能;
8、文件管理——复制/移动结果文件:复制/移动文件;
9、文件管理——创建一个目录:创建指定的目录;
10、文件管理——删除一个文件:删除指定的一个文件;
11、文件管理——复制文件:复制指定的文件;
12、文件管理——删除目录:删除指定的目录;
13、文件管理——删除多个文件:通过正则表达式批量删除文件;
14、条件——检查数据库连接:检查数据库是否能够连接通;
15、条件——检查表是否存在:检查指定的表是否存在;
16、文件传输——SFTP下载:可以通过SSH进行远程下载文件;
17、文件传输——SFTP上传:可以通过SSH进行远程上传文件;
18、文件传输——FTP删除:可以远程删除指定的文件;
三、转换中常用控件:
1、输入——Excel输入:从excel文件中读取数据;
2、输入——文本文件输入:从文本文件中读取数据;
3、输入——生成随机数:用来生成指定类型的随机数;
4、输入——自定义数据常量:将值不变的变量存入到此处,方便管理;
5、输入——获取系统信息:可以获取系统信息(日期、命令行参数);
6、输入——表输入:从数据库表中读取数据;
7、输出——Excle输出:注意.xls格式输出行数有限制,一般输出.xlsx最好;
8、输出——插入/更新:根据指定的匹配字段,可以检测是插入新数据,还是修改旧数据;
9、输出——文本文件输出:将结果数据输出到文本文件中去;
10、输出——表输出:将结果数据输出到某个数据库的某个表中;
11、转换——增加常量:在原数据中将常量值增加新一列;
12、转换——排序记录:对原数据按照某个字段进行排序;
13、转换——剪切字符串:对字符串进行截图;
14、转换——去重复记录:对于某个字段有重复的记录进行过滤;
15、转换——字段选择:筛选流中的字段,慎用,过滤后后面的控件将无法获取流中筛除的字段了;
16、流程——空操作:将不需要的数据放到此处,类似垃圾箱;
17、流程——过滤记录:按照条件进行过滤,类似if-else;
18、流程——Switch/Case:与java中switch/case一样;
19、脚本——java代码:执行java代码;
20、脚本——javascript代码:执行javascript代码;
21、脚本——执行SQL脚本:执行sql;
22、连接——记录集连接:类似于sql的left join/right join/inner join,但是使用前的数据必须要经过排序;
23、作业——从结果获取记录:从作业中获取数据;
24、作业——复制记录到结果:将转换中的结果数据放到作业中去;
25、作业——获取变量:从作业中获取变量;
26、作业——设置变量:设置变量,从而让作业中能够获取变量;
共有 0 条评论