Kettle资源库运行方式(二)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Kettle资源库运行方式(二)

kettle资源库

资源库是用来保存转换任务的,用户通过图形界面创建的的转换任务可以保存在资源库中。

资源库可以使多用户共享转换任务,转换任务在资源库中是以文件夹形式分组管理的,用户可以自定义文件夹名称。


1.ketle资源库元数据


• 资源库

   资源库包括文件资源库、数据库资源库

   Kettle 4.0 以后资源库类型可以插件扩展

 • XML 文件

   .ktr 转换文件的XML的根节点必须是

.    kjb 作业XML的根节点是


2.kettle资源库类型


数据库资源库:

   • 把 Kettle 的元数据串行化到数据库中,如 R_TRANSFORMATION 表保

  存了Kettle 转换的名称、描述等属性。

   • 在Spoon 里创建和升级数据库资源库

 文件资源库:

   在文件的基础上的封装,实现了 org.pentaho.di.repository.Repository 接口。

   是Kettle 4.0 以后版本里增加的资源库类型

 不使用资源库:

   直接保存为ktr 或 kjb 文件。


3.资源库操作


新建资源库:


kettle7.0后新建方式略有不同,新建资源库在右上角->connect,


详细新建图文步骤,

   参考:https://blog.csdn.net/m0_37979608/article/details/77096201


使用默认的admin/admin即可登陆到资源库!


如果使用中文进行了资源库命名,将会出现资源库无法新建的问题。解决方案,参考:https://blog.csdn.net/liuwenbiao1203/article/details/77579436


导入/导出资源库:


导航栏->工具->导入/导出资源库,或者探索资源库进行指定目录的导出,导出为.xml文件即可!

kettle运行方式

运行方式主要分为:图形化、命令行、API

图形界面:Spoon

 命令行:Pan、Kitchen

 API:Kettle Java API 嵌入到其他应用


1.Spoon


本地运行:前面的都是采用本地运行,直接点击运行按钮进行运行的,不再赘述


远程:Carte,


• Carte 是内嵌 Jetty 的 http server。

     • Carte执行命令 carte localhost 8080


需要现在服务器上运行命令,格式为carte ip 端口 (端口可以随意,只要不冲突即可)

2.命令行

主要有Pan和Kitchen,但是由于项目都是以作业为主,所以还是Kitchen使用的更多

参数名列表:
/rep : 资源库名称
/user : 资源库用户名
/pass : 资源库密码
/trans : 要启动的转换名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换文件)
/level : 日志级别 (Error, Nothing, Minimal, Basic , Detailed, Debug, Rowlevel)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listtrans : 列出指定目录下的转换
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示转换的版本,校订和创建日期
/param : 设置参数,参数格式<NAME>=<VALUE>,例如-param:FOO=bar
/listparam: 列出转换里已经设置好的参数。
/maxloglines:内存中保存日志的最大日志行数
/maxlogtimeout:内存中保存日志的最长时间
Pan
/rep : 资源库名称
/user : 资源库用户名
/pass : 资源库密码
/job : 要启动的作业名称
/dir : 目录(不要忘了前缀 /)
/file : 要启动的文件名(转换文件)
/level : 日志级别 (Error, Nothing, Minimal, Basic , Detailed, Debug, Rowlevel)
/logfile : 要写入的日志文件
/listdir : 列出资源库里的目录
/listjobs : 列出指定目录下的作业
/listrep : 列出可用资源库
/exprep : 将资源库里的所有对象导出到 XML 文件中
/norep : 不要将日志写到资源库中
/safemode : 安全模式下运行: 有额外的检查
/version : 显示转换的版本,校订和创建日期
/param : 设置参数,参数格式<NAME>=<VALUE>,例如-param:FOO=bar
/listparam: 列出转换里已经设置好的参数
/export: 把作业依赖的所有资源导出到一个zip 文件里
/maxloglines:内存中保存日志的最大日志行数
/maxlogtimeout:内存中保存日志的最长时间
Kitchen

kettle内置变量

参考:https://blog.csdn.net/qq_22073849/article/details/70139584

20190505103610158.png

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
JavaScript 前端开发 数据库
Kettle使用脚本实现循环(十)
Kettle使用脚本实现循环(十)
1730 0
Kettle使用脚本实现循环(十)
|
Docker 容器 数据格式
Docker 修改镜像源地址
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_34173549/article/details/80417198 我的Docker 版本为 1.
41681 0
|
监控 Java 数据库连接
kettle开发-远程执行作业
kettle开发-远程执行作业
420 0
|
存储 关系型数据库 数据库连接
|
存储 缓存 安全
Linux根目录——详情介绍
Linux根目录——详情介绍
170 0
|
存储 SQL JSON
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
5、DataX(DataX简介、DataX架构原理、DataX部署、使用、同步MySQL数据到HDFS、同步HDFS数据到MySQL)(一)
|
SQL 关系型数据库 MySQL
Mysql审核查询平台Archery部署
Mysql审核查询平台Archery部署
893 0
|
JSON 数据格式 网络架构
Kettle使用接口获取数据(九)
Kettle使用接口获取数据(九)
1061 1
Kettle使用接口获取数据(九)
|
数据采集 Oracle 关系型数据库
Kettle入门(一)
Kettle入门(一)
585 0
Kettle入门(一)
OSZAR »