kettle教程

  • 什么是ETL? 一、ETL概念之背景 随着企业的发展,目前的业务线越来越复杂,各个业务系统独立运营。例如:CRM系统只会生产CRM的 数据;Billing只会生产Billing的数据。各业务系统之间只关心自己的数据,导致各业务系统之间数据相互独立...
  • 一、什么是kettle Kettle最早是一个开源的ETL工具,全称为KDE Extraction, Transportation, Transformation and Loading Environment。在2006年,Pentaho公司...
  • kettle作业调度,附件(excel)配置表名,一个调度完成所有的表操作 欢迎关注笔者的公众号: java大师, 观看教学视频 KETTLE4个工作中有用的复杂实例--2、两表数据比较,比较后自动同步(部门、单位数据同步) 二、两表数据比...
  • kettle作业调度,附件(excel)配置表名,一个调度完成所有的表操作 欢迎关注笔者的公众号: java大师, 观看教学视频 在平时工作当中,会遇到这种情况:复制一个库,几百甚至上千张表,并且无法设置dblink,此时通过kettle可...
  • kettle作业调度时间戳 欢迎关注笔者的公众号: java大师, 观看教学视频 本文接上一篇,只写到读取日志。在平时工作当中,会遇到这种情况,而且很常见。比如:增量抽取(每隔2个小时抽取截至到上次抽取时间的记录) 本文中会用到作业,先来熟...
  • kettle教程---增量更新 欢迎关注笔者的公众号: java大师, 观看教学视频 以下操作都在5.0.1版本下进行开发,其余版本可以进行自动比对 在平时工作当中,会遇到这种情况,而且很常见。比如:增量抽取(每隔2个小时抽取截至到上次抽取时...
  • KETTLE多表关联的同步一张表的两种实现方式 欢迎关注笔者的公众号: java大师, 观看教学视频 以下操作都在5.0.1版本下进行开发,其余版本可以进行自动比对 在平时工作当中,会遇到这种情况,而且很常见。比如:读取对方的多个视图或者表,...
  • KETTLE单表同步,写入EXCEL和TXT 附:Kettle实战视频教程,需要的朋友可以关注公众号:java大师 以下操作都在5.0.1版本下进行开发,其余版本可以进行自动比对 在平时工作当中,会遇到这种情况,而且很常见。比如:1、自动生成...
  • KETTLE入门教程-单表读取 附:Kettle实战视频教程,需要的朋友可以关注公众号:java大师 Kettle简介:Kettle是一款国外开源的ETL工具,纯java编写,可以在Window、Linux、Unix上运行,数据抽取高效稳定...
  • kettle教程--通过配置文件同步所需要的列数据 欢迎关注博主公众号「Java大师」, 专注于分享Java领域干货文章, 关注回复「kettle」, 免费领取全网最热的kettle实战视频教程 http://www.javaman.cn/ket...
kettle增量作业调度时间戳 - idea激活- IntelliJ IDEA 2021.1激活码破解教程(亲测激活至 2099 年,长期更新)- 爪哇男教程  

kettle作业调度时间戳

欢迎关注笔者的公众号: java大师, 观看教学视频

本文接上一篇,只写到读取日志。在平时工作当中,会遇到这种情况,而且很常见。比如:增量抽取(每隔2个小时抽取截至到上次抽取时间的记录) 本文中会用到作业,先来熟悉下作业的概念

简单地说,一个转换就是一个ETL的过程,而作业则是多个转换、作业的集合,在作业中可以对转换或作业进行调度

实际情况中,每次抽取完毕,会写入日志表,记录本次抽取时间,下次抽取会根据本次抽取的成功时间,开始获取数据进行抽取。

我们可以使用作业来完成调度任务,需要用到调度控件【start】和【成功】这两个。

【start】可以控制执行频率,控制什么时间执行,间隔多长时间执行都可以进行配置,还是比较方便的。 下面需要这5个控件来完成,我们逐一看下每个控件是怎么使用的。 作业界面 1)【start】控件。

如下图,该控件可以配置定时执行时间和时间间隔,是否重复等。为了实时抽取,我们把重复给勾选上,类型选中时间间隔,以分钟计算,每60分钟执行一次作业。 start 2)【转换1】-获取student表的更新时间,我们点击右键,进入转换的编辑页面 在这里插入图片描述 在这里插入图片描述 在这里插入图片描述 点击【设置变量】,将表输入的结果放入变量中。 在这里插入图片描述 3)【转换2】-student表作业,我们点击右键,进入转换的编辑页面,设置相应的表输入和表输出项,如下图 在这里插入图片描述 在这里插入图片描述 4)【转换3】-写同步日志,我们点击右键,进入转换的编辑页面,此处包含一个【sql脚本】,写入sql后点击保存 在这里插入图片描述 转换完成。 效果每次隔1个小时抽取,写入日志表。下次抽取日志表之后的数据。


全部评论: 0

    我有话说: