间隔轮询

下文介绍在向导模式中使用间隔轮训类型的数据源配置项，该类型主要针对各类RDBMS数据库。

配置项操作和解释

• 操作页面：

• 参数解释

配置项	说明
采集字段	选择需要采集数据的字段范围
增量标识字段	选择一个字段作为采集的增量标识。每次同步时，会自动记录增量标识的最大值。间隔到下次轮训时，会从该字段记录的最大值继续同步数据，实现增量同步。 目前支持将VARCHAR（纯数字）、INT、LONG、TIMESATAMP、DATE类型作为增量标识字段。
采集起点	用户根据选择的增量标识字段设定相应的采集起点，若不填则默认从头开始拉取数据。 输入格式请在"数据预览"中参考所选字段的数据内容。采集时不包含采集起点，例如采集起点为40， 则采集开始时不会包含id=40这一条数据。
轮询时间间隔	手动设定轮询时间间隔，单位为秒

• 自定义SQL

  • 使用场景

    对采集的源表需要进行简单的加工处理，比如希望只采集某几个字段的数据、需要新增一些过滤条件、需要join一张维表丰富数据等，则可以通过自定义SQL的方式实现。

  • 操作逻辑

    • 点击Schema下拉框后的【自定义SQL】按钮，页面效果变成如下：

      

    • 在SQL输入框内，按格式要求输入需要查询的SQL语句

      note

      1. 自定义SQL中的库/表范围，仅限所选数据源下有权限的数据库/表
      2. 只能输入查询语句，且select的column必须指定具体字段，不能以*号代替
      3. from的格式必须是db.table

    • 完成SQL输入后，切换至类型定义中，为你查询的结果字段定义数据类型（默认均为Varchar）

    • 其他配置内容同【库表选择】模式

  • 使用限制

    目前仅支持MySQL/Oracle/SQLServer三种数据源类型的间隔轮询模式。

常见问题答疑

• 选择采集全部字段， 如果表结构发生变化，能否直接采集到更新后的字段？如果不能，需要怎么操作？

  不能。如果想要采集到变化后的字段，需要用户手动停止任务，修改“采集字段”信息，勾选新的目标字段（如果选择为全部字段 则无需额外勾选），保存任务并续跑/重跑，即可采集到的新的字段。