Skip to main content

高级配置

启停策略

image-20220711204940979

  • 功能背景

    在实际业务场景中,实时任务可能并不需要一直运行。最常见的如证券交易场景,每个周末和节假日都会休市,此时相关的实时计算任务就可以停止运行减少资源消耗,然后在工作日的时候再进行续跑。这类场景如果需要人为介入去管理,维护成本比较高。

    通过配置启停策略的方式,既可以节省运维成本,又大大降低了忘记维护的风险。

  • 创建策略

    • 策略生效区间:每天/周一至周五/自定义(支持按模版上传策略文件)

    • 日期范围:限定该策略生效的日期范围,比如选择2022-10-01至2022-10-31,表示该策略仅在10月份有效,其他日期内不生效

    • 时间范围:在生效日期范围内,限定任务运行的时间段,比如选择了09:00至21:00,表示该实时仅在10月份的每天早上9点运行至晚上9点,其他时间段内会自动停止。

      note
      1. 建议配置时间范围时较原定开始时间提前3分钟,避免因引擎资源调度等因素产生偏差
      2. 不支持跨天配置。如果要实现22:00-3:00的场景,需要配置22:00-23:55 0:00-3:00 两个时间段,并且两个时间不能过于紧密,否则可能会导致任务失败
    • 启动方式:支持重跑/续跑。续跑将根据上一次任务停止时保存的savepoint位点进行续跑

    • 时区:默认时区为东八区(Asia/Shanghai),用户也可以根据自己的业务系统时区进行调整

  • 策略应用

    • 完成创建的策略,可以在该项目的【任务开发-任务设置】中选择应用

    • 在策略列表中会统计每个策略被应用的任务数,被任务应用中的策略无法删除

    • 被任务应用中的策略也支持编辑修改,保存后,已应用的任务会在下一个周期自动生效

参数模版

image-20220711205012636

  • 功能背景

    平台支持多种任务类型(FlinkSQL/Flink/实时采集/PyFlink)、引擎版本(Flink1.10/Flink1.12),而每种任务类型在不同的引擎版本中会有不同的参数配置推荐。因此平台为每种场景类型内置了一个参数模版,作为任务创建时的默认参数填充。

  • 功能操作

    • 内置的参数模版支持修改编辑,用户可以根据实际环境情况调整默认参数值

    • 修改后的参数,如果需要全局应用至项目内所有已创建的任务,可以点击「应用全部」

      note

      运行中的任务在被新的参数覆盖后,需要重新提交才会生效

PyFlink环境管理

详见【任务开发-PyFlink任务】介绍