高级配置
启停策略
功能背景
在实际业务场景中,实时任务可能并不需要一直运行。最常见的如证券交易场景,每个周末和节假日都会休市,此时相关的实时计算任务就可以停止运行减少资源消耗,然后在工作日的时候再进行续跑。这类场景如果需要人为介入去管理,维护成本比较高。
通过配置启停策略的方式,既可以节省运维成本,又大大降低了忘记维护的风险。
创建策略
策略生效区间:每天/周一至周五/自定义(支持按模版上传策略文件)
日期范围:限定该策略生效的日期范围,比如选择2022-10-01至2022-10-31,表示该策略仅在10月份有效,其他日期内不生效
时间范围:在生效日期范围内,限定任务运行的时间段,比如选择了09:00至21:00,表示该实时仅在10月份的每天早上9点运行至晚上9点,其他时间段内会自动停止。
note- 建议配置时间范围时较原定开始时间提前3分钟,避免因引擎资源调度等因素产生偏差
- 不支持跨天配置。如果要实现22:00-3:00的场景,需要配置22:00-23:55 0:00-3:00 两个时间段,并且两个时间不能过于紧密,否则可能会导致任务失败
启动方式:支持重跑/续跑。续跑将根据上一次任务停止时保存的savepoint位点进行续跑
时区:默认时区为东八区(Asia/Shanghai),用户也可以根据自己的业务系统时区进行调整
策略应用
完成创建的策略,可以在该项目的【任务开发-任务设置】中选择应用
在策略列表中会统计每个策略被应用的任务数,被任务应用中的策略无法删除
被任务应用中的策略也支持编辑修改,保存后,已应用的任务会在下一个周期自动生效
参数模版
功能背景
平台支持多种任务类型(FlinkSQL/Flink/实时采集/PyFlink)、引擎版本(Flink1.10/Flink1.12),而每种任务类型在不同的引擎版本中会有不同的参数配置推荐。因此平台为每种场景类型内置了一个参数模版,作为任务创建时的默认参数填充。
功能操作
内置的参数模版支持修改编辑,用户可以根据实际环境情况调整默认参数值
修改后的参数,如果需要全局应用至项目内所有已创建的任务,可以点击「应用全部」
note运行中的任务在被新的参数覆盖后,需要重新提交才会生效
PyFlink环境管理
详见【任务开发-PyFlink任务】介绍