任务发布
完成任务开发后,需要进行任务的调试、任务的提交运行、任务的打包发布(项目或环境隔离式开发)等系列操作,让一个实时任务在生产环境正式运行起来。
任务调试
任务调试的目的是通过准备测试数据、模拟任务运行、查看结果数据是否符合预期,来判断代码逻辑是否存在问题。
目前仅支持FlinkSQL向导模式任务。
在IDE页面上方点击「调试」,弹窗如下:
数据表
数据表栏显示该任务中所有的源表,选中源表后,在右侧为该源表准备测试数据。
数据上传
本地上传:先下载模版(系统会自动根据源表结构生成csv文件);然后在本地编辑csv文件;最后上传
资源选择:如果测试数据集需要重复利用,可以先在【资源管理】处上传数据集,此处只需要选择上传过的文件即可
数据预览
列表显示刚刚上传的数据内容。
同时用户点击「采集线上数据」,输入采集条数,系统也会实时读取源表中的真实数据作为调试数据。
调试
点击后,任务会已Session模式提交到该集群运行,用户可以在开发IDE下方查看任务运行日志。
任务提交
在完成任务调试,确认任务逻辑没问题后,点击IDE页面右上方的提交按钮,任务会已Perjob模式提交到集群运行。
在任务提交时,可以再通过一次预校验,来判断任务配置是否存在问题。
校验内容包括:数据源连通性、SQL语、环境参数配置
任务发布
任务发布指将一个项目内的任务连同该任务涉及的资源、函数,一起打包发布至另一个租户/项目中提交运行的过程。
严谨的数据开发流程中一般会需要两个或三个项目:
两个项目的场景中一个项目作为开发环境,一个作为生产环境,开发者通常会在开发环境的项目内完成代码开发、流程调试、周期调度属性配置等工作,再将任务发布至生产环境的项目调度运行;
三个项目场景中则包含开发环境、测试环境和生产环境,与两个项目的场景相比多出来的测试环境的项目则是将开发环境中的任务模拟生产环境进行运行,确认无误后再发布至生产环境,为任务的发布增加了一层安全性校验;
发布流程(已两个项目为例)
进入【数据开发】空页面,点击「发布任务」
在「创建发布包」TAB下选择你需要发布到其他项目的任务,以及该任务涉及到的资源、函数,一起打包。(在任务打包对象中,勾选“更新环境参数”、“更新启停策略”,任务打包时会携带原项目中的相应信息到目标项目中进行更新)
在「发布包」TAB下可以查看、下载刚刚打包的内容
登录另一个租户、或者项目,进入【任务发布-上传发布包】页面内,上传刚刚下载的发布包,然后一键提交运行。
发布注意事项
- 若任务负责人不在本项目,则任务导入失败;
- 若任务关联的资源、函数在发布包或本项目中不存在,则任务导入失败;
- 若任务涉及的数据源本项目中不存在,则任务导入失败(针对向导模式);
- 若任务资源组未授权本项目,则任务导入失败;
- 若打包的任务处于运行中状态,或者本项目已存在该任务,则任务导入失败;