StreamWorks 6.1.3更新日志
新增
【实时开发】FlinkSQL结果表/维表配置项支持TiDB【5.3】
- 背景:TiDB是在1.10和1.12里都兼容过的，但是平台层只在1.10时做过适配，1.12时不支持选
- 说明:Flink1.16适配TiDB
【湖仓管理】高级元数据的采集实现【6.0】
【实时血缘】sqlparser支持flinksql 的create view血缘【5.3】
- 背景:目前SQL PARSER不支持FlinkSQL的视图血缘解析。但是在一般开发场景下，任务如果涉及三张以上表，很多数开会选择IDE里建视图，方便阅读SQL逻辑。
- 说明:血缘图中新增视图节点效果.过滤项新增：不看视图节点。勾选后，血缘图中不展示视图节点，直接映射表——>任务
【MRS适配】FlinkSQL sink支持MRS hive【5.3】
- 背景:客户要实时备份Kafka数据打入MRS Hive，当实时计算数据有问题时，可以对Hive里的备份消息做分析。增加该任务的安全性.
- 说明:数据开发的结果表，支持选择Hive HuaweiCloud
【Paimon】湖仓管理新增Paimon类型，支持FlinkSQL的读写【6.0】
【告警优化】支持自动选择任务负责人作为告警对象【6.0】
- 背景:告警对象的配置需要手动选择，并且当批量配置时没法根据任务责任人自动做对应
- 说明:kafka json format新增AR JSON
【代码对接】对接gitlab管理实时代码【6.0】
- 背景:中信建投在gitlab上保存较多的任务,因任务较多,迁移较为困难.迭代需要增加一键同步功能去满足客户的需求
- 说明:项目配置新增配置项,开启后可选择从gitlab上拉取或者推送代码.
【数据开发】kafka格式新增attunity json【6.0】
- 背景:中原银行的实时采集工具用的Attunity Replicate。国外基本就是OGG和AR这两个商业产品较多,所以我们kafka json format需要适配AR JSON
- 说明:kafka json format新增AR JSON
【数据源】新增oceanbase sink插件【6.0】
- 背景:FlinkSQL支持Oceanbase Sink
- 说明:flink 1.16适配该插件
【实时采集】实时采集支持DB2 CDC【6.0】
- 背景:苏农商行需要支持DB2的实时采集，之前项目上是外采DSG去交付的。平台本身需要支持掉。考虑到CDC Connector开发难度又较大，FlinkCDC刚好支持了，所以底层借用FlinkCDC的能力。
- 说明:源表支持基于FlinkCDC插件创建
Improved
React Router 升级 v3.x 到 v6.x【6.1】
- 背景:平台插件优化
【启停策略】启停策略能力优化【6.0】
- 背景:通过CheckPoint恢复并续跑时，需要手动选择一个时间点。但实际上，大部分续跑场景都是选择最近一个checkpoint
- 说明:血缘图中新增视图节点效果.过滤项新增：不看视图节点。勾选后，血缘图中不展示视图节点，直接映射表——>任务
【数据开发】平台输出自带FlinkCDC的包，脚本模式支持开发cdc任务【6.0】
- 背景:通过CheckPoint恢复并续跑时，需要手动选择一个时间点。但实际上，大部分续跑场景都是选择最近一个checkpoint
- 说明:血缘图中新增视图节点效果.过滤项新增：不看视图节点。勾选后，血缘图中不展示视图节点，直接映射表——>任务
【数据源】ES7.X插件改造【6.0】
- 背景:ES7.X插件优化，具体优化方向参考Flink官方的Connector进行优化,平台层面不做改动
- 说明:flink 1.16适配该插件
【任务运维】选择「通过CheckPoint恢复并续跑」时，自动选中最近的一个CheckPoint位点【6.0】
- 背景:通过CheckPoint恢复并续跑时，需要手动选择一个时间点。但实际上，大部分续跑场景都是选择最近一个checkpoint
- 说明:血缘图中新增视图节点效果.过滤项新增：不看视图节点。勾选后，血缘图中不展示视图节点，直接映射表——>任务
