Skip to main content

更新日志索引

更新日志功能清单
2023年12月更新日志New Feature
数据开发sql query支持streaming、batch模式选择【6.0】
任务运维任务支持跳转FlinkUI【6.0】
数据开发kafka格式新增attunity json 【6.0】
实时采集现在实时采集打到Kafka的数据，json数据乱序【6.0】
实时开发任务下线后可选择清理checkpoint、savepoint信息，任务异常状态清理zk信息【6.0】
实时采集向导模式结果端支持gp【5.3】
FlinkSQL维表支持OceanBase【6.0】
Improved
kafka管理最大采样条数大于当前分区offset数时，采样无数据返回【5.3】
任务运维实时任务并行度修改的热更新【6.0】
数据开发任务锁覆盖逻辑优化【6.0】
任务运维血缘节点信息优化【6.0】
实时开发预校验报错信息不全【5.3】
实时开发 on k8s kafka作为sink端，修复numwriter相关指标【6.0】
实时开发选择资源时直接根据任务类型限制能选择的资源类型范围【5.3】
健康分优化【6.0】
修复重跑选择指定位offset点进行重跑，点击确定后会进行重跑【5.3】
前端改造React Router 升级 v3.x 到 v6.x【6.0】
前端易用性性能改造【6.0】
2023年11月更新日志New Feature
【实时开发】FlinkSQL结果表/维表配置项支持TiDB【5.3】
【湖仓管理】高级元数据的采集实现【6.0】
【实时血缘】sqlparser支持flinksql 的create view血缘【5.3】
【MRS适配】FlinkSQL sink支持MRS hive【5.3】
【Paimon】湖仓管理新增Paimon类型，支持FlinkSQL的读写【6.0】
【告警优化】支持自动选择任务负责人作为告警对象【6.0】
【代码对接】对接gitlab管理实时代码【6.0】
【数据开发】kafka格式新增attunity json【6.0】
【数据源】新增oceanbase sink插件【6.0】
【实时采集】实时采集支持DB2 CDC【6.0】
Improved
【启停策略】启停策略能力优化【6.0】
【数据开发】平台输出自带FlinkCDC的包，脚本模式支持开发cdc任务【6.0】
【数据源】ES7.X插件改造【6.0】
【任务运维】选择「通过CheckPoint恢复并续跑」时，自动选中最近的一个CheckPoint位点【6.0】
2023年9月更新日志New Feature
【插件优化】flinksql查询维表经常scanner过期导致任务超时取消【5.3】
【数据源】Starrocks结果表，向导模式支持更新模式【5.3】
【数据源】新增oushu 目标表【6.0】
【任务运维】日志打印中的业务数据问题【6.0】
【前端】flinksql向导模式配置项，支持配置化【6.0】
【任务运维】新增【任务下线】功能、新增“任务停止时间”列 【6.0】
【数据开发】向导模式的各种数据源统一开放自定义参数配置【6.0】
【数据源】源表新增upsert kafka插件【6.0】
【任务运维】健康分模型优化，新增任务扣分项说明、常见问题排查指导、健康告警【6.0】
【功能新增】新增实时湖仓模块，合并精简后的kafka管理、表管理，不含paimon类【6.0】
Improved
【任务发布】任务导入导出实现方案优化【5.3】
2023年7月更新日志New Feature
【告警规则】全局/任务告警新增“启停策略执行失败”触发方式【6.0】
【session配置】实时任务的sql query、调试和售前demo任务通过session模式提交【5.3】 <br /【TBDS账号】有TBDS账号的用户，往集群提交任务时以个人账号提交【6.0】
【角色管理】支持用户自定义角色【6.0】
【资源调度】flink1.16任务支持on k8s运行【6.0】
【数据源】新增Hudi作为FlinkSQL的源表/结果表「flink1.12/flink1.16」【5.3】
【数据源】新增HBase/ElasticSearch HuaweiCloud作为FlinkSQL的维表/结果表「flink1.12/flink1.16」【5.3】
Improved
【语法解析】增强IDE中flinksql语法解析的准确性【6.0】
2023年6月更新日志New Feature
【引擎版本】 新增Flink1.16版本【6.0】
【数据开发】IDE执行新增Select在线查询能力【6.0】
【数据开发】新增实时数仓demo，支持自动造数据，运行全链路任务【6.0】
【数据开发】新增代码模板中心，支持使用系统内置模板以及创建自定义模板【6.0】
【产品logo】logo可以在控制台更改【6.0】
Improved
【Phoenix5.x】flink1.12版本支持phoenix5.x sink的选择【5.3】 <br /
2023年4月更新日志New Feature
【FlinkSQL】FlinkSQL开发，Kafka chunjun-json支持自动映射【5.3】
【Kafka Connector】Kafka读取类型新增Raw Format【5.3】
【Hyperbase】FlinkSQL维表、结果表新增Hyperbase数据源【5.3】
【PGWal】Flink1.12中重构PGWAL插件【5.3】
【表管理】Hive Catalog支持开启keberos认证；DT Catalog中的Flink映射表，源表支持开启keberos认证【5.3】

Improved
【SDK接口】新增根据任务查询sqltext的接口；新增根据项目标识获取项目信息的接口【5.3】
【Flink版本】Flink版本查询接口直接获取控制台信息，平台不维护【6.0】
【Kafka集群】移除集群管理功能模块【6.0】
2023年3月更新日志New Feature
【数据还原】存量数据同步+增量日志还原的一体化任务，支持数据入湖能力【6.0】
【运维总览】新增运维总览模块【6.0】
【Topic自动映射】FlinkSQL开发，针对OGG-JSON格式的Kafka Topic，支持一键自动映射FlinkTable【5.3】
【数据源】新增Ckafka、CMQ数据源【6.0】
【日志审计】实时平台的操作记录新增IP/MAC信息【5.3】

Improved
【血缘解析】支持基于FlinkSQL的字段级血缘解析，并支持上下钻【5.3】
【CheckPoint】优化任务环境参数配置中关于状态恢复语义的说明【5.3】
【插件适配】Flink1.12适配HBase2.x Sink、Phoenix5.x Sink【6.0】
【任务运维】实时任务列表UI5.0改造，支持状态快速筛选【5.3】
2023年2月更新日志New Feature
【数据还原】存量数据同步+增量日志还原的一体化任务，支持Oracle—>MySQL/Oracle【5.3】
【全局告警】新增全局告警功能【5.2】
【日志关键词监控】新增日志关键词监控告警规则，以实时任务方式执行该监控【5.2】

Improved
【数据还原】Sink端自动生成表名的逻辑优化【5.3】
【告警优化】新增告警恢复通知；新增告警级别分类【6.0】
【FlinkSQL/表管理】Flink表管理优化【5.3】
【资源管理】资源管理优化【5.3】
【UI】数据开发页面的表单样式升级【5.3】
2022年12月更新日志New Feature
【数据还原】支持存量数据同步+增量日志还原的一体化任务，支持MySQL—>MySQL/Oracle【5.3】
【数据源】新增ArgoDB作为FlinkSQL的维表/结果表【5.2】
【数据源】新增HUAWEI ES作为FlinkSQL的维表/结果表【5.1】
【数据源】新增Vastbase作为FlinkSQL的维表/结果表【5.3】
【数据源】新增Hyperbase作为Kafka采集还原的目标端【5.3】
【任务热更新】修改环境参数、任务设置后，在数据开发页面提交任务后，任务运维处自动执行「停止-提交-续跑」操作【5.3】
【数据还原】支持将Kafka（OGG格式）数据，采集还原至下游MySQL/Hyperbase/Kafka表【5.3】

Improved
【数据还原】数据还原任务支持生成Checkpoint并续跑【5.3】
【表管理】合并原有的Hive Catalog和Iceberg Catalog为Hive+ Catalog【5.3】
【任务运维】优化保存Savepoint时的任务停止逻辑【5.3】
【启停策略】创建启停策略时，支持强制停止配置项【5.3】
【血缘效果】支持过滤链路节点类型；支持全屏查看；支持搜索；任务节点支持查看状态【5.3】
【系统函数】更新系统函数，同步Flink官方内容【5.3】
【UI】任务运维界面组件UI5.0更新【5.3】
2022年11月更新日志New Feature
【自定义Connector】支持用户上传第三方数据源插件进行任务开发（仅限脚本模式）【5.2】
【Session模式】支持已Session模式进行任务调试【5.3】
【表管理】表管理模块新增DT Catalog【5.3】
【数据源】新增GreatDB作为FlinkSQL的维表/结果表【5.3】
【数据源】新增HBase2.x、Phoenix5.x作为FlinkSQL的维表/结果表【5.1】
【Oracle】Oracle sink支持序列管理、新增支持clob/blob长文本数据类型【5.3】
【实时采集】新增脏数据管理【5.3】

Improved
【任务运维】新增列表过滤器，支持按状态、任务类型、责任人等过滤查询【5.3】
【数据开发】优化任务操作相关按钮的排版；IDE输入支持自动联想；实时采集脚本模式支持注释【5.3】

历史更新日志