Skip to main content

2023年2月更新日志

功能新增​

【5.3】监控数据变更​

背景：客户希望某些场景发生数据变更的时候，希望支持对比前后不同时间的数据，比如需要对比昨天和今天不同分区的数据，此场景可以通过对接控制台自定义参数来满足。

功能：数据质量支持对接控制台自定义参数，涉及到质量的单表、多表的自定义SQL、过滤条件的地方都需要修改，支持点击直接复制参数。

image-20231123100955348

image-20231123101034957

【5.3】新增hashdata数据源管理​

【已满足】：已支持元数据管理、数据标准、数据质量三个模块对于hashdata数据源的需求

【5.3】新增StarRocks/Green Plum数据源自动授权离线侧作为计算引擎引入，产生相应的meta数据源自动授权给数据资产做资产管理​

【5.3】数据标准/词根导出（上线版本：5.3）​

数据标准导出：支持数据标准按照目录批量导出，满足无平台权限部门线下对齐数据标准下发规范的需求

image-20231123101157457

词根导出：支持词根按照目录批量导出，满足无平台权限部门线下对齐词根的规范需求

image-20231123101404484

功能优化​

【5.3】实时字段血缘优化​

主要场景：

1、重合字段血缘生成场景：表级连接血缘已存在

2、上游的flink结果表字段→【映射的同一张mysql表，省略展示】→下游的flink源表字段

image-20231123101451590

功能：

  1. 字段血缘新增上下钻，相当于根据表级血缘的关系，将多个任务的字段级血缘串联起来
  2. 默认只展示当前任务结果表的选中字段的一级上下游（之前只有上游，因为只解析当前任务，没有串联）。

【6.0】离线临时运行血缘优化​

现状：离线临时运行的删除目前资产是有接口提供给离线解析的，其他不提交到调度的临时运行没有解析血缘

优化：离线血缘迁移至元数据中心，资产现在监听的是调度的实例运行表，但是现在存在部分sql（临时运行）是在离线本地运行并没有提交给调度的，需要资产同时监听离线这边的sql运行记录表

注意：目前资产为待联调状态，离线配合待数据地图迁移专项支持掉【暂不上线，迁移专项后上线】

体验优化​

【5.2】部分搜索框补充模糊搜索​

新增独立存储/任务关联的模糊搜索

image-20231123101811095

【5.3】质量-规范校验-枚举值校验​

1、枚举值校验为范围校验，不需要选择校验方法，固定值、波动值的选择都是不生效的，所以将校验方法选择去掉

image-20231123101852469

image-20231123101937954

2、提示框提示内容修改：多个枚举值之间用英文逗号隔开，填写样例：a,b,c

image-20231123102121405

【5.3】部分前端页面UI升级​

资产盘点

image-20231123102201359

数据地图

image-20231123102251931

元数据同步

image-20231123102345351

元数据质量-完整度分析

image-20231123102425392