2023年9月更新日志
功能优化
【元数据】greenplum数据源支持视图同步【上线版本:6.0】
需求背景:greenplum类型数据源需要支持视图同步
功能:greenplum数据源支持进行视图同步,gp视图与gp数据表共用一个元模型,元模型中新增源表名(视图特有)、视图描述(视图特有)技术属性,在选择gp类数据源下的数据时,可选中具体视图进行元数据同步、数据脱敏等操作。
【元数据】资产支持mysql类型数据源的自动引入【上线版本:6.0】
针对离线创建项目时生成的meta数据源,资产支持mysql类型数据源的自动引入,自动引入后需自动创建周期任务。
【数据治理】治理工作台、治理配置功能【上线版本:6.1】
需求背景:数据治理的意义是为推动用户依据规范标准进行数据开发,从计算、存储、质量、规范、价值五个维度进行数据治理,目的是优化存储成本、节约计算资源、推动标准规范,让用户通过数据治理看到问题、看到效果。
需求内容:本次迭代支持从计算、存储维度进行数据治理,支持自动同步离线开发模块创建的项目信息,可通过配置治理任务对项目进行周期治理,并对产生的待处理问题分配处理人进行处理,实现问题的闭环管理。
功能优化
【数据安全】数据安全开启时web层表权限的申请入口脱敏入口去掉【上线版本:6.0】
当数据安全子模块中开启权限管控策略时,以数据安全模块配置的权限策略为准,资产模块的表权限的申请入口隐藏。若数据安全子模块中开启了针对hive/sparkthrift/trino的脱敏策略,则脱敏入口中的脱敏应用,不可选择这些类型的数据源下的数据表。
【元数据】表生命周期ide脚本同步【上线版本:6.1】
离线开发模块支持通过ide脚本进行生命周期配置,当生命周期有变更时,可同步到资产,在元数据模块查看表详情时可展示生命周期信息。
【数据安全】数据脱敏管理优化【上线版本:6.1】
数据脱敏规则配置完成后,在进行脱敏应用配置页面支持编辑操作。
【数据质量】规范性规则校验优化【上线版本:5.3】
规范性规则逻辑优化,例如设置最小长度=20,逻辑为字符串长度大于等于20算符合规则(最大长度函数逻辑同理)。
【元数据】表结构字段列表编辑交互优化【上线版本:5.3】
需求背景:字段列表里可编辑的内容要一个个点编辑比较麻烦,优化成整表点编辑后所有位置可编辑,编辑完以后整表保存
需求内容:1.标签添加的交互逻辑优化;2.支持批量编辑字段描述及字段标签。
BUGFIX
1.thriftserver经常gc导致服务无法正常访问,数据预览从直连 sparkthrift 改为读 hdfs 文件预览。
2.所有类型数据源的数据预览做优化,解决数据预览格式问题,若数据信息配置了脱敏规则,按照规则展示被脱敏信息。
3.【元数据】离线中进行ddl操作 ,在资产数据地图中需要展示操作记录。