血缘关系

该模块通过展示实时任务的血缘关系，直观地发现数据在实时链路中的流转关系。

解析能力

• 实时采集任务

  通过解析实时采集任务的JSON信息，得到血缘关系。不限制向导模式/脚本模式、不限制源端/目标端数据源类型。

  比如一张MySQL的TableA，通过实时采集任务T，写到一个Kafka的TopicA中。就会得到一个【TableA—>任务T—>TopicA】的血缘链路。

• FlinkSQL任务

  通过解析FlinkSQL任务的SQL信息，得到血缘关系。不限制向导模式/脚本模式、不限制源表/维表/结果表数据源类型。

  比如Insert into A as select * from B join C on B.id=C.id一段FlinkSQL，可以解析【B+C—>A】的血缘链路。

• 全链路血缘

  在上诉两个解析能力的基础上，血缘图谱会自动拼接起实时采集—>FlinkSQL开发的全链路血缘。举个例子：

  MySQL Table A——>实时采集任务——>Kafka Topic B——>Flink Table C——>FlinkSQL任务——>Flink Table D——>HBase Table E

• 字段级血缘

  • 仅FlinkSQL任务支持字段级血缘，暂未支持实时采集任务
  • 仅支持当前任务上下游一级的字段血缘关系，暂未支持上下钻

图谱交互

• 解析时机：任务提交至调度执行时解析血缘。（仅在数据开发页面保存/提交，不触发解析）

• 图谱操作：

  • 节点状态：点击任务节点可以查看任务状态的缩略信息；

  • 血缘上下钻：默认只展示当前任务的一级上下游表血缘，如果有更深的血缘链路，支持点击展开。（平台会自动拼接所有实时采集、FlinkSQL任务的关系节点）

    展开前：

    

    展开后：

    

  • 字段血缘选取：因为表的字段数量可能非常多，图谱中只会展示选中字段的血缘关系，不会把所有字段血缘全部展示。对于存在血缘的字段，在字段名前有icon区分。

    

  • 图谱整体操作：支持鼠标左键按住图谱区域，拖拉展示范围。支持快速居中、放大、缩小、下载、全屏等操作。右下方显示完整图谱的缩略图，支持通过缩略图中的选择框，框选显示范围。