数据源支持
消息中间件
常用于实时采集的写入端、FlinkSQL任务的源端和写入端。
| 数据源 | 实测版本 | Source端 | Lookup端 | Sink端 | Flink版本 |
|---|---|---|---|---|---|
| KAFKA | 2.x/1.x/0.11/0.10 | 支持 | - | 支持 | 1.10/1.12 |
| Confluent | 支持 | - | 支持 | 1.12 | |
| TBDS_KAFKA | 支持 | - | 支持 | 1.10/1.12 | |
| HUAWEI_KAFKA | 支持 | - | 支持 | 1.10/1.12 | |
| RocketMQ | v4.4 | 支持 | - | - | 1.12 |
| RabbitMQ | v3.7 | 支持 | - | - | 1.12 |
关系型数据库
常见的关系型数据库，底层实现会分为两个Connector：
一个CDC Connector用于实时采集，目前仅支持MySQL/Oracle/SQLServer
一个JDBC Connector用于间隔轮询查询和FlinkSQL任务的维表关联、结果表写入；
| 数据源 | 实测版本 | Source端 | Lookup端 | Sink端 | Flink版本 |
|---|---|---|---|---|---|
| MySQL_Binlog | 5.x | 支持 | - | - | 1.10/1.12 |
| MySQL_JDBC | 5.x | 支持 | 支持 | 支持 | 1.10/1.12 |
| Oracle_Logminer | 10/11/12/19,支持RAC,主备架构 | 支持 | - | - | 1.10/1.12 |
| Oracle_JDBC | 9及以上 | 支持 | 支持 | 支持 | 1.10/1.12 |
| SQLServer_CDC | 2012/2014/2016/2017/2019单机版 | 支持 | - | - | 1.10/1.12 |
| SQLServer_JDBC | 2012及以上 | 支持 | 支持 | 支持 | 1.10/1.12 |
| PolarDB for MySQL8_JDBC | 支持 | 支持 | 支持 | 1.10 | |
| DB2_JDBC | 9.7 | 支持 | 支持(脚本模式) | 支持(脚本模式) | 1.10/1.12 |
| KingbaseES8_JDBC | V8 | - | 支持 | 支持 | 1.10/1.12 |
| DM_JDBC | DM7/8 | 支持(脚本模式) | 支持(脚本模式) | 支持(脚本模式) | 1.10/1.12 |
大数据/MPP/分析型/NoSQL/半结构化
常用于FlinkSQL任务的结果表写入、维表关联。
当作为Source端的时候，通常用于间隔轮询查询。（该场景在实时任务中使用不多，所以大部分仅支持脚本模式）
| 类型 | 数据源 | 实测版本 | Source端 | Lookup端 | Sink端 | Flink版本 |
|---|---|---|---|---|---|---|
| 大数据 | Hive | 1.x/2.x | - | 支持(脚本模式) | 支持(1.x脚本模式/2.x向导模式) | 1.12 |
| 大数据 | Inceptor | 6.0.3 | - | 支持 | 支持 | 1.12 |
| 大数据 | Iceberg | 支持(脚本模式) | - | 支持(脚本模式) | 1.12 | |
| MPP | Greenplum | 5及以上 | 支持 | - | 支持(脚本模式) | 1.10/1.12 |
| MPP | Vertica | V11 | - | 支持(脚本模式) | 支持 | 1.12 |
| MPP | UPDRDB | 支持 | - | - | 1.12 | |
| MPP | GBase_8a | 8.6.2.43 | 支持(脚本模式) | 支持(脚本模式) | 支持(脚本模式) | 1.10/1.12 |
| 分析型 | Doris | 0.14.x | - | 支持 | 支持 | 1.12 |
| 分析型 | Starrocks | 2.2.1 | 支持(脚本模式) | 支持 | 支持 | 1.12 |
| 分析型 | Impala | - | 支持 | 支持 | 1.10/1.12 | |
| 分析型 | Kudu | 1.14.0 | 支持(脚本模式) | 支持 | 支持 | 1.10/1.12 |
| 分析型 | Clickhouse | 19.x及以上 | 支持(脚本模式) | 支持 | 支持 | 1.10/1.12 |
| 分析型 | TiDB | - | 支持 | 支持 | 1.10 | |
| 分析型 | AnalyticDB PostgreSQL | - | 支持 | 支持(仅支持Oracle logminer的采集写入) | 1.10/1.12 | |
| 分析型 | SAP HANA | 2.0及以上 | 支持(脚本模式) | - | 支持(脚本模式) | 1.10/1.12 |
| 分析型 | Phoenix | 5.x | - | - | 支持 | 1.10 |
| 分析型 | ArgoDB | - | 支持 | 支持 | 1.12 | |
| NoSQL | HBase1.x | 1.4 | 支持(脚本模式) | 支持 | 支持 | 1.10/1.12 |
| NoSQL | HBase2.x | 支持keberos | - | - | 1.10向导支持/1.12脚本支持 | 1.10/1.12 |
| NoSQL | TBDS_HBase | - | 支持 | 支持 | 1.10/1.12 | |
| NoSQL | HUAWEI_HBase | - | 支持 | 支持 | 1.10 | |
| NoSQL | Elasticsearch | 5.x/6.x/7.x | 支持(脚本模式) | 支持(6.x/7.x) | 支持(5.x/6.x/7.x) | 1.10/1.12 |
| NoSQL | HUAWEI_ES | - | 支持 | 支持 | 1.10 | |
| NoSQL | MongoDB | - | 支持 | 支持 | 1.10/1.12 | |
| NoSQL | Redis | - | 支持 | 支持 | 1.10/1.12 | |
| NoSQL | UPRedis | - | 支持 | 支持 | 1.12 | |
| NoSQL | Solr | - | - | 支持 | 1.10/1.12 | |
| 半结构化 | HDFS | hadoop2.x/3.x | 支持(脚本模式) | - | 支持(脚本模式) | 1.10/1.12 |
| 半结构化 | S3 | - | - | 支持 | 1.10 | |
| 接口 | WebSocket | 支持 | - | - | 1.10/1.12 | |
| 接口 | Socket | 支持 | - | - | 1.10/1.12 | |
| 接口 | Restful | 支持 | - | - | 1.10/1.12 |
自定义Connector
对于Chunjun引擎尚未支持的数据源，用户可以自行开发数据源插件、或者寻找第三方插件，上传至平台进行该数据源的任务开发。
使用限制：
- 上传的插件包，须符合Flink官方的开发要求，平台不做插件可用性的校验。详见Flink Connector
- 仅限脚本模式的任务开发，可使用自定义Connector。向导模式不支持。
上传方法：
进入「实时平台-通用设置-自定义Connector」页面；
上传Connector插件包；
查看Connector信息。这些信息均从插件包中自动读取，如果没有内容，说明插件包格式不符合官方要求。
