Skip to content

Commit

Permalink
Add exchange spark compatibility (#1354)
Browse files Browse the repository at this point in the history
* Add exchange spark compatibility

* add note for jar version
  • Loading branch information
randomJoe211 authored Jan 5, 2022
1 parent 368c19e commit fe0bf6b
Show file tree
Hide file tree
Showing 2 changed files with 25 additions and 6 deletions.
29 changes: 24 additions & 5 deletions docs-2.0/nebula-exchange/about-exchange/ex-ug-limitations.md
Original file line number Diff line number Diff line change
Expand Up @@ -31,11 +31,30 @@ Exchange 2.x 支持以下操作系统:

为保证 Exchange 正常工作,请确认机器上已经安装如下软件:

- Apache Spark:2.4.x

- Java:1.8

- Scala:2.10.7、2.11.12 或 2.12.10
- Java 1.8 版本

- Scala 2.10.7、2.11.12 或 2.12.10 版本

- Apache Spark。使用 Exchange 从不同数据源导出数据对 Spark 版本的要求如下:

!!! note
使用 Exchange 时,需根据 Spark 版本选择相应的 JAR 文件。例如,当 Spark 版本为 2.4 时,选择 nebula-exchange_spark_2.4-{{exchange.release}}.jar。

| 数据源 | Spark 2.2 | Spark 2.4 | Spark 3 |
| - | - | - | - |
| CSV 文件 | 支持 | 支持 | 支持 |
| JSON 文件 | 支持 | 支持 | 支持 |
| ORC 文件 | 支持 | 支持 | 支持 |
| Parquet 文件 | 支持 | 支持 | 支持 |
| HBase | 支持 | 支持 | 支持 |
| MySQL | 支持 | 支持 | 支持 |
| ClickHouse | 支持 | 支持 | 支持 |
| Neo4j | 不支持 | 支持 | 不支持 |
| Hive | 支持 | 支持 | 支持 |
| MaxCompute | 不支持 | 支持 | 不支持 |
| Pulsar | 不支持 | 支持 | 未测试 |
| Kafka | 不支持 | 支持 | 未测试 |
| Nebula Graph | 不支持 | 支持 | 不支持 |

在以下使用场景,还需要部署 Hadoop Distributed File System (HDFS):

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -179,7 +179,7 @@
|`tags.topic`|string|-||消息类别。|
|`tags.interval.seconds`|int|`10`||读取消息的间隔。单位:秒。|

### SST 源特有参数
### 生成 SST 时的特有参数

|参数|数据类型|默认值|是否必须|说明|
|:---|:---|:---|:---|:---|
Expand Down

0 comments on commit fe0bf6b

Please sign in to comment.