Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Add exchange spark compatibility #1354

Merged
merged 2 commits into from
Jan 5, 2022
Merged

Add exchange spark compatibility #1354

Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
2 commits
Select commit Hold shift + click to select a range
8fcd3ec
Add exchange spark compatibility
randomJoe211 Jan 4, 2022
5758d94
add note for jar version
randomJoe211 Jan 4, 2022
File filter

Filter by extension

Filter by extension
Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
29 changes: 24 additions & 5 deletions docs-2.0/nebula-exchange/about-exchange/ex-ug-limitations.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -31,11 +31,30 @@ Exchange 2.x 支持以下操作系统：

为保证 Exchange 正常工作，请确认机器上已经安装如下软件：

- Apache Spark：2.4.x

- Java：1.8

- Scala：2.10.7、2.11.12 或 2.12.10
- Java 1.8 版本

- Scala 2.10.7、2.11.12 或 2.12.10 版本

- Apache Spark。使用 Exchange 从不同数据源导出数据对 Spark 版本的要求如下：

!!! note
使用 Exchange 时，需根据 Spark 版本选择相应的 JAR 文件。例如，当 Spark 版本为 2.4 时，选择 nebula-exchange_spark_2.4-{{exchange.release}}.jar。

| 数据源 | Spark 2.2 | Spark 2.4 | Spark 3 |
| - | - | - | - |
| CSV 文件 | 支持 | 支持 | 支持 |
| JSON 文件 | 支持 | 支持 | 支持 |
| ORC 文件 | 支持 | 支持 | 支持 |
| Parquet 文件 | 支持 | 支持 | 支持 |
| HBase | 支持 | 支持 | 支持 |
| MySQL | 支持 | 支持 | 支持 |
| ClickHouse | 支持 | 支持 | 支持 |
| Neo4j | 不支持 | 支持 | 不支持 |
| Hive | 支持 | 支持 | 支持 |
| MaxCompute | 不支持 | 支持 | 不支持 |
| Pulsar | 不支持 | 支持 | 未测试 |
| Kafka | 不支持 | 支持 | 未测试 |
| Nebula Graph | 不支持 | 支持 | 不支持 |

在以下使用场景，还需要部署 Hadoop Distributed File System (HDFS)：

Expand Down
2 changes: 1 addition & 1 deletion docs-2.0/nebula-exchange/parameter-reference/ex-ug-parameter.md
View file
Open in desktop
Original file line number Diff line number Diff line change
Expand Up @@ -179,7 +179,7 @@
|`tags.topic`|string|-|是|消息类别。|
|`tags.interval.seconds`|int|`10`|是|读取消息的间隔。单位：秒。|

### SST 源特有参数
### 生成 SST 时的特有参数

|参数|数据类型|默认值|是否必须|说明|
|:---|:---|:---|:---|:---|
Expand Down