能否提供3.0-snapshot版本的jar包，以及给予更加详细的使用教程，辛苦辛苦

[liangye20]

No description provided.

[wey-gu]

https://www.siwei.io/spark-on-nebula-graph/

这里有可以无障碍编译的容器环境，还一并提供了能跑通的 example jar 和一起连接的 nebula 集群环境。可以参考一下。

[Reid00]

@wey-gu hi siwei 我在尝试用pyspark 的 spark-connector 写入数据，但是当我尝试连接读取数据的时候碰到了这个错误，能否帮忙排查下：

已知我目前做了这些：

1. 所在机器可以ping 通nebula 所在服务器
2. nebula-spark-connector-3.0.0.jar 放到了spark 2.4 的jar 文件夹下

请问这个如何排查这个问题？
BTW: https://www.siwei.io/spark-on-nebula-graph/ 这个blog 写的挺好的，但是主要针对的是用docker 一键部署尝鲜的情况，
有没有完整的python sample 如何使用spark-connector 去读取，写入数据。

[wey-gu]

@wey-gu hi siwei 我在尝试用pyspark 的 spark-connector 写入数据，但是当我尝试连接读取数据的时候碰到了这个错误，能否帮忙排查下：

已知我目前做了这些：

1. 所在机器可以ping 通nebula 所在服务器

2. nebula-spark-connector-3.0.0.jar 放到了spark 2.4 的jar 文件夹下

请问这个如何排查这个问题？

BTW: https://www.siwei.io/spark-on-nebula-graph/ 这个blog 写的挺好的，但是主要针对的是用docker 一键部署尝鲜的情况，

有没有完整的python sample 如何使用spark-connector 去读取，写入数据。

您的版本是匹配的么？报错像是指向了版本匹配。

另外 nebula-spark-c 的读走的是 storaged，所以网络上也有需求（https://www.siwei.io/nebula-algo-spark-k8s/ ）

[Reid00]

• spark version 2.4.0
• nebula-spark-connector-3.0.0.jar 用的是这个jar 包
• nebula 版本 v3.2.0
  当我用python 代码直接连接，而不是用pyspark shell的使用，报错是这个
  

[wey-gu]

• spark version 2.4.0

• nebula-spark-connector-3.0.0.jar 用的是这个jar 包

• nebula 版本 v3.2.0

当我用python 代码直接连接，而不是用pyspark shell的使用，报错是这个

/spark/bin/pyspark --driver-class-path nebula-spark-connector-3.0.0.jar --jars nebula-spark-connector-3.0.0.jar

class-path 是给了的对么？

[Reid00]

[root@qcc-hd-test-3 spark240]# ./bin/pyspark --driver-class-path ./jars/nebula-spark-connector-3.0.0.jar --jars ./jars/nebula-spark-connector-3.0.0.jar
Python 2.7.5 (default, Aug  7 2019, 00:51:29) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-39)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/opt/spark240/jars/nebula-spark-connector-3.0.0.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/spark240/jars/slf4j-log4j12-1.7.16.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/opt/cloudera/parcels/CDH-5.15.2-1.cdh5.15.2.p0.3/jars/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
Setting default log level to "WARN".

这次添加了--driver-class-path nebula-spark-connector-3.0.0.jar --jars nebula-spark-connector-3.0.0.jar 再pyspark shell 中还是相同的错误
在python 代码中不知道怎么添加这个jar

[Nicole00]

@wey-gu hi siwei 我在尝试用pyspark 的 spark-connector 写入数据，但是当我尝试连接读取数据的时候碰到了这个错误，能否帮忙排查下：

已知我目前做了这些：

1. 所在机器可以ping 通nebula 所在服务器
2. nebula-spark-connector-3.0.0.jar 放到了spark 2.4 的jar 文件夹下

请问这个如何排查这个问题？ BTW: https://www.siwei.io/spark-on-nebula-graph/ 这个blog 写的挺好的，但是主要针对的是用docker 一键部署尝鲜的情况， 有没有完整的python sample 如何使用spark-connector 去读取，写入数据。

你可以看下报错日志，你用的nebula一定是2.6.x版本的，不是3.2.0。 客户端版本和服务端不兼容

[Reid00]

刚刚因为IP 写错的原因，测试了下，在shell 可以正常运行了.
但是在python 文件中如何写代码？下面的写法本地调试不通

if __name__ == "__main__":
    spark = SparkSession.builder.appName("nebula-connector").getOrCreate()

    df = spark.read.format(
        "com.vesoft.nebula.connector.NebulaDataSource").option(
        "type", "vertex").option(
        "spaceName", "Relation").option(
        "label", "Company").option(
        "returnCols", "keyno,name").option(
        "metaAddress", "10.0.7.00:9559").option(
        "partitionNumber", 1).load()

    df.show(7, truncate=False)

[Reid00]

need to add specific jars in sparkSession

if __name__ == "__main__":

    spark = SparkSession.builder\
            .config("spark.jars", "/opt/spark240/jars/nebula-spark-connector-3.0.0.jar")\
            .appName("nebula-connector").getOrCreate()

    df = spark.read.format(
        "com.vesoft.nebula.connector.NebulaDataSource").option(
        "type", "vertex").option(
        "spaceName", "Relation").option(
        "label", "Company").option(
        "returnCols", "keyno,name").option(
        "metaAddress", "10.0.7.89:9559").option(
        "partitionNumber", 1).load()

    df.show(7, truncate=False)

[Reid00]

又有另外一个问题，scala 中写入数据Nebula config 是这样写的

nebula-spark-connector/example/src/main/scala/com/vesoft/nebula/examples/connector/NebulaSparkWriterExample.scala

Line 52 in 6b80a2f

NebulaConnectionConfig

python 中怎么写入这个connector config 吗？ 还是python 版本无法写？

import com.vesoft.nebula.connector.{
  NebulaConnectionConfig,
  WriteMode,
  WriteNebulaEdgeConfig,
  WriteNebulaVertexConfig
}

[wey-gu]

又有另外一个问题，scala 中写入数据Nebula config 是这样写的

nebula-spark-connector/example/src/main/scala/com/vesoft/nebula/examples/connector/NebulaSparkWriterExample.scala

Line 52 in 6b80a2f

NebulaConnectionConfig

python 中怎么写入这个connector config 吗？ 还是python 版本无法写？

import com.vesoft.nebula.connector.{

  NebulaConnectionConfig,

  WriteMode,

  WriteNebulaEdgeConfig,

  WriteNebulaVertexConfig

}

👍 哈你找到了在非 pyshell 里加载 jar 给 spark session 的方式。

我之前是“零知识”研究的弄通读的，写还没弄过，不过我在这篇文章的英文版里放了我是怎么找到call reader 的方式并 map 对应读的配置的 string 的，你可以把那个 blog 的语言切换英文看一下。

手机回复不方便弄，我这几天在出差路上🤦‍♂️。

如果不行，我回头找时间研究一下哈。

[Nicole00]

python 中怎么写入这个connector config 吗？ 还是python 版本无法写？

pyspark的写法参考siwei的这个readme说明：https://github.com/wey-gu/nebula-up， 他这个repo很棒，有使用示例的

[Reid00]

@Nicole00 多谢回复。我刚刚把这个repo 看了下，没找到 如何在Python 文件中调用jar 包里面的com.vesoft.nebula.connector. 中的NebulaConnectionConfig, 方法 😥

[wey-gu]

在 @Nicole00 的帮助下，例子可以跑通了，参考

#55

[Nicole00]

@Reid00 Hi，你的问题解决了没，该issue 要被close了

[Reid00]

yes, thank you for your help @wey-gu @Nicole00 😀