Not able to read multiple xlsx files together

[sbharti25]

Hi Team,
I am currently facing an odd error when trying to read multiple xlsx files using the spark-excel library.

val df = spark.read
.format("com.crealytics.spark.excel")
.option("header", "true") // Required
.option("treatEmptyValuesAsNulls", "false")
.option("dataAddress", "'Check Register'!A2")
.load(sourceFiles: _*)

SourceFiles is an Array containing all the files location.

Error :
scala.MatchError: Map(header -> true, treatemptyvaluesasnulls -> false, dataaddress -> 'Check Register'!A2) (of class org.apache.spark.sql.catalyst.util.CaseInsensitiveMap)

at com.crealytics.spark.excel.WorkbookReader$.apply(WorkbookReader.scala:37)
at com.crealytics.spark.excel.DefaultSource.createRelation(DefaultSource.scala:22)
at com.crealytics.spark.excel.DefaultSource.createRelation(DefaultSource.scala:8)
at org.apache.spark.sql.execution.datasources.DataSource.resolveRelation(DataSource.scala:368)
at org.apache.spark.sql.DataFrameReader.loadV1Source(DataFrameReader.scala:384)
at org.apache.spark.sql.DataFrameReader.$anonfun$load$2(DataFrameReader.scala:373)
at scala.Option.getOrElse(Option.scala:189)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:373)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:271)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:503)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:505)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:507)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:509)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:511)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:513)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:515)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:517)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:519)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:521)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:523)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:525)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:527)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:529)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:531)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:533)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:535)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:537)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:539)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:541)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:543)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:545)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:547)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:549)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw$$iw.(command-1829135806975113:551)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw$$iw.(command-1829135806975113:553)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw$$iw.(command-1829135806975113:555)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw$$iw.(command-1829135806975113:557)
at line739f5a97121c443692ffb75719384fdb69.$read$$iw.(command-1829135806975113:559)
at line739f5a97121c443692ffb75719384fdb69.$read.(command-1829135806975113:561)
at line739f5a97121c443692ffb75719384fdb69.$read$.(command-1829135806975113:565)
at line739f5a97121c443692ffb75719384fdb69.$read$.(command-1829135806975113)
at line739f5a97121c443692ffb75719384fdb69.$eval$.$print$lzycompute(:7)
at line739f5a97121c443692ffb75719384fdb69.$eval$.$print(:6)
at line739f5a97121c443692ffb75719384fdb69.$eval.$print()
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at scala.tools.nsc.interpreter.IMain$ReadEvalPrint.call(IMain.scala:745)
at scala.tools.nsc.interpreter.IMain$Request.loadAndRun(IMain.scala:1021)
at scala.tools.nsc.interpreter.IMain.$anonfun$interpret$1(IMain.scala:574)
at scala.reflect.internal.util.ScalaClassLoader.asContext(ScalaClassLoader.scala:41)
at scala.reflect.internal.util.ScalaClassLoader.asContext$(ScalaClassLoader.scala:37)
at scala.reflect.internal.util.AbstractFileClassLoader.asContext(AbstractFileClassLoader.scala:41)
at scala.tools.nsc.interpreter.IMain.loadAndRunReq$1(IMain.scala:573)
at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:600)
at scala.tools.nsc.interpreter.IMain.interpret(IMain.scala:570)
at com.databricks.backend.daemon.driver.DriverILoop.execute(DriverILoop.scala:219)
at com.databricks.backend.daemon.driver.ScalaDriverLocal.$anonfun$repl$1(ScalaDriverLocal.scala:204)
at scala.runtime.java8.JFunction0$mcV$sp.apply(JFunction0$mcV$sp.java:23)
at com.databricks.backend.daemon.driver.DriverLocal$TrapExitInternal$.trapExit(DriverLocal.scala:789)
at com.databricks.backend.daemon.driver.DriverLocal$TrapExit$.apply(DriverLocal.scala:742)
at com.databricks.backend.daemon.driver.ScalaDriverLocal.repl(ScalaDriverLocal.scala:204)
at com.databricks.backend.daemon.driver.DriverLocal.$anonfun$execute$10(DriverLocal.scala:431)
at com.databricks.logging.UsageLogging.$anonfun$withAttributionContext$1(UsageLogging.scala:239)
at scala.util.DynamicVariable.withValue(DynamicVariable.scala:62)
at com.databricks.logging.UsageLogging.withAttributionContext(UsageLogging.scala:234)
at com.databricks.logging.UsageLogging.withAttributionContext$(UsageLogging.scala:231)
at com.databricks.backend.daemon.driver.DriverLocal.withAttributionContext(DriverLocal.scala:48)
at com.databricks.logging.UsageLogging.withAttributionTags(UsageLogging.scala:276)
at com.databricks.logging.UsageLogging.withAttributionTags$(UsageLogging.scala:269)
at com.databricks.backend.daemon.driver.DriverLocal.withAttributionTags(DriverLocal.scala:48)
at com.databricks.backend.daemon.driver.DriverLocal.execute(DriverLocal.scala:408)
at com.databricks.backend.daemon.driver.DriverWrapper.$anonfun$tryExecutingCommand$1(DriverWrapper.scala:653)
at scala.util.Try$.apply(Try.scala:213)
at com.databricks.backend.daemon.driver.DriverWrapper.tryExecutingCommand(DriverWrapper.scala:645)
at com.databricks.backend.daemon.driver.DriverWrapper.getCommandOutputAndError(DriverWrapper.scala:486)
at com.databricks.backend.daemon.driver.DriverWrapper.executeCommand(DriverWrapper.scala:598)
at com.databricks.backend.daemon.driver.DriverWrapper.runInnerLoop(DriverWrapper.scala:391)
at com.databricks.backend.daemon.driver.DriverWrapper.runInner(DriverWrapper.scala:337)
at com.databricks.backend.daemon.driver.DriverWrapper.run(DriverWrapper.scala:219)
at java.lang.Thread.run(Thread.java:748)

[nightscape]

This should land in #389

[quanghgx]

Hi @sbharti25
Please help take a try again with the latest version in main branch?
Sincerely,

[quanghgx]

Going to close this ticket. Feel free to reopen it or start a new one in case of further issue.