Remplacer isHeader par drop

[Guigo91]

Je pense que retirer la première ligne serait plus efficace que de regarder toutes les lignes une à une.
La fonction drop(nbLines) devrait faire l'affaire.

[lraulier]

oui, la dédection du header est toute pourrie .. faut la modifier
je vais tester drop asap :)

[lraulier]

la méthode n'est pas implémentée il me semble pour un RDD
sparkContext.textFile("../data/sample.csv").drop(1) n'est donc pas possible!
De quel façon penses tu utiliser la méthode drop ???

[lraulier]

http://erikerlandson.github.io/blog/2014/07/27/some-implications-of-supporting-the-scala-drop-method-for-spark-rdds/

[lraulier]

ps : en passant par spark sql , le résultat est immédiat
cf branch useDataFrame

[Guigo91]

J'avais vu pour useDataFrame, dommage qu'on ne puisse pas faire ça facilement en Spark.
Là il y a un gars qui a implémenter le fonction drop :
erikerlandson/spark@7953b9b
Ca devient tout de suite plus compliqué quand on manipule des partitions.

[lraulier]

j'arrive pas a savoir si cette method a été commitée dans le project spark.
je la trouve sur redhat silex ... mais pas sur qu'elle soit native ...
@suivre

[lraulier]

demande de merge : apache/spark#1839

[Guigo91]

J'imagine que faire la même fonction que lui mais en ne supprimant que la première ligne de la première partition, c'est un peu laborieux pour juste retirer un header...