Skip to content

wurthmvnn/pyspark-poc

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Ingestão, transformação e carregamento de dados

ETL de dados carregados em uma instancia postgres, usando framework Spark com scripts feitos na linguagem Python.

Para executar o projeto, basta usar o seguinte comando na raiz do projeto:
spark-submit --driver-class-path path_driver_postgres/postgresql-42.2.9.jar path/main.py

Conceda os privilegios para o seu usuário no postgres.

Releases

No releases published

Packages

No packages published

Languages