Projekt für die Vorlesung Big Data Programming an der DHBW Karlsruhe
Karlsruhe bietet auf https://web1.karlsruhe.de/service/Parken/ eine Übersicht über die freien Parkplätze in der Stadt. Allerdings nur jeweils den aktuellen Stand. Um die Daten zu sammeln, wird ein Web Scraper verwendet, der die Daten in eine CSV-Datei schreibt. Die robots.txt-Datei verbietet nicht das Crawlen dieser Seite.
Liest beim einmaligen Aufrufen die freien Parkplätze von jedem Parkplatz auf https://web1.karlsruhe.de/service/Parken und schreibt einen neuen Datensatz in die jeweilige Tabelle im Ordner data. Dieses Skript wird alle 5 Minuten von einem Cronjob auf einem EC2 Server ausgeführt. Die csv-Dateien werden manuell in dieses Repository geladen.
Liest die Eigenschaften der Parkplätze aus und schreibt sie in einen Datensatz meta_data.csv, der dann zum Filtern genutzt werden kann. Dieses Skript muss nur einmal ausgeführt werden.
Stellt die Konsolenapplikation dar, die Nutzer verwenden können, um Parkhäuser zu filtern und Prognosen für Uhrzeit und Wochentag zu erhalten.
Hier werden die csv-Dateien gespeichert.
Eine genauere Dokumentation ist jeweils im zugehörigen Jupyter Notebook zu finden.