02_python/2382@awel-kanton-zuerich.ipynb

{"cells": [{"cell_type": "markdown", "id": "db7f08c1", "metadata": {}, "source": ["## Open Government Data, provided by **Canton Zurich**\n", "*Autogenerated Python starter code for data set with identifier* **2382@awel-kanton-zuerich**"]}, {"cell_type": "markdown", "id": "164c4327", "metadata": {}, "source": ["## Dataset\n", "# **Messdaten langj\u00e4hriger Abgasmessungen im realen Fahrbetrieb mittels Remote Sensing (RSD)**"]}, {"cell_type": "markdown", "id": "46d13c8b-4ac3-4e2f-940f-0c14ec5b7c0d", "metadata": {}, "source": ["## Description\n", "\n", "Der 'Remote Sensing Detector' (RSD) erm\u00f6glicht ber\u00fchrungsfreie Messungen von Abgasen vorbeifahrender Fahrzeuge unter realen Verkehrsbedingungen. Diese Messungen k\u00f6nnen haupts\u00e4chlich dazu verwendet werden, Erkenntnisse \u00fcber die Emissionen von Stickoxiden bestimmter Fahrzeugkategorien zu erlangen. Die Messungen liefern zudem Informationen \u00fcber die Emissionen von Kohlenstoffmonoxid und Kohlenwasserstoffen. Die Emissionen der Fahrzeuge werden somit in realen Verkehrssituationen bestimmt und erlauben beispielsweise Aussagen \u00fcber die Emissionen der Fahrzeugflotte, den Anteil hochemittierender Fahrzeuge am gesamten Fahrzeugbestand, dem Alterungsverhalten von Abgasreinigungssystemen sowie der Abh\u00e4ngigkeiten der Schadstoffwerte von einzelnen Abgasstufen (EURO-Normen). Dar\u00fcber hinaus erm\u00f6glichen die Daten eine Untersuchung des Einflusses verkehrsbezogener Faktoren, wie etwa der Fahrdynamik, auf den Abgasausstoss. Der Datensatz enth\u00e4lt hunderttausende Messdaten aus Messkampagnen seit dem Jahr 2002 (j\u00e4hrlich, beziehungsweise seit dem Jahr 2022 mit Unterbr\u00fcchen), die mit ausreichendem Fachwissen eine aussagekr\u00e4ftige Auswertung zulassen. Weitere Informationen sind der abgelegten Datensatz-Beschreibung zu entnehmen. F\u00fcr eine Methodendokumentation, Beispielauswertungen und deren fachliche Einordnung sei auf den verlinkten Fachbericht verwiesen."]}, {"cell_type": "markdown", "id": "cad813bb-c986-4bb4-b52b-f78bb608086f", "metadata": {}, "source": ["## Data set links\n", "\n", "[Direct data shop link for dataset](https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/2382@awel-kanton-zuerich)"]}, {"cell_type": "markdown", "id": "9d4813e9", "metadata": {}, "source": ["## Metadata\n", "- **Issued** `2023-11-09T09:11:55`\n- **Modified** `2024-01-08T14:20:29`\n- **Startdate** `2002-05-16`\n- **Enddate** `2023-08-17`\n- **Theme** `['http://publications.europa.eu/resource/authority/data-theme/ENVI', 'http://publications.europa.eu/resource/authority/data-theme/TRAN']`\n- **Keyword** `['fahrzeuge', 'luft', 'luftschadstoffe', 'strassenverkehr', 'luftqualitaet', 'emissionen', 'stickoxide', 'abgase', 'ogd']`\n- **Publisher** `['Amt f\u00fcr Abfall, Wasser, Energie und Luft des Kantons Z\u00fcrich']`\n- **Landingpage** `None`\n"]}, {"cell_type": "markdown", "id": "8a857d65", "metadata": {"jp-MarkdownHeadingCollapsed": true, "tags": []}, "source": ["## Imports and helper functions"]}, {"cell_type": "code", "execution_count": null, "id": "93b39602-1c1e-46d2-ae70-1716b1481e9b", "metadata": {"tags": []}, "outputs": [], "source": ["%matplotlib inline\n", "import matplotlib.pyplot as plt\n", "plt.style.use('ggplot')\n", "\n", "params = {\n", "    'text.color': (0.25, 0.25, 0.25),\n", "    'figure.figsize': [18, 6],\n", "   }\n", "\n", "plt.rcParams.update(params)\n", "\n", "import pandas as pd "]}, {"cell_type": "code", "execution_count": null, "id": "aa6611d7-e1c0-40a7-b0ff-601a8ef8439b", "metadata": {"tags": []}, "outputs": [], "source": ["# helper function for reading datasets with proper separator\n", "def get_dataset(url):\n", "    if url[-3:] != \"csv\":\n", "        print(\"The data set URL has no proper 'csv' extension. Reading the dataset might not have worked as expected.\\nPlease check the dataset link and adjust pandas' read_csv() parameters accordingly.\")\n", "    data = pd.read_csv(url, sep=\",\", on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "    # if dataframe only has one column or less the data is not comma separated, use \";\" instead\n", "    if data.shape[1] <= 1:\n", "        data = pd.read_csv(url, sep=';', on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "        if data.shape[1] <= 1:\n", "            print(\"The data wasn't imported properly. Very likely the correct separator couldn't be found.\\nPlease check the dataset manually and adjust the code.\")\n", "    return data"]}, {"cell_type": "markdown", "id": "02ce518f", "metadata": {}, "source": ["## Load data\n", "\n", "- The dataset has **`21` distribution(s)** in CSV format.\n", "- All available CSV distributions are listed below and can be read into a pandas dataframe."]}, {"cell_type": "code", "execution_count": null, "id": "0", "metadata": {"tags": []}, "outputs": [], "source": "# Distribution 0\n# Ktzhdistid               : 4793\n# Title                    : Daten RSD-Messkampagne 2002\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T08:35:49\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004793.csv')\n\n# Distribution 1\n# Ktzhdistid               : 4794\n# Title                    : Daten RSD-Messkampagne 2003\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T08:45:19\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004794.csv')\n\n# Distribution 2\n# Ktzhdistid               : 4795\n# Title                    : Daten RSD-Messkampagne 2004\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T08:51:29\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004795.csv')\n\n# Distribution 3\n# Ktzhdistid               : 4796\n# Title                    : Daten RSD-Messkampagne 2005\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T08:57:42\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004796.csv')\n\n# Distribution 4\n# Ktzhdistid               : 4797\n# Title                    : Daten RSD-Messkampagne 2006\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T09:03:46\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004797.csv')\n\n# Distribution 5\n# Ktzhdistid               : 4798\n# Title                    : Daten RSD-Messkampagne 2007\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T09:08:20\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004798.csv')\n\n# Distribution 6\n# Ktzhdistid               : 4799\n# Title                    : Daten RSD-Messkampagne 2008\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T09:15:03\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004799.csv')\n\n# Distribution 7\n# Ktzhdistid               : 4800\n# Title                    : Daten RSD-Messkampagne 2009\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T09:21:25\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004800.csv')\n\n# Distribution 8\n# Ktzhdistid               : 4801\n# Title                    : Daten RSD-Messkampagne 2010\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T09:27:36\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004801.csv')\n\n# Distribution 9\n# Ktzhdistid               : 4802\n# Title                    : Daten RSD-Messkampagne 2011\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T12:05:51\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004802.csv')\n\n# Distribution 10\n# Ktzhdistid               : 4803\n# Title                    : Daten RSD-Messkampagne 2012\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T12:14:03\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004803.csv')\n\n# Distribution 11\n# Ktzhdistid               : 4804\n# Title                    : Daten RSD-Messkampagne 2013\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T12:24:12\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004804.csv')\n\n# Distribution 12\n# Ktzhdistid               : 4805\n# Title                    : Daten RSD-Messkampagne 2014\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T12:34:59\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004805.csv')\n\n# Distribution 13\n# Ktzhdistid               : 4806\n# Title                    : Daten RSD-Messkampagne 2015\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T12:46:47\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004806.csv')\n\n# Distribution 14\n# Ktzhdistid               : 4807\n# Title                    : Daten RSD-Messkampagne 2016\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T12:59:00\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004807.csv')\n\n# Distribution 15\n# Ktzhdistid               : 4808\n# Title                    : Daten RSD-Messkampagne 2017\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T13:11:02\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004808.csv')\n\n# Distribution 16\n# Ktzhdistid               : 4809\n# Title                    : Daten RSD-Messkampagne 2018\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T13:25:20\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004809.csv')\n\n# Distribution 17\n# Ktzhdistid               : 4810\n# Title                    : Daten RSD-Messkampagne 2019\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T13:39:33\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004810.csv')\n\n# Distribution 18\n# Ktzhdistid               : 4811\n# Title                    : Daten RSD-Messkampagne 2020\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T13:53:10\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004811.csv')\n\n# Distribution 19\n# Ktzhdistid               : 4812\n# Title                    : Daten RSD-Messkampagne 2021\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T14:08:24\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004812.csv')\n\n# Distribution 20\n# Ktzhdistid               : 4813\n# Title                    : Daten RSD-Messkampagne 2023\n# Description              : Informationen zum Datensatz siehe abgelegte Datensatzbeschreibung\n# Issued                   : 2023-11-09T09:11:55\n# Modified                 : 2024-01-08T14:20:28\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002382_00004813.csv')\n\n"}, {"cell_type": "markdown", "id": "4ce1f78f", "metadata": {}, "source": ["## Analyze data"]}, {"cell_type": "code", "execution_count": null, "id": "3e3dab86", "metadata": {}, "outputs": [], "source": ["# drop columns that have no values\n", "df.dropna(how='all', axis=1, inplace=True)"]}, {"cell_type": "code", "execution_count": null, "id": "841bd8d2", "metadata": {}, "outputs": [], "source": ["print(f'The dataset has {df.shape[0]:,.0f} rows (observations) and {df.shape[1]:,.0f} columns (variables).')\n", "print(f'There seem to be {df.duplicated().sum()} exact duplicates in the data.')"]}, {"cell_type": "code", "execution_count": null, "id": "75e73c96", "metadata": {}, "outputs": [], "source": ["df.info(memory_usage='deep', verbose=True)"]}, {"cell_type": "code", "execution_count": null, "id": "02f3df4d", "metadata": {}, "outputs": [], "source": ["df.head()"]}, {"cell_type": "code", "execution_count": null, "id": "a0d7d898", "metadata": {}, "outputs": [], "source": ["# display a small random sample transposed in order to see all variables\n", "df.sample(3).T"]}, {"cell_type": "code", "execution_count": null, "id": "786806dd", "metadata": {}, "outputs": [], "source": ["# describe non-numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(exclude='number'))\n", "except:\n", "    print(\"No categorical data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "e744a6b6", "metadata": {}, "outputs": [], "source": ["# describe numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(include='number'))\n", "except:\n", "    print(\"No numercial data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "7a65d95d", "metadata": {}, "outputs": [], "source": ["# check missing values with missingno\n", "# https://github.com/ResidentMario/missingno\n", "import missingno as msno\n", "msno.matrix(df, labels=True, sort='descending');"]}, {"cell_type": "code", "execution_count": null, "id": "fcc604b7", "metadata": {}, "outputs": [], "source": ["# plot a histogram for each numerical feature\n", "try:\n", "    df.hist(bins=25, rwidth=.9)\n", "    plt.tight_layout()\n", "    plt.show()\n", "except:\n", "    print(\"No numercial data to plot.\") "]}, {"cell_type": "code", "execution_count": null, "id": "e13cc6eb", "metadata": {}, "outputs": [], "source": ["# continue your code here..."]}, {"cell_type": "code", "execution_count": null, "id": "18886378", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "59fce071", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "f42f25aa", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "markdown", "id": "c6b87d83", "metadata": {}, "source": ["**Contact**: Amt f\u00fcr Abfall, Wasser, Energie und Luft des Kantons Z\u00fcrich | Abteilung Luft, Klima und Strahlung | luft@bd.zh.ch"]}], "metadata": {"kernelspec": {"display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3"}, "language_info": {"codemirror_mode": {"name": "ipython", "version": 3}, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.15"}}, "nbformat": 4, "nbformat_minor": 5}