02_python/2022@fachstelle-ogd-kanton-zuerich.ipynb

{"cells": [{"cell_type": "markdown", "id": "db7f08c1", "metadata": {}, "source": ["## Open Government Data, provided by **Canton Zurich**\n", "*Autogenerated Python starter code for data set with identifier* **2022@fachstelle-ogd-kanton-zuerich**"]}, {"cell_type": "markdown", "id": "164c4327", "metadata": {}, "source": ["## Dataset\n", "# **Geb\u00e4ude und Wohnungen im Kanton Z\u00fcrich**"]}, {"cell_type": "markdown", "id": "46d13c8b-4ac3-4e2f-940f-0c14ec5b7c0d", "metadata": {}, "source": ["## Description\n", "\n", "Geb\u00e4ude und Wohnungen im Kanton Z\u00fcrich gem\u00e4ss eidgen\u00f6ssischem Geb\u00e4ude- und Wohnungsregister (eidg. GWR). Es verzeichnet die Geb\u00e4ude und jede Wohnung im Kanton umfassend in Merkmalen gem\u00e4ss Merkmalsbeschreibung (siehe Link). Die Ressourcen lassen sich \u00fcber die EGID verkn\u00fcpfen. Das eidg. GWR wird durch die Gemeinden des Kantons Z\u00fcrich gef\u00fchrt, die kantonale Koordinationsstelle GWR-ZH begleitet und ber\u00e4t sie dabei. Die Koordinationsstelle GWR-ZH stellt die Daten alle 3 Monate zur Verf\u00fcgung und werden zum Stichtag vollst\u00e4ndig ersetzt. Ein Zeitverlauf ist in den Daten nicht ersichtlich. Datenquelle bildet das eidg. GWR des Bundesamts f\u00fcr Statistik (BFS). Die Daten bilden den Stand des eidg. GWR ab, wie er durch die Gemeinden erfasst wird. Abweichungen vom tats\u00e4chlichen Zustand der Geb\u00e4ude und Wohnungen sind m\u00f6glich und im Bereich Energiequellen (Solaranlagen) sowie W\u00e4rmequellen (Heizungen) wahrscheinlich. Hinweise auf Abweichungen senden Sie bitte direkt an die Gemeinde, auf deren Boden sich das Objekt befindet, respektive an Statistik Stadt Z\u00fcrich f\u00fcr Daten auf dem Stadtgebiet Z\u00fcrich."]}, {"cell_type": "markdown", "id": "cad813bb-c986-4bb4-b52b-f78bb608086f", "metadata": {}, "source": ["## Data set links\n", "\n", "[Direct data shop link for dataset](https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/2022@fachstelle-ogd-kanton-zuerich)"]}, {"cell_type": "markdown", "id": "9d4813e9", "metadata": {}, "source": ["## Metadata\n", "- **Issued** `2023-04-24T09:55:58`\n- **Modified** `2024-11-06T10:04:12`\n- **Startdate** `2024-09-30`\n- **Enddate** `2024-09-30`\n- **Theme** `['http://publications.europa.eu/resource/authority/data-theme/SOCI']`\n- **Keyword** `['gebaeude', 'gebaeudeart', 'gemeinden', 'heizung', 'heizungsart', 'strassen', 'wohnung', 'wohnungen', 'wohnungsbestand', 'ogd']`\n- **Publisher** `['Fachstelle Open Government Data des Kantons Z\u00fcrich']`\n- **Landingpage** `None`\n"]}, {"cell_type": "markdown", "id": "8a857d65", "metadata": {"jp-MarkdownHeadingCollapsed": true, "tags": []}, "source": ["## Imports and helper functions"]}, {"cell_type": "code", "execution_count": null, "id": "93b39602-1c1e-46d2-ae70-1716b1481e9b", "metadata": {"tags": []}, "outputs": [], "source": ["%matplotlib inline\n", "import matplotlib.pyplot as plt\n", "plt.style.use('ggplot')\n", "\n", "params = {\n", "    'text.color': (0.25, 0.25, 0.25),\n", "    'figure.figsize': [18, 6],\n", "   }\n", "\n", "plt.rcParams.update(params)\n", "\n", "import pandas as pd "]}, {"cell_type": "code", "execution_count": null, "id": "aa6611d7-e1c0-40a7-b0ff-601a8ef8439b", "metadata": {"tags": []}, "outputs": [], "source": ["# helper function for reading datasets with proper separator\n", "def get_dataset(url):\n", "    if url[-3:] != \"csv\":\n", "        print(\"The data set URL has no proper 'csv' extension. Reading the dataset might not have worked as expected.\\nPlease check the dataset link and adjust pandas' read_csv() parameters accordingly.\")\n", "    data = pd.read_csv(url, sep=\",\", on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "    # if dataframe only has one column or less the data is not comma separated, use \";\" instead\n", "    if data.shape[1] <= 1:\n", "        data = pd.read_csv(url, sep=';', on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "        if data.shape[1] <= 1:\n", "            print(\"The data wasn't imported properly. Very likely the correct separator couldn't be found.\\nPlease check the dataset manually and adjust the code.\")\n", "    return data"]}, {"cell_type": "markdown", "id": "02ce518f", "metadata": {}, "source": ["## Load data\n", "\n", "- The dataset has **`3` distribution(s)** in CSV format.\n", "- All available CSV distributions are listed below and can be read into a pandas dataframe."]}, {"cell_type": "code", "execution_count": null, "id": "0", "metadata": {"tags": []}, "outputs": [], "source": "# Distribution 0\n# Ktzhdistid               : 4064\n# Title                    : Geb\u00e4ude\n# Description              : Daten des eidg. GWR mit Bezug zu ganzen Geb\u00e4uden und ihrer Haustechnik. Aus den Daten lassen sich umfassende Angaben zum Geb\u00e4udebestand ablesen, beispielsweise zum Geb\u00e4udealter oder den W\u00e4rme- und Energiequellen. Die Merkmale entsprechen denen im Merkmalskatalogs des eidg. GWR (siehe Link unter \"weitere Informationen\" im Datensatzbeschrieb) und sind dort beschrieben. Leerwerte wurden in den Gemeinden nicht ausgef\u00fcllt, ihr Wert ist unbekannt. F\u00fcr die einfachere Nutzung f\u00fcgt die Fach- und Koordinationsstelle OGD vor der Publikation folgende Merkmale hinzu: F\u00fcr das Merkmal 'Kanton' wird f\u00fcr alle Beobachtungen ZH abgef\u00fcllt. Das Merkmal 'Gemeindename' wird mittels BFS-Nummer entsprechend der Gemeindetabelle des Statistischen Amts ausgegeben. Das Merkmal 'Anzahl_Wohnungen' wird anhand der Ressource Wohnungen berechnet.\n# Issued                   : 2023-04-24T09:55:58\n# Modified                 : 2024-11-06T11:03:50\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002022_00004064.csv')\n\n# Distribution 1\n# Ktzhdistid               : 4065\n# Title                    : Wohnungen\n# Description              : Daten des eidg. GWR mit Bezug zu den einzelnen Wohnungen in einem Geb\u00e4ude. Aus den Daten lassen sich beispielsweise Alter, Fl\u00e4che, Lage im Geb\u00e4ude und Ausstattungsangaben herauslesen. Die Merkmale entsprechen denen im Merkmalskatalogs des eidg. GWR (siehe Link unter \"weitere Informationen\" im Datensatzbeschrieb) und sind dort beschrieben. Leerwerte wurden in den Gemeinden nicht ausgef\u00fcllt, ihr Wert ist unbekannt.\n# Issued                   : 2023-04-24T09:55:58\n# Modified                 : 2024-11-06T11:04:13\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002022_00004065.csv')\n\n# Distribution 2\n# Ktzhdistid               : 4066\n# Title                    : Geb\u00e4udeeing\u00e4nge bzw. Adressen pro Geb\u00e4ude\n# Description              : Daten des eidg. GWR mit Bezug zu den einzelnen Eing\u00e4ngen zu einem Geb\u00e4ude. Adressen beziehen sich auf einzelne Geb\u00e4udeeing\u00e4nge und sind deswegen pro Eingang in diesem File zu finden. Die Merkmale entsprechen denen im Merkmalskatalogs des eidg. GWR (siehe Link unter 'weitere Informationen' im Datensatzbeschrieb) und sind dort beschrieben. Leerwerte wurden in den Gemeinden nicht ausgef\u00fcllt, ihr Wert ist unbekannt.\n# Issued                   : 2023-04-24T09:55:58\n# Modified                 : 2024-11-06T11:04:02\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002022_00004066.csv')\n\n"}, {"cell_type": "markdown", "id": "4ce1f78f", "metadata": {}, "source": ["## Analyze data"]}, {"cell_type": "code", "execution_count": null, "id": "3e3dab86", "metadata": {}, "outputs": [], "source": ["# drop columns that have no values\n", "df.dropna(how='all', axis=1, inplace=True)"]}, {"cell_type": "code", "execution_count": null, "id": "841bd8d2", "metadata": {}, "outputs": [], "source": ["print(f'The dataset has {df.shape[0]:,.0f} rows (observations) and {df.shape[1]:,.0f} columns (variables).')\n", "print(f'There seem to be {df.duplicated().sum()} exact duplicates in the data.')"]}, {"cell_type": "code", "execution_count": null, "id": "75e73c96", "metadata": {}, "outputs": [], "source": ["df.info(memory_usage='deep', verbose=True)"]}, {"cell_type": "code", "execution_count": null, "id": "02f3df4d", "metadata": {}, "outputs": [], "source": ["df.head()"]}, {"cell_type": "code", "execution_count": null, "id": "a0d7d898", "metadata": {}, "outputs": [], "source": ["# display a small random sample transposed in order to see all variables\n", "df.sample(3).T"]}, {"cell_type": "code", "execution_count": null, "id": "786806dd", "metadata": {}, "outputs": [], "source": ["# describe non-numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(exclude='number'))\n", "except:\n", "    print(\"No categorical data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "e744a6b6", "metadata": {}, "outputs": [], "source": ["# describe numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(include='number'))\n", "except:\n", "    print(\"No numercial data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "7a65d95d", "metadata": {}, "outputs": [], "source": ["# check missing values with missingno\n", "# https://github.com/ResidentMario/missingno\n", "import missingno as msno\n", "msno.matrix(df, labels=True, sort='descending');"]}, {"cell_type": "code", "execution_count": null, "id": "fcc604b7", "metadata": {}, "outputs": [], "source": ["# plot a histogram for each numerical feature\n", "try:\n", "    df.hist(bins=25, rwidth=.9)\n", "    plt.tight_layout()\n", "    plt.show()\n", "except:\n", "    print(\"No numercial data to plot.\") "]}, {"cell_type": "code", "execution_count": null, "id": "e13cc6eb", "metadata": {}, "outputs": [], "source": ["# continue your code here..."]}, {"cell_type": "code", "execution_count": null, "id": "18886378", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "59fce071", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "f42f25aa", "metadata": {}, "outputs": [], "source": []}, {"attachments": {}, "cell_type": "markdown", "id": "c6b87d83", "metadata": {}, "source": ["**Questions about the data?** Amt f\u00fcr Raumentwicklung des Kantons Z\u00fcrich | Fachstelle Datenlogistik, Koordinationsstelle GWR-ZH | datenlogistik@bd.zh.ch"]}], "metadata": {"kernelspec": {"display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3"}, "language_info": {"codemirror_mode": {"name": "ipython", "version": 3}, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.15"}}, "nbformat": 4, "nbformat_minor": 5}