02_python/2522@statistisches-amt-kanton-zuerich.ipynb

{"cells": [{"cell_type": "markdown", "id": "db7f08c1", "metadata": {}, "source": ["## Open Government Data, provided by **Canton Zurich**\n", "*Autogenerated Python starter code for data set with identifier* **2522@statistisches-amt-kanton-zuerich**"]}, {"cell_type": "markdown", "id": "164c4327", "metadata": {}, "source": ["## Dataset\n", "# **Web Analytics des Datenkatalogs des Kantons Z\u00fcrich**"]}, {"cell_type": "markdown", "id": "46d13c8b-4ac3-4e2f-940f-0c14ec5b7c0d", "metadata": {}, "source": ["## Description\n", "\n", "Dieser Datensatz enth\u00e4lt die Web Analytics des Datenkatalogs des Kantons Z\u00fcrich (www.zh.ch/daten). Die Daten zeigen, welche Datens\u00e4tze (dataset) und Ressourcen (distribution) (siehe Definition in DCAP-AP CH, unten verlinkt) wie oft aufgerufen und besucht wurden. Die Aufrufe und Besuche von externen Webseiten, welche den Datenkatalog eingebunden haben, werden mitgez\u00e4hlt. Aus technischen Gr\u00fcnden werden nicht alle Zugriffe registriert (bei Verwendung von Werbeblockern z.B 'Ad-Blocker'). Wir beziehen die Daten von mehreren Matomo APIs. Datens\u00e4tze und Ressourcen mit 0 Aufrufen/Besuchenden sind nicht ausgewiesen. Aufrufe \u00fcber Metadatenkatalog wie opendata.swiss sind nicht ausgewiesen."]}, {"cell_type": "markdown", "id": "cad813bb-c986-4bb4-b52b-f78bb608086f", "metadata": {}, "source": ["## Data set links\n", "\n", "[Direct data shop link for dataset](https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/2522@statistisches-amt-kanton-zuerich)"]}, {"cell_type": "markdown", "id": "9d4813e9", "metadata": {}, "source": ["## Metadata\n", "- **Issued** `2024-01-26T11:21:12`\n- **Modified** `2025-03-24T02:49:26`\n- **Startdate** `2023-09-01`\n- **Enddate** `2025-03-23`\n- **Theme** `['http://publications.europa.eu/resource/authority/data-theme/GOVE', 'http://publications.europa.eu/resource/authority/data-theme/ECON']`\n- **Keyword** `['ogd']`\n- **Publisher** `['Statistisches Amt des Kantons Z\u00fcrich']`\n- **Landingpage** `None`\n"]}, {"cell_type": "markdown", "id": "8a857d65", "metadata": {"jp-MarkdownHeadingCollapsed": true, "tags": []}, "source": ["## Imports and helper functions"]}, {"cell_type": "code", "execution_count": null, "id": "93b39602-1c1e-46d2-ae70-1716b1481e9b", "metadata": {"tags": []}, "outputs": [], "source": ["%matplotlib inline\n", "import matplotlib.pyplot as plt\n", "plt.style.use('ggplot')\n", "\n", "params = {\n", "    'text.color': (0.25, 0.25, 0.25),\n", "    'figure.figsize': [18, 6],\n", "   }\n", "\n", "plt.rcParams.update(params)\n", "\n", "import pandas as pd "]}, {"cell_type": "code", "execution_count": null, "id": "aa6611d7-e1c0-40a7-b0ff-601a8ef8439b", "metadata": {"tags": []}, "outputs": [], "source": ["# helper function for reading datasets with proper separator\n", "def get_dataset(url):\n", "    if url[-3:] != \"csv\":\n", "        print(\"The data set URL has no proper 'csv' extension. Reading the dataset might not have worked as expected.\\nPlease check the dataset link and adjust pandas' read_csv() parameters accordingly.\")\n", "    data = pd.read_csv(url, sep=\",\", on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "    # if dataframe only has one column or less the data is not comma separated, use \";\" instead\n", "    if data.shape[1] <= 1:\n", "        data = pd.read_csv(url, sep=';', on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "        if data.shape[1] <= 1:\n", "            print(\"The data wasn't imported properly. Very likely the correct separator couldn't be found.\\nPlease check the dataset manually and adjust the code.\")\n", "    return data"]}, {"cell_type": "markdown", "id": "02ce518f", "metadata": {}, "source": ["## Load data\n", "\n", "- The dataset has **`4` distribution(s)** in CSV format.\n", "- All available CSV distributions are listed below and can be read into a pandas dataframe."]}, {"cell_type": "code", "execution_count": null, "id": "0", "metadata": {"tags": []}, "outputs": [], "source": "# Distribution 0\n# Ktzhdistid               : 5024\n# Title                    : Web Analytics auf Ebene Datensatz \n# Description              : Zeigt die Anzahl Klicks und Besuchende pro Datensatz und Tag.  'Datensatz' entspricht 'dataset' nach DCAP-AP CH.\n# Issued                   : 2024-01-26T00:00:00\n# Modified                 : 2025-03-24T03:49:24\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002522_00005024.csv')\n\n# Distribution 1\n# Ktzhdistid               : 5043\n# Title                    : Web Analytics zu den Zugriffen auf Ebene Ressource\n# Description              : Zeigt die Anzahl Klicks auf die 'Herunterladen' oder 'Konvertiere zu Excel' Schaltfl\u00e4chen und die Anzahl Besuchenden welche mindestens einen Klick auf die 'Herunterladen' oder 'Konvertiere zu Excel' Schaltfl\u00e4che pro Ressource und Tag gemacht haben. 'Ressource' entspricht 'distribution' nach DCAP-AP CH. Zus\u00e4tzlich wird die Anzahl Downloads (wie oft die Ressource aufgerufen wurde) ausgewiesen. In der Regel sollte die Anzahl Downloads immer h\u00f6her oder gleich als die Anzahl Klicks auf die Schaltfl\u00e4chen im Datenkatalog sein. Da aber im Zeitraum von September 2023 bis heute aus nicht bekannten Gr\u00fcnden, nicht alle Zugriffe detektiert werden, sind die Zahlen zu den Downloads in diesem Zeitraum nicht abschliessend. Die Anzahl Downloads von Ressourcen, welche nicht auf unserem Webserver gespeichert sind, werden nicht gez\u00e4hlt und ist der Grund warum es bei den Anzahl Downloads zu leeren Werten kommen kann.\n# Issued                   : 2024-01-26T00:00:00\n# Modified                 : 2025-03-24T03:49:26\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002522_00005043.csv')\n\n# Distribution 2\n# Ktzhdistid               : 5023\n# Title                    : Web Analytics 'Details anzeigen' zu Ressourcen\n# Description              : Zeigt die Anzahl Klicks und Besuchende der Informationsseite der Ressourcen (Klick auf \"Details anzeigen\") pro Ressource und Tag. 'Ressource' entspricht 'distribution' nach DCAP-AP CH.\n# Issued                   : 2024-01-26T09:53:13\n# Modified                 : 2025-03-24T03:49:24\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002522_00005023.csv')\n\n# Distribution 3\n# Ktzhdistid               : 5044\n# Title                    : Web Analytics auf Ebene verwandter Datensatz\n# Description              : Zeigt die Anzahl Klicks und Besuchende pro verwandten Datensatz und Tag. 'Datensatz' entspricht 'dataset' nach DCAP-AP CH. Die Merkmale 'datensatz_id' und 'datensatz_titel' zeigen, von welchem Datensatz aus der Klick auf den verwandten Datensatz erfolgte. \n# Issued                   : 2024-01-26T09:52:45\n# Modified                 : 2025-03-24T03:49:26\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00002522_00005044.csv')\n\n"}, {"cell_type": "markdown", "id": "4ce1f78f", "metadata": {}, "source": ["## Analyze data"]}, {"cell_type": "code", "execution_count": null, "id": "3e3dab86", "metadata": {}, "outputs": [], "source": ["# drop columns that have no values\n", "df.dropna(how='all', axis=1, inplace=True)"]}, {"cell_type": "code", "execution_count": null, "id": "841bd8d2", "metadata": {}, "outputs": [], "source": ["print(f'The dataset has {df.shape[0]:,.0f} rows (observations) and {df.shape[1]:,.0f} columns (variables).')\n", "print(f'There seem to be {df.duplicated().sum()} exact duplicates in the data.')"]}, {"cell_type": "code", "execution_count": null, "id": "75e73c96", "metadata": {}, "outputs": [], "source": ["df.info(memory_usage='deep', verbose=True)"]}, {"cell_type": "code", "execution_count": null, "id": "02f3df4d", "metadata": {}, "outputs": [], "source": ["df.head()"]}, {"cell_type": "code", "execution_count": null, "id": "a0d7d898", "metadata": {}, "outputs": [], "source": ["# display a small random sample transposed in order to see all variables\n", "df.sample(3).T"]}, {"cell_type": "code", "execution_count": null, "id": "786806dd", "metadata": {}, "outputs": [], "source": ["# describe non-numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(exclude='number'))\n", "except:\n", "    print(\"No categorical data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "e744a6b6", "metadata": {}, "outputs": [], "source": ["# describe numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(include='number'))\n", "except:\n", "    print(\"No numercial data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "7a65d95d", "metadata": {}, "outputs": [], "source": ["# check missing values with missingno\n", "# https://github.com/ResidentMario/missingno\n", "import missingno as msno\n", "msno.matrix(df, labels=True, sort='descending');"]}, {"cell_type": "code", "execution_count": null, "id": "fcc604b7", "metadata": {}, "outputs": [], "source": ["# plot a histogram for each numerical feature\n", "try:\n", "    df.hist(bins=25, rwidth=.9)\n", "    plt.tight_layout()\n", "    plt.show()\n", "except:\n", "    print(\"No numercial data to plot.\") "]}, {"cell_type": "code", "execution_count": null, "id": "e13cc6eb", "metadata": {}, "outputs": [], "source": ["# continue your code here..."]}, {"cell_type": "code", "execution_count": null, "id": "18886378", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "59fce071", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "f42f25aa", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "markdown", "id": "c6b87d83", "metadata": {}, "source": ["**Contact**: Statistisches Amt des Kantons Z\u00fcrich | Data Shop | datashop@statistik.zh.ch"]}], "metadata": {"kernelspec": {"display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3"}, "language_info": {"codemirror_mode": {"name": "ipython", "version": 3}, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.15"}}, "nbformat": 4, "nbformat_minor": 5}