02_python/1202@kantonspolizei-kanton-zuerich.ipynb

{"cells": [{"cell_type": "markdown", "id": "db7f08c1", "metadata": {}, "source": ["## Open Government Data, provided by **Canton Zurich**\n", "*Autogenerated Python starter code for data set with identifier* **1202@kantonspolizei-kanton-zuerich**"]}, {"cell_type": "markdown", "id": "164c4327", "metadata": {}, "source": ["## Dataset\n", "# **Polizeiliche Kriminalstatistik (PKS) des Kantons Z\u00fcrich**"]}, {"cell_type": "markdown", "id": "46d13c8b-4ac3-4e2f-940f-0c14ec5b7c0d", "metadata": {}, "source": ["## Description\n", "\n", "Die polizeiliche Kriminalstatistik (PKS) des Kantons Z\u00fcrich wird j\u00e4hrlich publiziert. Sie beinhaltet Zahlen zu den registrierten Straftaten (und zu polizeilich beschuldigten sowie gesch\u00e4digten Personen) f\u00fcr das Strafgesetzbuch (StGB), das Ausl\u00e4nder- und Integrationsgesetz (AIG) und das Bet\u00e4ubungsmittelgesetz (BetmG) f\u00fcr den Kanton Z\u00fcrich. Die Daten werden von Polizistinnen und Polizisten im polizeilichen Datenerfassungssystem registriert und vom Bundesamt f\u00fcr Statistik nach schweizweit einheitlichen Qualit\u00e4tskriterien gepr\u00fcft. Die Daten werden kontinuierlich bei Bekanntwerden von Straftaten erhoben. Sie verzeichnen somit das sogenannte Hellfeld. \u00c4nderungen in der Gesetzgebung k\u00f6nnen sich auf die Datenreihen der PKS auswirken. Die PKS ist eine Ausgangsstatistik, d.h. die Straftaten erscheinen nicht zum Tatzeitpunkt in der Statistik. Ausschlaggebend f\u00fcr die Z\u00e4hlung in der PKS ist der Zeitpunkt, an dem die Polizei einen ersten Rapport zur Straftat abgeschlossen hat."]}, {"cell_type": "markdown", "id": "cad813bb-c986-4bb4-b52b-f78bb608086f", "metadata": {}, "source": ["## Data set links\n", "\n", "[Direct data shop link for dataset](https://www.zh.ch/de/politik-staat/statistik-daten/datenkatalog.html#/datasets/1202@kantonspolizei-kanton-zuerich)"]}, {"cell_type": "markdown", "id": "9d4813e9", "metadata": {}, "source": ["## Metadata\n", "- **Issued** `2022-03-10T13:54:15`\n- **Modified** `2025-03-20T15:41:12`\n- **Startdate** `2009-01-01`\n- **Enddate** `2024-12-31`\n- **Theme** `['http://publications.europa.eu/resource/authority/data-theme/JUST']`\n- **Keyword** `['bezirke', 'gemeinden', 'kanton_zuerich', 'kriminalitaet', 'strafbare_handlungen', 'strafdelikte', 'straftaten', 'jugendkriminalitaet', 'gewalt', 'einbrueche', 'cyberkriminalitaet', 'ogd']`\n- **Publisher** `['Kantonspolizei des Kantons Z\u00fcrich']`\n- **Landingpage** `https://www.zh.ch/de/sicherheit-justiz/delikte-praevention/kriminalstatistik.html`\n"]}, {"cell_type": "markdown", "id": "8a857d65", "metadata": {"jp-MarkdownHeadingCollapsed": true, "tags": []}, "source": ["## Imports and helper functions"]}, {"cell_type": "code", "execution_count": null, "id": "93b39602-1c1e-46d2-ae70-1716b1481e9b", "metadata": {"tags": []}, "outputs": [], "source": ["%matplotlib inline\n", "import matplotlib.pyplot as plt\n", "plt.style.use('ggplot')\n", "\n", "params = {\n", "    'text.color': (0.25, 0.25, 0.25),\n", "    'figure.figsize': [18, 6],\n", "   }\n", "\n", "plt.rcParams.update(params)\n", "\n", "import pandas as pd "]}, {"cell_type": "code", "execution_count": null, "id": "aa6611d7-e1c0-40a7-b0ff-601a8ef8439b", "metadata": {"tags": []}, "outputs": [], "source": ["# helper function for reading datasets with proper separator\n", "def get_dataset(url):\n", "    if url[-3:] != \"csv\":\n", "        print(\"The data set URL has no proper 'csv' extension. Reading the dataset might not have worked as expected.\\nPlease check the dataset link and adjust pandas' read_csv() parameters accordingly.\")\n", "    data = pd.read_csv(url, sep=\",\", on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "    # if dataframe only has one column or less the data is not comma separated, use \";\" instead\n", "    if data.shape[1] <= 1:\n", "        data = pd.read_csv(url, sep=';', on_bad_lines='warn', encoding_errors='ignore', low_memory=False)\n", "        if data.shape[1] <= 1:\n", "            print(\"The data wasn't imported properly. Very likely the correct separator couldn't be found.\\nPlease check the dataset manually and adjust the code.\")\n", "    return data"]}, {"cell_type": "markdown", "id": "02ce518f", "metadata": {}, "source": ["## Load data\n", "\n", "- The dataset has **`9` distribution(s)** in CSV format.\n", "- All available CSV distributions are listed below and can be read into a pandas dataframe."]}, {"cell_type": "code", "execution_count": null, "id": "0", "metadata": {"tags": []}, "outputs": [], "source": "# Distribution 0\n# Ktzhdistid               : 3680\n# Title                    : Anzahl Straftaten im Bereich Cyber-/Digitale Kriminalit\u00e4t ganzer Kanton\n# Description              : Die Cyber-/Digitale Kriminalit\u00e4t wird anhand der Kombination \"Straftat - Tatvorgehen (Modus Operandi)\" ermittelt. Sie umfasst 33 verschiedene Tatvorgehen und 28 Straftaten des StGB, die in 5 \u00dcberkategorien mit  12 Unterkategorien gegliedert werden. In der Auswertung nicht ber\u00fccksichtigt werden das Bet\u00e4ubungsmittelgesetz (BetmG) oder Bundesnebengesetze wie das Waffengesetz (WG), das Bundesgesetz gegen den unlauteren Wettbewerb (UWG) oder das Markenschutzgesetz (MSchG). Die Bev\u00f6lkerungszahlen sind der Einwohnerstatistik des Bundes am Ende des Vorjahres entnommen (bis 2010 ESPOP, ab 2011 STATPOP). Damit wird die H\u00e4ufigkeitszahl berechnet (Anzahl registrierten Straftaten pro 1000 Einwohner). \n# Issued                   : 2023-03-22T10:10:02\n# Modified                 : 2025-03-20T16:12:26\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00003680.csv')\n\n# Distribution 1\n# Ktzhdistid               : 2318\n# Title                    : Anzahl Straftaten nach Tatbestand und Bezirken\n# Description              : Anzahl Straftaten nach Tatbestand des StGB, AIG und BetmG seit 2009 nach Bezirken. Tatbest\u00e4nde werden nur in Jahren aufgef\u00fchrt, in denen sie in Kraft waren. Die Unterscheidung zwischen versuchten und vollendeten Straftaten ist nur im Falle von Straftaten gegen das StGB m\u00f6glich. Die Spalte Titel (und Reihenfolge_Titel) weist f\u00fcr StGB die Titel (und deren Reihenfolge) des 'Zweiten Buches: Besondere Bestimmungen' gem\u00e4ss StGB, sowie f\u00fcr BetmG und AIG die \u00dcberkategorien (und deren Reihenfolge) gem\u00e4ss Auswertungen im PKS Jahresbericht auf. Analog weist die Spalte Haupttitel (und Reihenfolge_Haupttitel) eine v.a. f\u00fcr die zahlreichen StGB-Titel generalisierte Kategorie der wichtigsten Titel und deren Reihenfolge auf. Die Bev\u00f6lkerungszahlen sind der Einwohnerstatistik des Bundes am Ende des Vorjahres entnommen (bis 2010 ESPOP, ab 2011 STATPOP). Damit wird die H\u00e4ufigkeitszahl berechnet (Anzahl registrierten Straftaten pro 1000 Einwohner). \n# Issued                   : 2022-03-10T13:54:15\n# Modified                 : 2025-03-20T16:13:09\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00002318.csv')\n\n# Distribution 2\n# Ktzhdistid               : 2319\n# Title                    : Anzahl beschuldigte Personen nach Tatbestandsgruppe im ganzen Kanton\n# Description              : Anzahl polizeilich beschuldigter Personen nach Tatbestandsgruppe (Haupttitel) des StGB seit 2009. Es wird in juristische und nat\u00fcrliche Personen und letztere in die Alterskategorien Minderj\u00e4hrige (<18) und Erwachsene unterteilt. Jede Person wird im Total StGB bzw. pro Tatbestandsgruppe nur einfach gez\u00e4hlt. Das Zusammenz\u00e4hlen von Personenzahlen \u00fcber mehrere Tatbestandsgruppen hinweg ist nicht zul\u00e4ssig, da sich eine Person \u00fcber die verschiedenen Einheiten wiederholen kann. Die Anzahl Beschuldigter l\u00e4sst sich nicht direkt mit der Anzahl Straftaten vergleichen, da bei gewissen Straftaten mehrere Personen beschuldigt werden k\u00f6nnen. Die Spalte Haupttitel (und Reihenfolge_Haupttitel) weist eine generalisierte Kategorie der wichtigsten StGB-Titel und deren Reihenfolge auf. \n# Issued                   : 2022-03-10T13:54:15\n# Modified                 : 2025-03-20T16:13:25\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00002319.csv')\n\n# Distribution 3\n# Ktzhdistid               : 2278\n# Title                    : Anzahl Straftaten nach Tatbestand ganzer Kanton\n# Description              : Anzahl Straftaten nach Tatbestand gegen StGB, BetmG und AIG seit 2009 auf Kantonsebene. Tatbest\u00e4nde werden nur in Jahren aufgef\u00fchrt, in denen sie in Kraft waren. Die Unterscheidung zwischen versuchten und vollendeten Straftaten ist nur im Falle von Straftaten gegen das StGB m\u00f6glich. Die Spalte Titel (und Reihenfolge_Titel) weist f\u00fcr StGB die Titel (und deren Reihenfolge) des Zweiten Buches: Besondere Bestimmungen gem\u00e4ss StGB, sowie f\u00fcr BetmG und AIG die \u00dcberkategorien (und deren Reihenfolge) gem\u00e4ss Auswertungen im PKS Jahresbericht auf. Analog weist die Spalte Haupttitel (und Reihenfolge_Haupttitel) eine v.a. f\u00fcr die zahlreichen StGB-Titel generalisierte Kategorie der wichtigsten Titel und deren Reihenfolge auf. Die Bev\u00f6lkerungszahlen sind der Einwohnerstatistik des Bundes am Ende des Vorjahres entnommen (bis 2010 ESPOP, ab 2011 STATPOP). Damit wird die H\u00e4ufigkeitszahl berechnet (Anzahl registrierten Straftaten pro 1000 Einwohner). \n# Issued                   : 2022-03-10T13:54:15\n# Modified                 : 2025-03-20T16:13:45\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00002278.csv')\n\n# Distribution 4\n# Ktzhdistid               : 3503\n# Title                    : Anzahl Gewaltstraftaten nach Schweregrad und Tatbestand ganzer Kanton \n# Description              : Unter Gewaltstraftaten werden die Tatbest\u00e4nde des StGB zusammengefasst, welche die vors\u00e4tzliche Anwendung oder Androhung von Gewalt gegen Personen beinhalten. Die aufgef\u00fchrten Tatbest\u00e4nde und ihre Zuordnung zum Schweregrad  richten sich nach den Vorgaben des Bundesamts f\u00fcr Statistik. Das Total aller Gewaltstraftaten pro Jahr bzw. pro Schweregrad (und Jahr) entspricht der Summe der Anzahl der im Datensatz abgebildeten Straftatbest\u00e4nde. Die Bev\u00f6lkerungszahlen sind der Einwohnerstatistik des Bundes am Ende des Vorjahres entnommen (bis 2010 ESPOP, ab 2011 STATPOP). Damit wird die H\u00e4ufigkeitszahl berechnet (Anzahl registrierten Straftaten pro 1000 Einwohner). \n# Issued                   : 2023-03-22T10:11:02\n# Modified                 : 2025-03-20T16:14:06\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00003503.csv')\n\n# Distribution 5\n# Ktzhdistid               : 3504\n# Title                    : Anzahl Gewaltstraftaten nach Schweregrad und Bezirken\n# Description              : Unter Gewaltstraftaten werden die Tatbest\u00e4nde des StGB zusammengefasst, welche die vors\u00e4tzliche Anwendung oder Androhung von Gewalt gegen Personen beinhalten. Die aufgef\u00fchrten Tatbest\u00e4nde und ihre Zuordnung zum Schweregrad  richten sich nach den Vorgaben des Bundesamts f\u00fcr Statistik. Die Summe der Anzahl Straftaten nach Schweregrad entspricht nicht dem Total der Gewaltstraftaten pro Bezirk, da unter Umst\u00e4nden bei mehreren Straftaten pro Fall Subsummierungsregeln zum Zug kommen.  Die Bev\u00f6lkerungszahlen sind der Einwohnerstatistik des Bundes am Ende des Vorjahres entnommen (bis 2010 ESPOP, ab 2011 STATPOP). Damit wird die H\u00e4ufigkeitszahl berechnet (Anzahl registrierten Straftaten pro 1000 Einwohner). \n# Issued                   : 2023-03-22T10:11:48\n# Modified                 : 2025-03-20T16:14:21\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00003504.csv')\n\n# Distribution 6\n# Ktzhdistid               : 3520\n# Title                    : Anzahl gesch\u00e4digte Personen nach Tatbestandsgruppe, Alterskategorie und Geschlecht im ganzen Kanton\n# Description              : Anzahl gesch\u00e4digter Personen nach Tatbestandsgruppe (Haupttitel) des StGB seit 2009. Es wird in juristische und nat\u00fcrliche Personen und letztere in die Alterskategorien Minderj\u00e4hrige (<18) und Erwachsene sowie nach Geschlecht unterteilt. Jede Person wird im Total StGB bzw. pro Tatbestandsgruppe nur einfach gez\u00e4hlt. Das Zusammenz\u00e4hlen von Personenzahlen \u00fcber mehrere Tatbestandsgruppen hinweg ist nicht zul\u00e4ssig, da sich eine Person \u00fcber die verschiedenen Einheiten wiederholen kann. Die Anzahl Gesch\u00e4digter l\u00e4sst sich nicht direkt mit der Anzahl Straftaten vergleichen, da bei gewissen Straftaten mehrere Personen gesch\u00e4digt sein k\u00f6nnen. Die Spalte Haupttitel (und Reihenfolge_Haupttitel) weist eine generalisierte Kategorie der wichtigsten StGB-Titel und deren Reihenfolge auf.\n# Issued                   : 2023-03-22T10:12:14\n# Modified                 : 2025-03-20T16:14:42\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00003520.csv')\n\n# Distribution 7\n# Ktzhdistid               : 3600\n# Title                    : Anzahl Straftaten nach Tatbestandsgruppe f\u00fcr ausgew\u00e4hlte Gemeinden und die Stadtkreise der Stadt Z\u00fcrich\n# Description              : Der Datensatz enth\u00e4lt Daten zu Gemeinden, die zum Zeitpunkt der Erstellung des Datensatzes (Oktober 2022) mehr als 10'000 Einwohner aufwiesen. Die Unterscheidung zwischen versuchten und vollendeten Straftaten ist nur im Falle von Straftaten gegen das StGB m\u00f6glich. Die Bev\u00f6lkerungszahlen sind der Einwohnerstatistik des Bundes am Ende des Vorjahres entnommen (bis 2010 ESPOP, ab 2011 STATPOP). Damit wird die H\u00e4ufigkeitszahl berechnet (Anzahl registrierten Straftaten pro 1000 Einwohner). Die Spalte 'Reihenfolge_Titel weist f\u00fcr StGB die Reihenfolge der Titel des 'Zweiten Buches: Besondere Bestimmungen' gem\u00e4ss StGB, sowie f\u00fcr BetmG und AIG die \u00dcberkategorien (und deren Reihenfolge) gem\u00e4ss Auswertungen im PKS Jahresbericht auf. Analog weist die Spalte 'Haupttitel' eine v.a. f\u00fcr die zahlreichen StGB-Titel generalisierte Kategorie der wichtigsten Tatbest\u00e4nde aus. Die unter den jeweiligen Titeln zusammengefassten Tatbest\u00e4nde (nicht aber deren Anzahl pro Gemeinde) finden sich z.B. in folgendem Datensatz in der Spalte 'Artikel': https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00002278.csv\n# Issued                   : 2023-03-22T10:13:26\n# Modified                 : 2025-03-20T16:15:16\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00003600.csv')\n\n# Distribution 8\n# Ktzhdistid               : 5085\n# Title                    : Opfer von Gewaltstraftaten nach Geschlecht, Altersklasse, Gewaltkategorie und Qualifikation\n# Description              : Die Datei enth\u00e4lt die Anzahl von Opfern (d.h. nat\u00fcrlichen gesch\u00e4digten Personen) von Gewaltstraftaten pro Jahr unterteilt nach Geschlecht, Altersklasse, Gewaltkategorie und Qualifikation. Die Spalte Gewaltkategorie enth\u00e4lt die Kategorien \"ausserh\u00e4usliche Gewalt\" (abgek\u00fcrzt: AUSG) und \"h\u00e4usliche Gewalt\" (abgek\u00fcrzt: HG). Ob ein Gewaltdelikt unter die h\u00e4usliche Gewalt f\u00e4llt wird \u00fcber die famili\u00e4re Beziehung zwischen Opfer und T\u00e4ter bestimmt: h\u00e4usliche Gewalt ist dann erf\u00fcllt, wenn es sich beim T\u00e4ter oder der T\u00e4terin um einen aktuellen oder ehemaligen Partner oder eine nahe verwandte Person des Opfers handelt. Bei der ausserh\u00e4uslichen Gewalt besteht diese famili\u00e4re Vorbeziehung zwischen Oper und T\u00e4ter nicht. Pro Jahr und pro Gewaltkategorie wird jedes Opfer nur einmal gez\u00e4hlt, auch wenn es mehrfach pro Jahr zum Opfer wurde. Die Qualifikation beschreibt, ob ein Opfer innerhalb der gesamten Zeitperiode (z.Z. 6 Jahre) auch selbst straff\u00e4llig als T\u00e4ter eines Gewaltdeliktes wurde.\n# Issued                   : 2024-03-01T13:34:46\n# Modified                 : 2025-03-20T16:15:49\n\ndf = get_dataset('https://www.web.statistik.zh.ch/ogd/daten/ressourcen/KTZH_00001202_00005085.csv')\n\n"}, {"cell_type": "markdown", "id": "4ce1f78f", "metadata": {}, "source": ["## Analyze data"]}, {"cell_type": "code", "execution_count": null, "id": "3e3dab86", "metadata": {}, "outputs": [], "source": ["# drop columns that have no values\n", "df.dropna(how='all', axis=1, inplace=True)"]}, {"cell_type": "code", "execution_count": null, "id": "841bd8d2", "metadata": {}, "outputs": [], "source": ["print(f'The dataset has {df.shape[0]:,.0f} rows (observations) and {df.shape[1]:,.0f} columns (variables).')\n", "print(f'There seem to be {df.duplicated().sum()} exact duplicates in the data.')"]}, {"cell_type": "code", "execution_count": null, "id": "75e73c96", "metadata": {}, "outputs": [], "source": ["df.info(memory_usage='deep', verbose=True)"]}, {"cell_type": "code", "execution_count": null, "id": "02f3df4d", "metadata": {}, "outputs": [], "source": ["df.head()"]}, {"cell_type": "code", "execution_count": null, "id": "a0d7d898", "metadata": {}, "outputs": [], "source": ["# display a small random sample transposed in order to see all variables\n", "df.sample(3).T"]}, {"cell_type": "code", "execution_count": null, "id": "786806dd", "metadata": {}, "outputs": [], "source": ["# describe non-numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(exclude='number'))\n", "except:\n", "    print(\"No categorical data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "e744a6b6", "metadata": {}, "outputs": [], "source": ["# describe numerical features\n", "try:\n", "    with pd.option_context('display.float_format', '{:,.2f}'.format):\n", "        display(df.describe(include='number'))\n", "except:\n", "    print(\"No numercial data in dataset.\")"]}, {"cell_type": "code", "execution_count": null, "id": "7a65d95d", "metadata": {}, "outputs": [], "source": ["# check missing values with missingno\n", "# https://github.com/ResidentMario/missingno\n", "import missingno as msno\n", "msno.matrix(df, labels=True, sort='descending');"]}, {"cell_type": "code", "execution_count": null, "id": "fcc604b7", "metadata": {}, "outputs": [], "source": ["# plot a histogram for each numerical feature\n", "try:\n", "    df.hist(bins=25, rwidth=.9)\n", "    plt.tight_layout()\n", "    plt.show()\n", "except:\n", "    print(\"No numercial data to plot.\") "]}, {"cell_type": "code", "execution_count": null, "id": "e13cc6eb", "metadata": {}, "outputs": [], "source": ["# continue your code here..."]}, {"cell_type": "code", "execution_count": null, "id": "18886378", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "59fce071", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "code", "execution_count": null, "id": "f42f25aa", "metadata": {}, "outputs": [], "source": []}, {"cell_type": "markdown", "id": "c6b87d83", "metadata": {}, "source": ["**Contact**: Kantonspolizei des Kantons Z\u00fcrich | Abteilung Kriminalpolizeiliches Datenmanagement | kdm-kla@kapo.zh.ch"]}], "metadata": {"kernelspec": {"display_name": "Python 3 (ipykernel)", "language": "python", "name": "python3"}, "language_info": {"codemirror_mode": {"name": "ipython", "version": 3}, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.8.15"}}, "nbformat": 4, "nbformat_minor": 5}