From 3c27c1c891ea0219b3afe198e6c4626079f1d563 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:40:05 +0100 Subject: [PATCH 01/46] Update 2-owp-06-impactanalyse.md --- .../maatregelen/2-owp-06-impactanalyse.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md index 720e7d20fb..bfc80d80d6 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md @@ -53,7 +53,7 @@ Het risico is afhankelijk van de kans dat een fout voorkomt. Voor risicoanalyse ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" ## Risico From e101024d1049327b60a71f8ca58e161a9c7bd26a Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:41:46 +0100 Subject: [PATCH 02/46] Update 2-owp-06-impactanalyse.md --- .../maatregelen/2-owp-06-impactanalyse.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md index bfc80d80d6..ad46ba61d1 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-06-impactanalyse.md @@ -54,7 +54,7 @@ Het risico is afhankelijk van de kans dat een fout voorkomt. Voor risicoanalyse ## Bijbehorende vereiste(n) ??? expander "Bekijk alle vereisten" - + ## Risico Als er geen goede impactanalyse wordt gemaakt, kunnen risico’s over het hoofd worden gezien. Een niet werkend systeem kan dan een grote impact hebben op mensen of de organisatie. From 654e6c1edec5ba2c32f96e610911aa108670ee0e Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:42:19 +0100 Subject: [PATCH 03/46] Update 2-owp-31-informeer-betrokkenen.md --- .../maatregelen/2-owp-31-informeer-betrokkenen.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-informeer-betrokkenen.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-informeer-betrokkenen.md index 00dcbbb10a..5240431b8e 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-informeer-betrokkenen.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-31-informeer-betrokkenen.md @@ -62,7 +62,8 @@ Overleg regelmatig met betrokkenen en [belanghebbenden](1-pba-04-betrek-belanghe - +??? expander "Bekijk alle vereisten" + ## Risico From 09e99d7238bb7eeb8117245360f253c5143bc013 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:42:45 +0100 Subject: [PATCH 04/46] Update 2-owp-33-toepassen-uitlegbaarheidstechnieken.md --- .../2-owp-33-toepassen-uitlegbaarheidstechnieken.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-33-toepassen-uitlegbaarheidstechnieken.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-33-toepassen-uitlegbaarheidstechnieken.md index f8a3a9bd4e..f15b8e891f 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-33-toepassen-uitlegbaarheidstechnieken.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-33-toepassen-uitlegbaarheidstechnieken.md @@ -46,8 +46,8 @@ Vanuit veiligheidsoverwegingen kan bij specifieke algoritmes besloten worden om Evalueer de uitlegbaarheid van het systeem op functionele, operationele, bruikbaarheids- en veiligheidsvereisten in samenwerking met betrokkenen zoals gebruikers. Valideer of de uitkomst van het algoritme begrijpelijk genoeg is voor gebruiker om hier op een verantwoorde wijze mee te werken. ## Bijbehorende vereiste(n) { data-search-exclude } - - +??? expander "Bekijk alle vereisten" + ## Risico Als er geen rekening wordt gehouden met de uitlegbaarheid van een algoritme binnen een bepaalde context, ontstaat het risico dat de output van het algoritme niet wordt begrepen of verkeerd wordt geïnterpreteerd, wat kan leiden tot onjuist gebruik. From f45a84d1fddab2a00dd7776581a8905a4f0d778b Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:43:04 +0100 Subject: [PATCH 05/46] Update 2-owp-34-technische-interventies-robuustheid.md --- .../2-owp-34-technische-interventies-robuustheid.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-34-technische-interventies-robuustheid.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-34-technische-interventies-robuustheid.md index 9f499210bd..a3068dd2cf 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-34-technische-interventies-robuustheid.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/2-owp-34-technische-interventies-robuustheid.md @@ -43,8 +43,8 @@ Maak in de ontwerpfase de volgende afwegingen: Leg vast welke keuzes er gemaakt zijn en waarom deze keuzes zijn gemaakt. ## Bijbehorende vereiste(n) - - +??? expander "Bekijk alle vereisten" + ## Risico Wanneer robuustheid niet in het ontwerp wordt meegenomen, kan er voor een model worden gekozen waar het niet mogelijk is robuustheid voldoende te waarborgen. From 145ade99caf651591bc7c144bf5c813789521669 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:43:29 +0100 Subject: [PATCH 06/46] Update 4-owk-07-reproduceerbaarheid.md --- .../maatregelen/4-owk-07-reproduceerbaarheid.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-07-reproduceerbaarheid.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-07-reproduceerbaarheid.md index 400ab5232d..6b0b3f5aaf 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-07-reproduceerbaarheid.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-07-reproduceerbaarheid.md @@ -62,7 +62,8 @@ Het is belangrijk om het algoritme te testen op de mate van reproduceerbaarheid. - Indien er gebruik wordt gemaakt van generatieve AI kan er getest worden wat de uitkomsten zijn voor dezelfde of heel vergelijkbare prompts. ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" + ## Risico Wanneer uitkomsten niet herhaald kunnen worden, kan er niet worden gegarandeerd dat vergelijkbare casussen tot vergelijkbare uitkomsten komen. From 5d0364905177cce3268e046b69c97e60ad99afe6 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:43:45 +0100 Subject: [PATCH 07/46] Update 4-owk-08-feedbackloops.md --- .../maatregelen/4-owk-08-feedbackloops.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md index 009918480c..069d1e65ac 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/4-owk-08-feedbackloops.md @@ -59,7 +59,8 @@ Daarnaast kan het ophalen van ervaringen met het algoritme worden gebruikt voor Ten slotte verdient [bias](../../onderwerpen/bias-en-non-discriminatie.md) specifieke aandacht. Houd goed in de gaten hoe het algoritme gebruikmaakt van de kenmerken van gevoelige groepen en wat de effecten van de uitkomst zijn op hun gedrag en de datadistributie. ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" + ## Risico Feedbackloops kunnen invloed hebben op verschillende onderdelen van het systeem waarin een algoritme zit. Als dit onopgemerkt gebeurt kan dit een negatief effect hebben op de accuraatheid en betrouwbaarheid van het algoritme, of ongewenste bias ontwikkelen. From 11ecfd8ee4d9d2920623c7fd410c858efb7ee88b Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:44:08 +0100 Subject: [PATCH 08/46] Update 5-ver-02-evalueer-nauwkeurigheid.md --- .../maatregelen/5-ver-02-evalueer-nauwkeurigheid.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-evalueer-nauwkeurigheid.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-evalueer-nauwkeurigheid.md index 22e95a80e2..72376c8173 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-evalueer-nauwkeurigheid.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-02-evalueer-nauwkeurigheid.md @@ -56,7 +56,8 @@ In verschillende omgevingen en onder verschillende datasets moeten de relevante ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" + ## Risico Een onnauwkeurig algoritme geeft de verkeerde uitkomsten waardoor situaties of mogelijk personen verkeerd beoordeeld kunnen worden. From f6b72e7c5b18168fe6b8058f5547518a52af4243 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:44:22 +0100 Subject: [PATCH 09/46] Update 5-ver-04-representatieve-testomgeving.md --- .../maatregelen/5-ver-04-representatieve-testomgeving.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-04-representatieve-testomgeving.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-04-representatieve-testomgeving.md index c89612a690..e85fbdd42d 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-04-representatieve-testomgeving.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-04-representatieve-testomgeving.md @@ -44,7 +44,8 @@ Voorbeelden om bij te dragen aan een representatieve testomgeving: ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" + ## Risico Als het algoritme niet getest wordt, of getest wordt in niet-representatieve omstandigheden, kan er een onterecht vertrouwen in het algoritme ontstaan. From 5f54e8f7c14cb285ee93451582766633dcabeeb9 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:44:41 +0100 Subject: [PATCH 10/46] Update 5-ver-06-evalueer-betrouwbaarheid.md --- .../maatregelen/5-ver-06-evalueer-betrouwbaarheid.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md index 580442c95e..74874c4aad 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/5-ver-06-evalueer-betrouwbaarheid.md @@ -99,7 +99,8 @@ Zorg dat het algoritme continu wordt [gemonitord](../../levenscyclus/monitoring- ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" + ## Risico Een onbetrouwbaar algoritme kan in een nieuwe of onverwachte situatie de verkeerde uitkomsten geven. From e9ec807500f1e1ae73d6d592b3e9d9fc249b6bd7 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:45:47 +0100 Subject: [PATCH 11/46] Update 6-imp-01-werkinstructies-gebruikers.md --- .../maatregelen/6-imp-01-werkinstructies-gebruikers.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md index 3d2924ff5f..bbb4d9937c 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md @@ -54,7 +54,8 @@ Denk hierbij na over het eventueel bijscholen van medewerkers als het kennisnive ## Bronnen - +??? expander "Bekijk alle vereisten" + - [Toetsingskader Algoritmes Algemene Rekenkamer, 3.07](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - [Ethics Guidelines of Trustworthy AI](https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1) From 1abc5a2a451461d04a0b9d3a335795deaa070614 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:46:56 +0100 Subject: [PATCH 12/46] Update 7-mon-04-evaluatieplan.md --- .../maatregelen/7-mon-04-evaluatieplan.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-04-evaluatieplan.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-04-evaluatieplan.md index b463447663..3d22f69957 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-04-evaluatieplan.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-04-evaluatieplan.md @@ -68,7 +68,8 @@ Betrek bij het opstellen van dit plan een [diverse groep van belanghebbenden](1- ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" + ## Risico Er zullen veranderingen plaatsvinden in de gebruikscontext, de data en in het algoritme zelf (bijv. door bijtrainen). Wanneer niet wordt geëvalueerd tijdens het gebruik is het onbekend of het algoritme nog steeds werkt zoals beoogd en voldoet aan de acceptatiecriteria. From 6e13161a02e0dd81191d661659e04564ddc93295 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 24 Dec 2024 16:47:23 +0100 Subject: [PATCH 13/46] Update 7-mon-07-plan-continue-monitoring.md --- .../maatregelen/7-mon-07-plan-continue-monitoring.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-07-plan-continue-monitoring.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-07-plan-continue-monitoring.md index f438327951..966a8959ee 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-07-plan-continue-monitoring.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-07-plan-continue-monitoring.md @@ -56,7 +56,8 @@ Betrek bij het opstellen van dit plan een [diverse groep van belanghebbenden](1- ## Bijbehorende vereiste(n) - +??? expander "Bekijk alle vereisten" + ## Risico Tijdens dagelijks gebruik wil je continu monitoren of het systeem nog werkt zoals beoogd. Wanneer dit niet gebeurt worden mogelijke fouten en veiligheidsrisico’s niet opgemerkt. From 32a416fe551f3d977241a23ac5b6b59829803e48 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Fri, 27 Dec 2024 12:51:12 +0100 Subject: [PATCH 14/46] Update 6-imp-05-werkinstructies-medewerkers.md Layout fix --- .../maatregelen/6-imp-05-werkinstructies-medewerkers.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md index 47717c6f40..6c2cb2ece3 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md @@ -73,7 +73,7 @@ Bias, discriminatie, de facto automatische besluitvorming. !!! example "Gemeente Utrecht: Handleiding Generatieve AI" - _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is. _ + _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ De gemeente Utrecht heeft in April 2024 een handleiding gepubliceerd voor Generatieve AI (GenAI), bijvoorbeeld ChatGPT. Hierin wordt uitgelegd hoe het systeem gebruikt kan worden, om zo medewerkers uit te leggen welke risico’s vastzitten aan het gebruik van GenAI. Daarnaast wordt benoemd hoe de beslissingen rondom deze handleiding tot stand zijn gekomen. Deze handleiding is breed opgesteld en zal dus voor een specifiek algoritme binnen een organisatie aangepast moeten worden. De opzet voor een handleiding staat al en kan ter inspiratie gebruikt worden voor andere handleidingen. From 6f052442d46d7405721bc8f1f1e7c414a491e95c Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:39:01 +0100 Subject: [PATCH 15/46] Update 6-imp-01-werkinstructies-gebruikers.md --- .../6-imp-01-werkinstructies-gebruikers.md | 12 +++++++++++- 1 file changed, 11 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md index bbb4d9937c..98c8c0ce6a 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md @@ -67,6 +67,16 @@ Het algoritme wordt onjuist gebruikt of verkeerd geïnterpreteerd door gebruiker ## Voorbeeld +!!! example "Gemeente Utrecht: Handleiding Generatieve AI" -Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ + + De gemeente Utrecht heeft in April 2024 een handleiding gepubliceerd voor Generatieve AI (GenAI), bijvoorbeeld ChatGPT. Hierin wordt uitgelegd hoe het systeem gebruikt kan worden, om zo medewerkers uit te leggen welke risico’s vastzitten aan het gebruik van GenAI. Daarnaast wordt benoemd hoe de beslissingen rondom deze handleiding tot stand zijn gekomen. + + Deze handleiding is breed opgesteld en zal dus voor een specifiek algoritme binnen een organisatie aangepast moeten worden. De opzet voor een handleiding staat al en kan ter inspiratie gebruikt worden voor andere handleidingen. + + + Bron: [Handleiding Generatieve AI - Gemeente Utrecht](https://stadszaken.nl/uploads/docs/Handleiding-Generatieve-AI-Gemeente-Utrecht.pdf) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) From ada28367a3f26671ee6b93ae6c6b2b33a85e0f30 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:39:15 +0100 Subject: [PATCH 16/46] Update 6-imp-05-werkinstructies-medewerkers.md --- .../maatregelen/6-imp-05-werkinstructies-medewerkers.md | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md index 6c2cb2ece3..2a69131e3b 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-05-werkinstructies-medewerkers.md @@ -74,6 +74,7 @@ Bias, discriminatie, de facto automatische besluitvorming. !!! example "Gemeente Utrecht: Handleiding Generatieve AI" _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ + De gemeente Utrecht heeft in April 2024 een handleiding gepubliceerd voor Generatieve AI (GenAI), bijvoorbeeld ChatGPT. Hierin wordt uitgelegd hoe het systeem gebruikt kan worden, om zo medewerkers uit te leggen welke risico’s vastzitten aan het gebruik van GenAI. Daarnaast wordt benoemd hoe de beslissingen rondom deze handleiding tot stand zijn gekomen. Deze handleiding is breed opgesteld en zal dus voor een specifiek algoritme binnen een organisatie aangepast moeten worden. De opzet voor een handleiding staat al en kan ter inspiratie gebruikt worden voor andere handleidingen. From e44dba72a19b61eda464846ad82247b1abde5577 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:42:53 +0100 Subject: [PATCH 17/46] Update 6-imp-02-aselecte-steekproeven.md --- .../6-imp-02-aselecte-steekproeven.md | 24 +++++++++++++++++-- 1 file changed, 22 insertions(+), 2 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md index fa5be5a921..cf0c22ff5e 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md @@ -84,8 +84,28 @@ Deze belangenenafweging moet per context gemaakt worden. ## Voorbeeld -In het onderzoek van zowel [Algorithm Audit](https://algorithmaudit.eu/nl/algoprudence/cases/aa202401_preventing-prejudice/) als [PricewaterhouseCoopers](https://www.rijksoverheid.nl/documenten/rapporten/2024/03/01/eindrapport-pwc-rapportage-onderzoek-misbruik-uitwonendenbeurs) naar de Controle Uitwonendenbeurs is het belang van de aselecte steekproef duidelijk geworden. +!!! example "Algorithm Audit: analyse Controle Uitwonendenbeurs" -Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + Algorithm Audit heeft de risicoprofilering in het Controle Uitwonendenbeurs-proces (CUB-proces) onderzocht op verzoek van Dienst Uitvoering Onderwijs (DUO). DUO heeft tussen 2010 en 2023 gebruik gemaakt van een risicoprofiel voor het tegengaan van onrechtmatig gebruik van de uitwonendenbeurs. Dit is in 2023 in opspraak geraakt en DUO heeft verzocht of Algorithm Audit hier verder onderzoek naar te doen. + Tijdens de kwantitatieve analyse heeft Algorithm Audit gewerkt aan de hand van aselecte steekproeven. Aan de hand van deze data hebben ze verschillende deelvragen beantwoord en blijkt dat tussen een aantal selectiecriteria onvoldoende statistisch verband gebleken is. Doormiddel van de aselecte steekproef blijkt hierdoor dat de selectie(criteria) aangepast moet(en) worden. + Bron: [Algorithm Audit: analyse Controle Uitwonendenbeurs](https://algorithmaudit.eu/nl/algoprudence/cases/aa202401_preventing-prejudice/) + + + + !!! example "Rijksdienst voor Ondernemend Nederland: Risicocontrole Subsidieaanvragen" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + De Rijksdienst voor Ondernemend Nederland (RVO) maakt gebruik van een algoritme bij het behandelen van subsidieaanvragen. Hierbij wordt bij iedere aanvraag een risico-indicatie gemaakt op basis van een aantal regels. Als er volgens het algoritme geen risico’s zijn wordt de aanvraag automatisch aangemaakt, zo niet wordt de aanvraag nog beoordeeld door een adviseur. + + Daarnaast wordt het algoritme gecontroleerd aan de hand van een steekproef. Op deze manier wordt getest of het algoritme tot de juiste conclusie is gekomen of aangescherpt moet worden. Mocht door de steekproef blijken dat het algoritme niet goed werkt geeft de RVO ook aan dat de keuze gemaakt kan worden om het algoritme niet te gebruiken. Op deze manier wordt aan de hand van steekproeven gecontroleerd dat het algoritme naar behoren werkt. + + Bron: [Rijksdienst voor Ondernemend Nederland: Risicocontrole Subsidieaanvragen](https://algoritmes.overheid.nl/nl/algoritme/risicocontrole-sde-subsidieaanvragen-rijksdienst-voor-ondernemend-nederland/51892728#verantwoordGebruik) + + + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) From 74280a58940bf6b7b26e9727f5ab91ddbec39e56 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:47:08 +0100 Subject: [PATCH 18/46] Update 6-imp-03-menselijke-tussenkomst.md --- .../6-imp-03-menselijke-tussenkomst.md | 19 ++++++++++++++++++- 1 file changed, 18 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md index d42d2738a2..adf452f342 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md @@ -93,7 +93,24 @@ Het niet inrichten van passende menselijke controle leidt tot onverantwoorde inz ## Voorbeeld -[HvJEU december 2023, ECLI:EU:C:2023:957 (SCHUFA Scoring)](https://curia.europa.eu/juris/document/document.jsf?text=&docid=280426&pageIndex=0&doclang=NL&mode=lst&dir=&occ=first&part=1&cid=7436066) +!!! example "Hof van Justitie van de Europese Unie: Prejudiciële verwijzing" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + In 2021 heeft een burger SCHUFA (een Duits bedrijf wat kredietwaardigheid informatie deelt met derden) aangeklaagd naar aanleiding van een niet ingewilligd verzoek tot inzage en wissing van diens persoonsgegevens. De reden hiervoor kwam door een afwijzing van ondersteuning op basis van geautomatiseerde individuele besluitvorming. Zij maakten geen gebruik van betekenisvolle menselijke controle en dus is SCHUFA verantwoordelijk gehouden. + + Bron: [HvJEU december 2023, ECLI:EU:C:2023:957 (SCHUFA Scoring)](https://eur-lex.europa.eu/legal-content/nl/TXT/?uri=CELEX:62021CJ0634) + + +!!! example "Rijksdienst voor Ondernemend Nederland: Risicocontrole Subsidieaanvragen" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + De Rijksdienst voor Ondernemend Nederland (RVO) maakt gebruik van een algoritme bij het behandelen van subsidieaanvragen. Hierbij wordt bij iedere aanvraag een risico-indicatie gemaakt op basis van een aantal regels. Als er volgens het algoritme geen risico’s zijn wordt de aanvraag automatisch aangemaakt, zo niet wordt de aanvraag nog beoordeeld door een adviseur. + + Daarnaast worden aanvragen met ingewikkelde technieken of boven een bepaald bedrag altijd door een adviseur beoordeeld. Op deze manier is er sprake van betekenisvolle menselijke controle. + + Bron: [Rijksdienst voor Ondernemend Nederland: Risicocontrole Subsidieaanvragen](https://algoritmes.overheid.nl/nl/algoritme/risicocontrole-sde-subsidieaanvragen-rijksdienst-voor-ondernemend-nederland/51892728#verantwoordGebruik) From 82dcb7be518d9ef4452759a50c05556e898b0aa0 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:49:37 +0100 Subject: [PATCH 19/46] Update 6-imp-04-publiceren-algoritmeregister.md --- .../6-imp-04-publiceren-algoritmeregister.md | 12 +++++++++--- 1 file changed, 9 insertions(+), 3 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md index 895d1ee44f..30960bf10b 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md @@ -51,6 +51,12 @@ Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt met ## Voorbeeld -- [Gemeente Groningen, Algoritmeregister: Eerste Hulp bij Geldzaken](https://algoritmes.overheid.nl/nl/algoritme/eerste-hulp-bij-geldzaken-gemeente-groningen/55597555) -- [Gemeente Amsterdam, Algoritemregister: Blurring as a Service](https://algoritmeregister.amsterdam.nl/ai-system/blurring-as-a-service/1132/) -- [Juryrapport Best Beschreven Algoritme](https://algoritmes.pleio.nl/attachment/entity/ea60f239-dcaf-4eb0-9661-c2e7ffb633ea) +!!! example "Jury Rapport: Best Beschreven Algoritme" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + In december 2023 is het juryrapport van Best Beschreven Algoritme uitgekomen binnen het Algoritme Register. Zij hebben van de 13 genomineerde algoritmes een top 4 opgesteld waar uiteindelijk een winnaar uitgekomen is; Gemeente Groningen: Eerste Hulp bij Geldzaken. + + Het algoritme heeft een heldere omschrijving rondom de technische en ethische aspecten. Daarnaast geeft het een volledig beeld voor burgers over de inzet en het gebruik van het algoritme. Dit wordt gedaan aan de hand van verwijzingen naar externe pagina’s voor meer uitleg. + + Bron: [Jury Rapport Best Beschreven Algoritme](https://aienalgoritmes.pleio.nl/attachment/entity/ea60f239-dcaf-4eb0-9661-c2e7ffb633ea) From ea14d82b7811f2df99dc8ebab0a2d5413bd64062 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:50:08 +0100 Subject: [PATCH 20/46] Update 6-imp-03-menselijke-tussenkomst.md --- .../6-imp-03-menselijke-tussenkomst.md | 32 ++++++++++--------- 1 file changed, 17 insertions(+), 15 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md index adf452f342..fa09e39ea6 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md @@ -75,21 +75,6 @@ Het niet inrichten van passende menselijke controle leidt tot onverantwoorde inz ??? expander "Bekijk alle vereisten" -## Bronnen - -- [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) -- [Menselijke tussenkomst | Algoritmes | Algemene Rekenkamer](https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader/ethiek/menselijke-tussenkomst) -- [Onderzoekskader Algoritmes Auditdienst Rijk, SV.5, SV.6](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) -- [Advies over geautomatiseerde selectietechniek Pels Rijcken, p.9](https://open.overheid.nl/documenten/6b5b5d5b-fdc1-4333-a11e-f89d3627a0f5/file) -- [Recht op een menselijke blik bij besluiten | Autoriteit Persoonsgegevens](https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/privacyrechten-avg/recht-op-een-menselijke-blik-bij-besluiten#:~:text=Reactie%20op%20verzoek-,Geautomatiseerd%20besluit,noemen%20dit%20een%20geautomatiseerd%20besluit.) -- Kamerstukken IT 2017-2018, 34 851, nr. (MvT UAVG), p. 120-121 -- [Ethics guidelines for trustworthy AI | Shaping Europe’s digital future](https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai), deel (64) -- ["Towards Digital Life: Een toekomstvisie op AI anno 2032" - TNO, 2022](https://publications.tno.nl/publication/34640024/a05DMs/TNO-2022-visiestuk.pdf) -- [Algoritmes afwegen | Rathenau Instituut](https://www.rathenau.nl/nl/digitalisering/algoritmes-afwegen) -- [Managing supplier delivery reliability risk under limited information: Foundations for a human-in-the-loop DSS - ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0167923612002886) -- [Human control of AI systems: from supervision to teaming | AI and Ethics (springer.com)](https://link.springer.com/article/10.1007/s43681-024-00489-4) -- [Zijn er beperkingen op het gebruik van geautomatiseerde besluitvorming? - Europese Commissie](https://commission.europa.eu/law/law-topic/data-protection/rules-business-and-organisations/dealing-citizens/are-there-restrictions-use-automated-decision-making_nl#:~:text=Example-,Antwoord,is%20of%20hen%20aanzienlijk%20be%C3%AFnvloedt.) - ## Voorbeeld @@ -112,5 +97,22 @@ Het niet inrichten van passende menselijke controle leidt tot onverantwoorde inz Bron: [Rijksdienst voor Ondernemend Nederland: Risicocontrole Subsidieaanvragen](https://algoritmes.overheid.nl/nl/algoritme/risicocontrole-sde-subsidieaanvragen-rijksdienst-voor-ondernemend-nederland/51892728#verantwoordGebruik) +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl)   + +## Bronnen + +- [Toetsingskader Algoritmes Algemene Rekenkamer, 2.01](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) +- [Menselijke tussenkomst | Algoritmes | Algemene Rekenkamer](https://www.rekenkamer.nl/onderwerpen/algoritmes/toetsingskader/ethiek/menselijke-tussenkomst) +- [Onderzoekskader Algoritmes Auditdienst Rijk, SV.5, SV.6](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) +- [Advies over geautomatiseerde selectietechniek Pels Rijcken, p.9](https://open.overheid.nl/documenten/6b5b5d5b-fdc1-4333-a11e-f89d3627a0f5/file) +- [Recht op een menselijke blik bij besluiten | Autoriteit Persoonsgegevens](https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/privacyrechten-avg/recht-op-een-menselijke-blik-bij-besluiten#:~:text=Reactie%20op%20verzoek-,Geautomatiseerd%20besluit,noemen%20dit%20een%20geautomatiseerd%20besluit.) +- Kamerstukken IT 2017-2018, 34 851, nr. (MvT UAVG), p. 120-121 +- [Ethics guidelines for trustworthy AI | Shaping Europe’s digital future](https://digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai), deel (64) +- ["Towards Digital Life: Een toekomstvisie op AI anno 2032" - TNO, 2022](https://publications.tno.nl/publication/34640024/a05DMs/TNO-2022-visiestuk.pdf) +- [Algoritmes afwegen | Rathenau Instituut](https://www.rathenau.nl/nl/digitalisering/algoritmes-afwegen) +- [Managing supplier delivery reliability risk under limited information: Foundations for a human-in-the-loop DSS - ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0167923612002886) +- [Human control of AI systems: from supervision to teaming | AI and Ethics (springer.com)](https://link.springer.com/article/10.1007/s43681-024-00489-4) +- [Zijn er beperkingen op het gebruik van geautomatiseerde besluitvorming? - Europese Commissie](https://commission.europa.eu/law/law-topic/data-protection/rules-business-and-organisations/dealing-citizens/are-there-restrictions-use-automated-decision-making_nl#:~:text=Example-,Antwoord,is%20of%20hen%20aanzienlijk%20be%C3%AFnvloedt.) + From b706dfe4b54e47fabd52d4be03436059abe2fcdd Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:50:32 +0100 Subject: [PATCH 21/46] Update 6-imp-02-aselecte-steekproeven.md --- .../maatregelen/6-imp-02-aselecte-steekproeven.md | 14 +++++++------- 1 file changed, 7 insertions(+), 7 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md index cf0c22ff5e..06db805bb0 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-02-aselecte-steekproeven.md @@ -70,11 +70,6 @@ Deze belangenenafweging moet per context gemaakt worden. ??? expander "Bekijk alle vereisten" -## Bronnen - - -[Rapportage Algoritmerisico's Nederland voorjaar 2024 (pp. 36-41)](https://www.autoriteitpersoonsgegevens.nl/documenten/rapportage-ai-algoritmerisicos-nederland-ran-voorjaar-2024) - ## Risico @@ -106,6 +101,11 @@ Deze belangenenafweging moet per context gemaakt worden. Bron: [Rijksdienst voor Ondernemend Nederland: Risicocontrole Subsidieaanvragen](https://algoritmes.overheid.nl/nl/algoritme/risicocontrole-sde-subsidieaanvragen-rijksdienst-voor-ondernemend-nederland/51892728#verantwoordGebruik) - - Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + + +## Bronnen + + +[Rapportage Algoritmerisico's Nederland voorjaar 2024 (pp. 36-41)](https://www.autoriteitpersoonsgegevens.nl/documenten/rapportage-ai-algoritmerisicos-nederland-ran-voorjaar-2024) From 8184faff974aae70c3429256a762181f3377494c Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:51:42 +0100 Subject: [PATCH 22/46] Update 6-imp-01-werkinstructies-gebruikers.md --- .../6-imp-01-werkinstructies-gebruikers.md | 11 +++++------ 1 file changed, 5 insertions(+), 6 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md index 98c8c0ce6a..f819a892b4 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-01-werkinstructies-gebruikers.md @@ -51,14 +51,9 @@ Denk hierbij na over het eventueel bijscholen van medewerkers als het kennisnive ## Bijbehorende vereiste(n) { data-search-exclude } - - -## Bronnen ??? expander "Bekijk alle vereisten" - + -- [Toetsingskader Algoritmes Algemene Rekenkamer, 3.07](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) -- [Ethics Guidelines of Trustworthy AI](https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1) ## Risico @@ -80,3 +75,7 @@ Het algoritme wordt onjuist gebruikt of verkeerd geïnterpreteerd door gebruiker Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + +## Bronnen +- [Toetsingskader Algoritmes Algemene Rekenkamer, 3.07](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) +- [Ethics Guidelines of Trustworthy AI](https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1) From ab0e7fce0c40fe162390d49516a65e25a03c73d8 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:53:32 +0100 Subject: [PATCH 23/46] Update 6-imp-06-vermelding-in-privacyverklaring.md --- .../6-imp-06-vermelding-in-privacyverklaring.md | 7 ++++--- 1 file changed, 4 insertions(+), 3 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md index a100c1987e..a046200267 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md @@ -57,13 +57,14 @@ Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt met ## Bronnen - [Onderzoekskader Algoritmes Auditdienst Rijk, PRI.8](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) -- [Autoriteit Persoonsgegevens Algoritmekader](https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/privacyrechten-avg/recht-op-informatie) -- [Toetsingskader Algoritmes Algemene Rekenkamer, 3.12](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) +- [Autoriteit Persoonsgegevens](https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/privacyrechten-avg/recht-op-informatie) +- [Toetsingskader Algoritmes Algemene Rekenkamer, 3.12](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) +- Algoritmekader ## Voorbeeld !!! example "UWV: Privacyverklaring" - + _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ In de algemene privacyverklaring van het UWV staat per situatie wat voor persoonsgegevens kunnen worden verwerkt. Daarnaast staat in heldere taal uitgelegd waarvoor de verwerking van persoonsgegevens binnen UWV in het algemeen nodig is. Daarnaast wordt het “Geautomatiseerd nemen van besluiten en profilering” toegelicht. From 687adfece6d36ab957efa674830324b5b5e730e0 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:54:01 +0100 Subject: [PATCH 24/46] Update 6-imp-07-klacht-bezwaar-beroep.md --- .../maatregelen/6-imp-07-klacht-bezwaar-beroep.md | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md index 5f8eef08f0..4efdee35e5 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-07-klacht-bezwaar-beroep.md @@ -42,6 +42,7 @@ Richt een proces in zodat burgers of andere belanghebbenden een klacht, bezwaar !!! example "UWV: Klacht, melding en bezwaar" _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ + Het UWV heeft een losse pagina met uitleg over wanneer het beste een klacht, melding of bezwaar gemaakt kan worden. Hieronder valt bijvoorbeeld ook een klacht over de manier waarop het UWV een zaak behandelt. In deze uitleg worden verschillende manieren aangeboden om een klacht aan te bieden en hoe deze behandeld wordt. Daarnaast wordt gemonitord wat voor klachten binnen komen en zijn deze publiekelijk beschikbaar. From d903e9eda889bffb7fd878ebad3449df1b87719c Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 14:58:27 +0100 Subject: [PATCH 25/46] Update 6-imp-08-vermelding-in-verwerkingsregister.md --- .../6-imp-08-vermelding-in-verwerkingsregister.md | 13 ++++++++++++- 1 file changed, 12 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-08-vermelding-in-verwerkingsregister.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-08-vermelding-in-verwerkingsregister.md index 69b8c42a27..107fe0afb7 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-08-vermelding-in-verwerkingsregister.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-08-vermelding-in-verwerkingsregister.md @@ -45,4 +45,15 @@ Betrokkenen en de interne organisatie zijn niet op de hoogte welke persoonsgegev - [Toetsingskader Algoritmes Algemene Rekenkamer, 3.04](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) ## Voorbeeld -- [Blurring as a Service, Verwerkingsregister gemeente Amsterdam](https://assets.amsterdam.nl/publish/pages/1045112/verwerkingsregister_avg_april_2024.pdf) + +!!! example "Gemeente Amsterdam: Blurring as a Service" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + De Gemeente Amsterdam maakt gebruik van een algoritme waarmee mensen op straat beter geanonimiseerd kunnen worden; Blurring as a Service. Hierbij worden persoonsgegevens zoals gezicht en andere lichaamskenmerken (biometrische persoonsgegevens) vervaagd of ‘geblurd’. + + Het verwerken van deze gegevens is opgenomen in het volledige verwerkingsregister en is te vinden op pagina 239 onder het kopje “3.1.4. Blurring as a Service”. + + Bron: [Het verwerkingsregister AVG - Gemeente Amsterdam](https://www.amsterdam.nl/privacy/verwerkingsregister/verwerkingsregister-avg/) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) From 0d210978ec023cd4fb7ca3ed6a11605198606047 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:00:18 +0100 Subject: [PATCH 26/46] Update 6-imp-09-politiek-bestuurlijk-besluit.md --- .../6-imp-09-politiek-bestuurlijk-besluit.md | 13 ++++++++++++- 1 file changed, 12 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md index 4260d482d0..40f6cc0244 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md @@ -46,4 +46,15 @@ De ambtelijke organisatie maakt politieke-bestuurlijke afwegingen en beslissinge ## Voorbeeld -[Besluit College van Burgemeester en Wethouders Gemeente Amsterdam](https://www.amsterdam.nl/bestuur-organisatie/college/nieuws/nieuws-24-januari-2024/) +!!! example "Gemeente Amsterdam: College van burgemeester en wethouders" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + Het college van burgemeester en wethouders (CBW) heeft in Januari 2024 een openbaar besluit gemaakt rondom het algoritme Slimme Check. Dit algoritme was bedoeld om de afdeling Handhaving te ondersteunen bij het inschatten van de onderzoekswaardigheid van aanvragen levensonderhoud. Het algoritme maakt een voorselectie van inkomende aanvragen en of deze eerst onderzocht moeten worden of in behandeling genomen kunnen worden. Bij een analyse van de pilot is de conclusie getrokken dat het model niet geïmplementeerd kon worden vanwege verschillende redenen. Er zouden meerdere veranderingen gedaan moeten worden om Slimme Check verder door te ontwikkelen. + + Het CBW heeft aan de hand van deze eind evaluatie bepaald dat Slimme Check niet verder ontwikkeld wordt. Dit is gepubliceerd op de website van Gemeente Amsterdam naast besluiten en nieuws rondom andere zaken. + + Bron: [Nieuws uit B en W 24 januari 2024 - Gemeente Amsterdam](https://www.amsterdam.nl/bestuur-organisatie/college/nieuws/nieuws-24-januari-2024/) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + From edf8463420907266a4897a5cfd76c8c17294d135 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:00:43 +0100 Subject: [PATCH 27/46] Update 6-imp-11-proces-privacyrechten.md --- .../maatregelen/6-imp-11-proces-privacyrechten.md | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-11-proces-privacyrechten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-11-proces-privacyrechten.md index d23fb72d41..d6e0a55055 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-11-proces-privacyrechten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-11-proces-privacyrechten.md @@ -48,6 +48,7 @@ Betrokkenen hebben geen controle over hun persoonsgegevens doordat ze geen beroe !!! example "Ministerie van Algemene Zaken: Privacyverzoek" _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ + Het Ministerie van Algemene Zaken (AZ) heeft een online formulier waar burgers een privacyverzoek kunnen doen. Dit kan zowel via post als digitaal. Op deze pagina staat ook uitgelegd welke gegevens nodig zijn voor een (correcte) aanvraag. Daarnaast wordt vermeld hoe de gegevens verwerkt worden en hoe lang deze bewaard blijven voor de aanvraag. Als laatste wordt ook aangegeven bij wie men terecht kan voor vragen of klachten. Bron: [Formulier Privacyverzoek - Ministerie van Algemene Zaken](https://www.rijksoverheid.nl/ministeries/ministerie-van-algemene-zaken/privacy/privacy-verzoekenformulier-az) From c102381b692b4d6bebcfaff0d4152fd40f10ffe9 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:12:38 +0100 Subject: [PATCH 28/46] Update 3-dat-01-datakwaliteit.md --- .../maatregelen/3-dat-01-datakwaliteit.md | 12 +++++++++++- 1 file changed, 11 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md index 1bdaa9f398..060d2cb236 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md @@ -71,5 +71,15 @@ Stel vast of de gebruikte data van voldoende kwaliteit is voor de beoogde toepas ## Voorbeeld -Heb jij een goed voorbeeld? Laat het ons weten! +!!! example "Voorbeeld: Gemeente Rotterdam - Avola" + + _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ + + In de Gemeente Rotterdam wordt gebruik gemaakt van een ondersteunend advies algoritme voor een toetsing voor recht op een uitkering, Avola. Dit algoritme maakt gebruik van beslisregels gebaseerd op wet- en regelgeving waarmee een advies aan een consulent van Werk en Inkomen gegeven wordt. De data waarop dit advies gebaseerd is, wordt gedeeltelijk door de burger zelf aangeleverd. + + In het rapport van de Rekenkamer Rotterdam “Kleur bekennen” wordt aangegeven dat er bij het gebruik van Avola ook aandacht is voor de kwaliteit van de gebruikte data. Deze data wordt tijdens het aanvraagproces gecontroleerd door zowel de burger als consulent. Hierbij wordt op onjuistheden getoetst voordat de data gebruikt wordt. Dit zou verder verbeterd kunnen worden door duidelijk aan te geven hoe de gegevens worden gecontroleerd. + + Bron: [Kleur bekennen](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) From f50a6f5115b989e09c2ebc21bafdbf23ecc974d9 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:13:05 +0100 Subject: [PATCH 29/46] Update 3-dat-01-datakwaliteit.md --- .../maatregelen/3-dat-01-datakwaliteit.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md index 060d2cb236..fc41343dca 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/3-dat-01-datakwaliteit.md @@ -73,7 +73,7 @@ Stel vast of de gebruikte data van voldoende kwaliteit is voor de beoogde toepas !!! example "Voorbeeld: Gemeente Rotterdam - Avola" - _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ In de Gemeente Rotterdam wordt gebruik gemaakt van een ondersteunend advies algoritme voor een toetsing voor recht op een uitkering, Avola. Dit algoritme maakt gebruik van beslisregels gebaseerd op wet- en regelgeving waarmee een advies aan een consulent van Werk en Inkomen gegeven wordt. De data waarop dit advies gebaseerd is, wordt gedeeltelijk door de burger zelf aangeleverd. From 488b980790bb604412671112609d87e985e5a79c Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:24:25 +0100 Subject: [PATCH 30/46] Update 7-mon-01-backups-maken.md --- .../maatregelen/7-mon-01-backups-maken.md | 19 +++++++++++++++---- 1 file changed, 15 insertions(+), 4 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md index 9b40d735b4..e22d6495c2 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md @@ -35,12 +35,23 @@ Als er geen regelmatige back-ups worden gemaakt en de restore-procedure niet reg ??? expander "Bekijk alle vereisten" +## Voorbeeld + +!!! example "Voorbeeld: Informatie Beveligingsdienst - Handreiking back-up en herstel" + + _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ + + De informatie beveiligingsdienst van de Vereniging Nederlandse gemeenten heeft een handreiking back-up en herstel ontwikkeld. Hierin staat uitleg over de wetgeving rondom back-ups en het herstellen van back-ups. + + Aan het einde van deze handreiking staat ook een voorbeeld voor beleid voor gemeentes. Hierin staan al een aantal uitgangspunten die de gemeente alleen hoeft te kopiëren en te ondertekenen. + + Bron: [Producten - Informatiebeveiligingsdienst](https://www.informatiebeveiligingsdienst.nl/product/back-up-en-recovery-gemeente/) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + ## Bronnen - [Baseline Informatiebeveiliging Overheid, 12.3.1.1, 12.3.1.4, 12.3.1.5.](https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/cybersecurity/bio-en-ensia/baseline-informatiebeveiliging-overheid/) - [Onderzoekskader Algoritmes Auditdienst Rijk, IB.26](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) - [Toetsingskader Algoritmes Algemene Rekenkamer, 4.08](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - -## Voorbeeld - -Heb jij een goed voorbeeld? Laat het ons weten! From d931ebeea1a8c6d892606409426cb7521f33e5dc Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:25:43 +0100 Subject: [PATCH 31/46] Update 7-mon-02-beveiliging-algoritme.md --- .../7-mon-02-beveiliging-algoritme.md | 19 +++++++++++++++---- 1 file changed, 15 insertions(+), 4 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md index feb9776ef1..f2559b4eec 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md @@ -49,13 +49,24 @@ Oneigenlijke toegang van buitenaf kan plaatsvinden via zwakheden in het systeem. ??? expander "Bekijk alle vereisten" + +## Voorbeeld + +!!! example "Voorbeeld: Nationaal Cyber Security Centrum - Richtlijnen veilig software ontwikkelen" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + Het Nationaal Cyber Security Centrum van het ministerie van Justitie en Veiligheid heeft een publicatie over het ontwikkelen van veilige software. Hierin staat beschreven hoe op beleidsmatig en beheersingsniveau beveiligingsrichtlijnen toegepast kunnen worden. Daarnaast wordt het uitvoeringsdomein (voor implementatie) ook benoemd, maar wordt deze opgesplitst in webapplicaties en mobiele apps. + + Deze beleids- en beheersingsrichtlijnen worden uitgewerkt per onderdeel om zo een duidelijk beeld te geven van hoe dit toegepast kan worden. De exacte toepassing zal verschillen per organisatie, dit document dient als basis. + + Bron: [Beleids- en beheersingsrichtlijnen voor de ontwikkeling van veilige software]( https://www.ncsc.nl/documenten/publicaties/2019/mei/01/beleids--en-beheersingsrichtlijnen-voor-de-ontwikkeling-van-veilige-software) +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + ## Bronnen - [Baseline Informatiebeveiliging Overheid](https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/cybersecurity/bio-en-ensia/baseline-informatiebeveiliging-overheid/) - [Onderzoekskader Algoritmes Auditdienst Rijk, IB.18 t/m IB.25](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) - [NCSC Handreiking voor implementatie van detectieoplossingen](https://www.ncsc.nl/documenten/publicaties/2019/mei/01/handreiking-voor-implementatie-van-detectie-oplossingen) - [Handleiding Quickscan Information Security](https://www.cip-overheid.nl/media/xhxglzi0/20180220-quickscan-bir2017.pdf) - -## Voorbeeld - -Heb jij een goed voorbeeld? Laat het ons weten! From ff34f50c7e3d0c5b0233eb8f369d7eaf0d2f5b3b Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:27:45 +0100 Subject: [PATCH 32/46] Update 7-mon-03-informatiebeveiligingsincidenten.md --- ...mon-03-informatiebeveiligingsincidenten.md | 21 +++++++++++++++---- 1 file changed, 17 insertions(+), 4 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md index 7212af339e..624e43df4f 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md @@ -38,12 +38,25 @@ Te late reactie op incidenten kan ervoor zorgen dat de BIV (beschikbaarheid, int ??? expander "Bekijk alle vereisten" + + +## Voorbeeld + +!!! example "Voorbeeld: Ministerie van Economische Zaken - Uitwijk- en herstelplan" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + Het ministerie van Economische zaken heeft een template voor een Disaster Recovery Plan (DRP) opgesteld. Aan de hand van dit document kunnen duidelijke handelingen en verantwoordelijkheden opgeschreven worden wanneer een algoritme stop gezet moet worden. + + Dit DRP is vrij algemeen en heeft geen specificaties voor algoritmes in het template staan. Dit zal dus verder uitgewerkt moeten worden, maar dit DRP kan als basis dienen voor het verder uitwerken. + + Bron: [Uitwijk- en herstelplan](https://www.digitaltrustcenter.nl/informatie-advies/uitwijk-en-herstelplan) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + ## Bronnen - [Baseline Informatiebeveiliging Overheid, BIO 12.3.1.1, 12.3.1.4, 12.3.1.5](https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/cybersecurity/bio-en-ensia/baseline-informatiebeveiliging-overheid/) - [Onderzoekskader Algoritmes Auditdienst Rijk, IB.30](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) - [Toetsingskader Algoritmes Algemene Rekenkamer, 4.06](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - -## Voorbeeld - -Heb jij een goed voorbeeld? Laat het ons weten! From e109d599f5d933895bc4d979416bfc152d3e3d37 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:29:18 +0100 Subject: [PATCH 33/46] Update 7-mon-03-informatiebeveiligingsincidenten.md --- ...-mon-03-informatiebeveiligingsincidenten.md | 18 ++++++++++++++---- 1 file changed, 14 insertions(+), 4 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md index 624e43df4f..5412aa1e33 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md @@ -45,12 +45,22 @@ Te late reactie op incidenten kan ervoor zorgen dat de BIV (beschikbaarheid, int !!! example "Voorbeeld: Ministerie van Economische Zaken - Uitwijk- en herstelplan" _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + Het ministerie van Economische zaken heeft een template voor een Disaster Recovery Plan (DRP) opgesteld. Aan de hand van dit document kunnen duidelijke handelingen en verantwoordelijkheden opgeschreven worden wanneer een algoritme stop gezet moet worden. + + Dit DRP is vrij algemeen en heeft geen specificaties voor algoritmes in het template staan. Dit zal dus verder uitgewerkt moeten worden, maar dit DRP kan als basis dienen voor het verder uitwerken. + + Bron: [Uitwijk- en herstelplan](https://www.digitaltrustcenter.nl/informatie-advies/uitwijk-en-herstelplan) - Het ministerie van Economische zaken heeft een template voor een Disaster Recovery Plan (DRP) opgesteld. Aan de hand van dit document kunnen duidelijke handelingen en verantwoordelijkheden opgeschreven worden wanneer een algoritme stop gezet moet worden. +!!! example "Voorbeeld: Netwerk Informatiebeveiliging en Privacy - Incident Management" - Dit DRP is vrij algemeen en heeft geen specificaties voor algoritmes in het template staan. Dit zal dus verder uitgewerkt moeten worden, maar dit DRP kan als basis dienen voor het verder uitwerken. - - Bron: [Uitwijk- en herstelplan](https://www.digitaltrustcenter.nl/informatie-advies/uitwijk-en-herstelplan) + _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ + + Het Netwerk Informatiebeveiliging en Privacy (IBP) voor primair en voortgezet onderwijs heeft een template voor incidentmanagementbeleid, het incidentmanagementproces en een beveiligingsincident stappenplan & logboek. In het proces template staat onder andere een procesflow, een beschrijving van alle processtappen en een communicatie plan. + + Deze documenten zijn specifiek voor primair en voortgezet onderwijs maar zijn gemakkelijk aan te passen. Dit zijn met name meldingen zijn naar het IBP zijn die voor andere organisaties niet van toepassing zijn. + + Bron: [Incidentmanagement](https://aanpakibp.kennisnet.nl/incidentmanagement/#tools-en-voorbeelddocumenten) Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) From 3bb7dc1e73a5052ed39ccad5e4e0978de4707960 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:39:07 +0100 Subject: [PATCH 34/46] Update 0-org-02-beleid-opstellen-inzet-algoritmes.md --- ...org-02-beleid-opstellen-inzet-algoritmes.md | 18 ++++++++++++++---- 1 file changed, 14 insertions(+), 4 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md index e38de83b73..4187910690 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md @@ -46,7 +46,6 @@ Een duidelijk beleid over de inzet van algoritmes helpt organisaties te voldoen - Dit beleidsdocument is beschikbaar en toegankelijk voor geïnteresseerden. -## Bronnen ## Bijbehorende vereiste(n) { data-search-exclude } @@ -59,8 +58,19 @@ Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algori ## Voorbeelden -- [Controle op algoritmes](https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwjJr-7HwtSJAxWN8rsIHaOPNmkQFnoECBQQAw&url=https%3A%2F%2Fassets.amsterdam.nl%2Fpublish%2Fpages%2F1053010%2Fhandreiking_algoritmen.pdf&usg=AOvVaw3xCc4gbijZmLQayb7o02Pf&opi=89978449) -- ISO/IEC 42001: Artificial intelligence (AI) Management System -- [Webpagina van gemeente Amsterdam over algoritmes](https://www.amsterdam.nl/innovatie/digitalisering-technologie/algoritmen-ai/algoritmen/). +!!! example "Naam van overheid: Korte uitleg" + + _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ + + Gemeente Amsterdam heeft handreiking ontwikkeld waarin de aanpak van algoritmen en het algoritme beleid uitgelegd worden. Hierin worden verschillende hulpmiddelen toegelicht waaronder governance voor verantwoorde toepassing van algoritmen en contract voorwaarden algoritmische toepassingen. + + Daarnaast wordt in de handreiking het belang uitgelegd, de communicatiestrategie (indirect) toegelicht en wordt benoemd hoe de inzet van algoritmes op een verantwoorde manier gedaan kan worden. + + Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + +## Bronnen + Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl From be53100eb9c0124e8fec45ebbc7215d897d9e0ed Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 15:42:45 +0100 Subject: [PATCH 35/46] Update 0-org-05-bestaande-governance.md --- .../maatregelen/0-org-05-bestaande-governance.md | 14 ++++++++++++-- 1 file changed, 12 insertions(+), 2 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md index b262a376ff..ccf5efbdb4 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md @@ -59,7 +59,6 @@ De volgende vragen kunnen bedragen om bovenstaande inzichtelijk te krijgen: ## Voorbeelden -Een concreet voorbeeld van samen optrekken is [deze handreiking](https://www.cip-overheid.nl/media/av0dmahv/20230614-gezamenlijk-gebruik-iama-en-model-dpia-rijksdienst-v1-0.pdf) om de IAMA en DPIA gezamelijk uit te voeren. !!! example "Voorbeeld: Ervaringen Kadaster" @@ -68,6 +67,17 @@ Een concreet voorbeeld van samen optrekken is [deze handreiking](https://www.cip 3. Zorg dat interpretaties over wet- en regelgeving gelijk zijn binnen de organisatie en de collega’s die binnen de governance structuur samenwerken. 4. Er is beleid gemaakt, maar in de praktijk is te weinig capaciteit om dit uit te voeren. Stel een realistisch beleidsplan op om de gestelde doelen daadwerkelijk te kunnen realiseren. - _Centrale privacy officer Kadaster_ + Bron: Centrale privacy officer Kadaster +!!! example "Naam van overheid: Korte uitleg" + + _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ + + Binnen het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) is een handreiking opgesteld om twee verschillende instrumenten goed samen te kunnen gebruiken; Data Protection Impact Assessment (DPIA) en Impact Assessment Mensenrechten en Algoritmes (IAMA). + + Binnen deze handreiking wordt toegelicht wat overeenkomsten en verschillen tussen het IAMA en DPIA zijn. Daarnaast wordt aangegeven hoe deze gecombineerd kunnen worden. Het doel is om zo deze instrumenten op een efficiënte en gebruikersvriendelijke manier samen te kunnen gebruiken. + + Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) From 7c180216efd88880ea0f35a75d5e8c38e8d6ba67 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 16:11:18 +0100 Subject: [PATCH 36/46] Update 0-org-06-volwassenheidsmodel.md --- .../0-org-06-volwassenheidsmodel.md | 71 ++++++++++++++----- 1 file changed, 52 insertions(+), 19 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md index cff1cd9017..3475cb8834 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md @@ -29,7 +29,6 @@ Breng de volwassenheid van je organisatie op het gebied van algoritmes in kaart. - Deel deze informatie met het bestuur en zorg dat hier bewustzijn ontstaat. Bepaal vervolgens hoe algoritmegovernance moet worden ingericht. - Het is aan te raden om verantwoordelijkheden te beleggen voor het realiseren van algoritmegovernance. -## Bronnen ## Bijbehorende vereiste(n) { data-search-exclude } @@ -45,33 +44,67 @@ Breng de volwassenheid van je organisatie op het gebied van algoritmes in kaart. ## Voorbeelden van volwassenheidsmodellen -Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Deze modellen richten zich niet altijd specifiek op het beheer van algoritmes, maar kijken breder naar algoritmes in de organisatie of naar ethische vraagstukken. Governance is altijd een onderdeel van deze modellen. +Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Hieronder worden verschillende opties toegelicht die ook breder kijken naar algoritmes in de organisatie of naar ethische vraagstukken. Deze zijn te herkennen met een * (sterretje). Ondanks de verschillende focus per model is governance altijd een onderdeel van deze volwassenheidsmodellen. + +!!! example "Voorbeeld: Interbestuurlijke Datastrategie - Datavolwassenheidsmodel*" + + _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ + + Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor kunstmatige intelligentie (AI), omdat data daar een grote rol speelt. Het model heeft een beslishulp datavolwassenheid waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een [gids](https://realisatieibds.nl/page/view/ad94d97c-4d48-443c-aedd-235b2d0ca8b6/wegwijzer-volwassenheidsmodellen) met verschillende manieren om de datavolwassenheid in kaart te brengen. + + Bron: [Beslishulp datavolwassenheid](https://realisatieibds.nl/groups/view/c23ab74c-adb4-424e-917d-773a37968efe/kenniscentrum-van-de-ibds/wiki/view/2447d2a8-6c48-468d-9739-00772688853f/beslishulp-datavolwassenheid) + + + -### AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023) +!!! example "Voorbeeld: Krijger, Thuis, de Ruiter, Ligthart & Broekman - AI ethics maturity model*" + + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + Het in 2023 gepubliceerd ‘AI ethics maturity’ model door Krijger, Thuis, de Ruiter, Ligthart & Broekman gebruikt zes categorieën om volwassenheid op verschillende niveaus in kaart te brengen. Dit model focust zich met name op het ethische aspect van volwassenheid met als categorieën: _awareness & culture_, _policy_, _governance_, _communication & training_, _development process_ en _tooling_. Er zijn vijf verschillende niveaus waar iedere categorie onder kan vallen om zo volwassenheid aan te geven. + + Bron: [The AI ethics maturity model]( https://link.springer.com/article/10.1007/s43681-022-00228-7) -Het [AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023)](https://link.springer.com/article/10.1007/s43681-022-00228-7) brengt de volwassenheid op verschillende niveau's in kaart op basis van zes categorieën: -- awareness & culture -- policy -- governance -- communication & training -- pevelopment proces -- tooling -### Het Datavolwassenheidsmodel van de IBDS + !!! example "Voorbeeld: MITRE - AI Maturity Model en Organizational Assessment Tool" + + _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ -Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor kunstmatige intelligentie (AI), omdat data daar een grote rol speelt. Het model heeft een [beslishulp datavolwassenheid](https://realisatieibds.nl/groups/view/c23ab74c-adb4-424e-917d-773a37968efe/kenniscentrum-van-de-ibds/wiki/view/2447d2a8-6c48-468d-9739-00772688853f/beslishulp-datavolwassenheid) waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een [gids](https://realisatieibds.nl/page/view/ad94d97c-4d48-443c-aedd-235b2d0ca8b6/wegwijzer-volwassenheidsmodellen) met verschillende manieren om de datavolwassenheid in kaart te brengen. + MITRE is een Amerikaanse non-profitorganisatie en enigzins vergelijkbaar met het Nederlandse TNO. Zij hebben een AI Maturity Model en de bijbehorende Organizational Assessment Tool ontwikkeld. Dit volwassenheidsmodel onderscheidt een zestal pijlers in de AI volwassenheid van een organisatie en daarbij een vijftal volwassenheidsniveaus. In dit document wordt ook toegelicht hoe een organisatie van een niveau naar het volgende kan ontwikkelen. Daarnaast wordt dit ook op individuele pijlers uitgelegd. -### Innovatie en volwassenheid + [![MITRE AI Maturity Model](images/MITRE_Maturity-Model-Overview_0.png)](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide) + + Bron: [MITRE AI Maturity Model](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide) -Het gebruik van algoritmes wordt vaak gezien als een vorm van innovatie. Hoe kan AI helpen bij het ondersteunen van nieuwe ideeën en het vinden van nieuwe toepassingen? Een voorbeeld van een volwassenheidsmodel over innovatie is de [Innovatie Maturity Scan](https://www.rijksorganisatieodi.nl/innoveren-met-impact/onze-services/innovatie-maturity-scan) van Innoveren met Impact. -### MITRE AI Maturity Model en Organizational Assessment Tool -Het [AI Maturity Model](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide) en de bijbehorende Organizational Assessment Tool zijn ontwikkeld door de Amerikaanse organisatie [MITRE](https://www.mitre.org/). MITRE is een non-profitorganisatie en enigzins vergelijkbaar met het Nederlandse TNO. Dit volwassenheidsmodel onderscheidt een zestal pijlers in de AI volwassenheid van een organisatie en daarbij een vijftal volwassenheidsniveaus. Het volwassenheidsmodel en assessment zijn goed gedocumenteerd. + !!! example "Voorbeeld: Rijksorganisatie voor Ontwikkeling, Digitalisering en Innovatie - Innovatie Maturity Scan*" + + _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ +OF + _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ +OF + _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + + De Rijksorganisatie voor Ontwikkeling, Digitalisering en Innovatie (ODI) heeft een Innovatie Maturity Scan gemaakt om de innovatievolwassenheid van een organisatie te meten. Omdat het gebruik van algoritmes vaak gezien wordt als vorm van innovatie is dit ook een interessant model om naar te kijken. + + De scan bestaat uit vijf niveaus (level 1 t/m 5) en vijf segmenten (leiderschap, cultuur, sociaal, uitvoering en sturing). Aan de hand van stellingen in de scan kan op deze manier het niveau per segment bepaald worden. -[![MITRE AI Maturity Model](images/MITRE_Maturity-Model-Overview_0.png)](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide) + + Bron: [Innovatie Maturity Scan](https://www.rijksorganisatieodi.nl/innoveren-met-impact/onze-services/innovatie-maturity-scan) ------------------------------------------------------------------------- -Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes\@minbzk.nl](mailto:algoritmes@minbzk.nl){.email} + + !!! example "Practice: Provincie Overijsel - Implementatiestrategie Digitale-Ethiek" + + Provincie Overijsel heeft in hun implementiestrategie Digitale Ethiek verschillende dingen uitgelegd waaronder een volwassenheidsmodel. Hierin focussen zij zich op het toekomst bestendig maken van de provincie met de notie dat het hoogste niveau voor hen op dit moment te hoog gegrepen is. Zij geven zo dus duidelijk aan welke niveaus zij haalbaar achten en geven concrete voorbeelden over hoe zij dit aan willen pakken. + + ![image](https://github.com/user-attachments/assets/341e841e-c0b3-463e-bf9f-5926352f9ae4) + + Bron: [Implementatiestrategie Digitale-Ethiek](https://overijssel.notubiz.nl/modules/1/Ingekomen%20stukken/944710) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + +## Bronnen From 119abd1f14b62839987c3f3202431b05c39122b3 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 16:22:37 +0100 Subject: [PATCH 37/46] Update 0-org-03-toepassen-risicobeheer.md --- .../maatregelen/0-org-03-toepassen-risicobeheer.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md index 3e0f2aff3d..5412845565 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md @@ -58,16 +58,20 @@ Risico's worden niet (tijdig) vastgesteld en adequaat geadresseerd en behandeld. !!! example "Ministerie van Economische Zaken: Gids AI-verordening" _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om een plan op te stellen moet er ook aan de verplichtingen voldaan worden, deze verplichtingen staan samengevat in deze gids vanaf pagina 11. Hier wordt dit voor zowel een aanbieder als gebruiksverantwoordelijke toegelicht. Bron: [Gids AI-verordening](https://www.rijksoverheid.nl/documenten/brochures/2024/10/16/gids-ai-verordening) Wil je meer hulp bij het vinden van de regels die specifiek voor jou gelden, gebruik dan ook de [Beslishulp AI-Verordening](https://ai-verordening-beslishulp.apps.digilab.network/). + !!! example "Nationaal Cyber Security Centrum: Richtlijnen veilig software ontwikkelen" _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + Het Nationaal Cyber Security Centrum van het ministerie van Justitie en Veiligheid heeft een publicatie over het ontwikkelen van veilige software. Hierin staat beschreven hoe op beleidsmatig niveau beveiligingsrichtlijnen toegepast kunnen worden. Er wordt in Hoofdstuk B.03 'Risicomanagement' een duidelijk beeld geschetst van wat noodzakelijke maatregelen hiervoor zijn. + Hier worden ook verschillende methodes voorgesteld voor de risico analyse. Maar omdat deze publicatie uit 2021 komt is bijvoorbeeld de NEN-ISO/IEC 27005:2011 niet maar van toepassing maar is deze vervangen door de versie uit 2024 ([NEN-ISO/IEC 27005:2024](https://www.nen.nl/nen-en-iso-iec-27005-2024-en-327805)). Bron: [Beleids- en beheersingsrichtlijnen voor de ontwikkeling van veilige software](https://www.ncsc.nl/documenten/publicaties/2019/mei/01/beleids--en-beheersingsrichtlijnen-voor-de-ontwikkeling-van-veilige-software) From 571e594668199a9ce2249ce1847ca90e9d5e7460 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 16:26:28 +0100 Subject: [PATCH 38/46] Update 0-org-09-governance-per-risicocategorie.md --- .../maatregelen/0-org-09-governance-per-risicocategorie.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md index 1f06a30544..fe6bb08987 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md @@ -50,7 +50,8 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes. !!! example "Gemeente Rotterdam: Processchema governance" _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ - Hieronder staat een schematische weergave van hoe de gemeente Rotterdam algoritme governance toe past. Zij kiezen ervoor om dit alleen toe te passen op hoog-risico AI volgens de definitie van de AI-Verordening. Voor laag-risico toepassingen gebruiken ze hun standaard governance protocol (1). + + Hieronder staat een schematische weergave van hoe de gemeente Rotterdam algoritme governance toe past. Zij kiezen ervoor om dit alleen toe te passen op hoog-risico AI volgens de definitie van de AI-Verordening. Voor laag-risico toepassingen gebruiken ze hun standaard governance protocol (zie figuur hieronder). Ongeacht het risico wordt er ook een drietal vragen gesteld voor **ieder** algoritme voor mogelijk uitgebreidere algoritme governance. * Is de werking van het algoritme niet volledig én beknopt uit te leggen aan een gemiddelde Rotterdammer? * Ontbreekt er een menselijke beoordeling voordat de uitkomst van het algoritme in de praktijk wordt gebracht door middel van een concrete handeling van de gemeente? @@ -65,6 +66,7 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes. !!! example "Belastingdienst: Basis governance" _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ + De belastingdienst heeft verschillende algoritmes en heeft hier governance voor. Zij geven aan eerst een basis algoritme governance in te richten (bijvoorbeeld voor low-risk). Zodra deze op operationeel niveau is kan deze worden geïmplementeerd en tijdens de implementatie kan deze bijgesteld worden. Bron: Belastingdienst (Analytische en Cognitieve Technologie | CoE Cognitieve Oplossingen). From c25b0412fc291eac96961899c9c3f10aae22803c Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Thu, 2 Jan 2025 16:30:06 +0100 Subject: [PATCH 39/46] Update 0-org-12-periodieke-evaluatie-kwaliteit.md --- .../0-org-12-periodieke-evaluatie-kwaliteit.md | 16 +++++++++++++--- 1 file changed, 13 insertions(+), 3 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md index 18bc711bb0..d3f2d505e0 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md @@ -46,9 +46,19 @@ Zonder evaluatie van de kwaliteit van het algoritme is er geen goede sturing, be ??? expander "Bekijk alle vereisten" + + +## Voorbeeld + +!!! example "Practiv=ce: Douane - Detecteren risico’s voor naleving vergunningsplicht" + + De douane maakt gebruik van een algoritme om te selecteren welke goederen een (extra) controle krijgen. Dit wordt gedaan op basis van aangiftegegevens die bedrijven aanleveren. Op basis van deze data wordt een vergelijking gemaakt met een bekend risicoprofiel. Deze risicoprofielen worden periodiek gecontroleerd aan de hand van de hoeveelheid kloppende controles. Daarnaast wordt ieder jaar per profiel gekeken of deze verfijnd, verlengd of beëindigd moeten worden. Op deze manier wordt regelmatig gecontroleerd of het algoritme nog van voldoende kwaliteit functioneert. + + Bron: [Detecteren risico’s voor naleving vergunningsplicht voor de uitvoer sanctiemaatregelen](https://algoritmes.overheid.nl/nl/algoritme/detecteren-risicos-voor-naleving-vergunningsplicht-voor-de-uitvoer-sanctiemaatregelen-douane/41675247#verantwoordGebruik) + +Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) + + ## Bronnen - [Onderzoekskader Algoritmes Auditdienst Rijk, SV.15, SV.16, SV.17 ](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) - [Toetsingskader Algoritmes Algemene Rekenkamer, 1.08](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) - -## Voorbeeld -Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) From f13f1782a4d04f469c998c0f4851ca23b99dc8f0 Mon Sep 17 00:00:00 2001 From: Nout van Deijck <168716911+noutvandeijck@users.noreply.github.com> Date: Tue, 14 Jan 2025 11:01:50 +0100 Subject: [PATCH 40/46] Update docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md --- .../maatregelen/6-imp-06-vermelding-in-privacyverklaring.md | 1 - 1 file changed, 1 deletion(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md index a046200267..c92bcb7699 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-06-vermelding-in-privacyverklaring.md @@ -59,7 +59,6 @@ Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt met - [Onderzoekskader Algoritmes Auditdienst Rijk, PRI.8](https://www.rijksoverheid.nl/documenten/rapporten/2023/07/11/onderzoekskader-algoritmes-adr-2023) - [Autoriteit Persoonsgegevens](https://www.autoriteitpersoonsgegevens.nl/themas/basis-avg/privacyrechten-avg/recht-op-informatie) - [Toetsingskader Algoritmes Algemene Rekenkamer, 3.12](https://www.rekenkamer.nl/onderwerpen/algoritmes/documenten/publicaties/2024/05/15/het-toetsingskader-aan-de-slag) -- Algoritmekader ## Voorbeeld From 78b239bf47e098d47e47b5bcf31ce2e945586746 Mon Sep 17 00:00:00 2001 From: Nout van Deijck <168716911+noutvandeijck@users.noreply.github.com> Date: Tue, 14 Jan 2025 11:21:15 +0100 Subject: [PATCH 41/46] Update docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md --- .../0-org-02-beleid-opstellen-inzet-algoritmes.md | 12 ++++-------- 1 file changed, 4 insertions(+), 8 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md index 4187910690..606a1115a8 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md @@ -58,19 +58,15 @@ Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algori ## Voorbeelden -!!! example "Naam van overheid: Korte uitleg" +!!! example "Handreiking Algoritmen - Gemeente Amsterdam" _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ - Gemeente Amsterdam heeft handreiking ontwikkeld waarin de aanpak van algoritmen en het algoritme beleid uitgelegd worden. Hierin worden verschillende hulpmiddelen toegelicht waaronder governance voor verantwoorde toepassing van algoritmen en contract voorwaarden algoritmische toepassingen. + Gemeente Amsterdam heeft een Handreiking Algoritmen ontwikkeld waarin de aanpak van en instrumenten voor verantwoord algoritme­­gebruik in Amsterdam worden toegelicht. Denk aan governance voor verantwoorde toepassing van algoritmes, en contractvoorwaarden voor algoritmische toepassingen. - Daarnaast wordt in de handreiking het belang uitgelegd, de communicatiestrategie (indirect) toegelicht en wordt benoemd hoe de inzet van algoritmes op een verantwoorde manier gedaan kan worden. + Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) (Er zijn hier ook handreikingen te vinden over _Dataverzameling_ en _Digitale ongelijkheid_. - Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) - -Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) ## Bronnen - -Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl +Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl). From 23032450b75eee90699ec871a3413846b9b7bb3a Mon Sep 17 00:00:00 2001 From: Nout van Deijck <168716911+noutvandeijck@users.noreply.github.com> Date: Tue, 14 Jan 2025 11:42:50 +0100 Subject: [PATCH 42/46] Update 0-org-05-bestaande-governance.md --- .../maatregelen/0-org-05-bestaande-governance.md | 14 +++++++------- 1 file changed, 7 insertions(+), 7 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md index ccf5efbdb4..853ea09ec6 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md @@ -61,13 +61,13 @@ De volgende vragen kunnen bedragen om bovenstaande inzichtelijk te krijgen: ## Voorbeelden !!! example "Voorbeeld: Ervaringen Kadaster" - - 1. Bij inwerkingtreding van de AVG ging men snel aan de slag met DPIA’s, vinkenlijstjes. Let op voor een schijndossier: Begrijp wat er toegepast moet worden, voordat je aan de slag gaat; niet uitvoeren om maar te laten zien dat je eraan voldoet. - 2. Nadenken over governance. De FG is bij de wet geregeld, maar er is meer nodig. Welke profielen heeft de ondersteuning voor de uitvoering; (centrale) privacy officers en is hier ruimte voor? - 3. Zorg dat interpretaties over wet- en regelgeving gelijk zijn binnen de organisatie en de collega’s die binnen de governance structuur samenwerken. - 4. Er is beleid gemaakt, maar in de praktijk is te weinig capaciteit om dit uit te voeren. Stel een realistisch beleidsplan op om de gestelde doelen daadwerkelijk te kunnen realiseren. - - Bron: Centrale privacy officer Kadaster + Enkele ervaringen van het Kadaster bij het aansluiten van nieuwe onderwerpen op de bestaande governance-structuren: + + 1. Bij de inwerkingtreding van de AVG ging men bij veel organisaties, waaronder het Kadaster, voortvarend aan de slag met DPIA’s en andere instrumenten. Volgens het Kadaster is het echter belangrijk te waken voor een schijndossier: begrijp goed wat daadwerkelijk toegepast moet worden voordat je begint; voer geen acties uit alleen om maar aan te tonen dat je eraan voldoet. + 2. Het Kadaster benadrukt daarnaast het belang van een doordachte governance. Hoewel de rol van de Functionaris Gegevensbescherming (FG) wettelijk is vastgelegd, is dit niet voldoende. Er moet worden nagedacht over de benodigde profielen ter ondersteuning van de uitvoering, zoals (centrale) privacy officers, en of hiervoor voldoende capaciteit beschikbaar is. + 3. Verder is het volgens het Kadaster essentieel dat interpretaties van wet- en regelgeving consistent zijn binnen de organisatie en tussen collega’s die binnen de governance-structuur samenwerken. + 4. Uit ervaring blijkt bovendien dat er vaak beleid wordt opgesteld, maar dat in de praktijk de capaciteit ontbreekt om dit uit te voeren. Daarom pleit het Kadaster voor een realistisch beleidsplan waarmee de gestelde doelen daadwerkelijk kunnen worden gerealiseerd. + !!! example "Naam van overheid: Korte uitleg" From bf6b69c3ba5251097f2b2ae218a4fa9c66dff571 Mon Sep 17 00:00:00 2001 From: Nout van Deijck <168716911+noutvandeijck@users.noreply.github.com> Date: Tue, 14 Jan 2025 11:54:36 +0100 Subject: [PATCH 43/46] Update 0-org-09-governance-per-risicocategorie.md --- .../0-org-09-governance-per-risicocategorie.md | 12 ------------ 1 file changed, 12 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md index fe6bb08987..67a62682eb 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md @@ -35,18 +35,6 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes. ## Voorbeelden -!!! example "Ministerie van Economische Zaken: Gids AI-verordening" - - _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om te identificeren welke AI-systemen of algoritmes hoog-risico zijn is het aan te raden om deze gids te bekijken. Meer informatie over de AI-verordening is ook te vinden op ["AI-verordening in het kort"](../ai-verordening.md) - Naast de classificatie staat er in deze gids vanaf pagina 11 ook aan welke verplichtingen een aanbieder en gebruiksverantwoordelijke moeten voldoen voor hoog-risico AI, AI voor algemene doeleinden, generatieve AI en chatbots, maar niet voor overige AI. - - Bron: [Gids AI-verordening](https://www.rijksoverheid.nl/documenten/brochures/2024/10/16/gids-ai-verordening) - - Wil je meer hulp bij het vinden van de regels die specifiek voor jou gelden, gebruik dan ook de [Beslishulp AI-Verordening](https://ai-verordening-beslishulp.apps.digilab.network/). - - - !!! example "Gemeente Rotterdam: Processchema governance" _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ From 2e2ded29f0bb4ef44cc8aed335d23585daa4abb8 Mon Sep 17 00:00:00 2001 From: Nout van Deijck <168716911+noutvandeijck@users.noreply.github.com> Date: Tue, 14 Jan 2025 11:55:01 +0100 Subject: [PATCH 44/46] Update 0-org-03-toepassen-risicobeheer.md --- .../maatregelen/0-org-03-toepassen-risicobeheer.md | 11 ----------- 1 file changed, 11 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md index 5412845565..ff4e0efda9 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md @@ -55,17 +55,6 @@ Risico's worden niet (tijdig) vastgesteld en adequaat geadresseerd en behandeld. - Algoritmekader ## Voorbeeld -!!! example "Ministerie van Economische Zaken: Gids AI-verordening" - - _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - - Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om een plan op te stellen moet er ook aan de verplichtingen voldaan worden, deze verplichtingen staan samengevat in deze gids vanaf pagina 11. Hier wordt dit voor zowel een aanbieder als gebruiksverantwoordelijke toegelicht. - - Bron: [Gids AI-verordening](https://www.rijksoverheid.nl/documenten/brochures/2024/10/16/gids-ai-verordening) - - Wil je meer hulp bij het vinden van de regels die specifiek voor jou gelden, gebruik dan ook de [Beslishulp AI-Verordening](https://ai-verordening-beslishulp.apps.digilab.network/). - - !!! example "Nationaal Cyber Security Centrum: Richtlijnen veilig software ontwikkelen" _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ From f7b2c7151ebbb68ddfd471fa0eaf8baefa40d353 Mon Sep 17 00:00:00 2001 From: Nout van Deijck <168716911+noutvandeijck@users.noreply.github.com> Date: Tue, 14 Jan 2025 13:27:41 +0100 Subject: [PATCH 45/46] Update 0-org-09-governance-per-risicocategorie.md --- .../0-org-09-governance-per-risicocategorie.md | 11 +---------- 1 file changed, 1 insertion(+), 10 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md index 67a62682eb..5d69bdd26b 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md @@ -47,18 +47,9 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes. ![Afbeelding](../../afbeeldingen/rotterdam_risico_classificatie_governance.png) - Bron: [kleur bekennen - Rekenkamer Rotterdam (Pagina 72)](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) + Bron: [Kleur bekennen - Rekenkamer Rotterdam (Pagina 72)](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/) - -!!! example "Belastingdienst: Basis governance" - - _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - - De belastingdienst heeft verschillende algoritmes en heeft hier governance voor. Zij geven aan eerst een basis algoritme governance in te richten (bijvoorbeeld voor low-risk). Zodra deze op operationeel niveau is kan deze worden geïmplementeerd en tijdens de implementatie kan deze bijgesteld worden. - - Bron: Belastingdienst (Analytische en Cognitieve Technologie | CoE Cognitieve Oplossingen). - ## Bronnen From 5029a0cc7525ca415491b8cf810451ebc6ba3c00 Mon Sep 17 00:00:00 2001 From: E-Lacle Date: Tue, 14 Jan 2025 16:32:12 +0100 Subject: [PATCH 46/46] Apply suggestions from code review Co-authored-by: Nout van Deijck <168716911+noutvandeijck@users.noreply.github.com> --- .../0-org-03-toepassen-risicobeheer.md | 2 +- .../maatregelen/0-org-05-bestaande-governance.md | 6 +++--- .../maatregelen/0-org-06-volwassenheidsmodel.md | 15 ++++----------- .../0-org-09-governance-per-risicocategorie.md | 4 ++-- .../0-org-12-periodieke-evaluatie-kwaliteit.md | 4 ++-- .../6-imp-03-menselijke-tussenkomst.md | 2 +- .../6-imp-04-publiceren-algoritmeregister.md | 2 +- .../6-imp-09-politiek-bestuurlijk-besluit.md | 4 ++-- .../maatregelen/7-mon-01-backups-maken.md | 2 +- .../maatregelen/7-mon-02-beveiliging-algoritme.md | 2 +- .../7-mon-03-informatiebeveiligingsincidenten.md | 4 ++-- 11 files changed, 20 insertions(+), 27 deletions(-) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md index ff4e0efda9..ef63664858 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md @@ -61,7 +61,7 @@ Risico's worden niet (tijdig) vastgesteld en adequaat geadresseerd en behandeld. Het Nationaal Cyber Security Centrum van het ministerie van Justitie en Veiligheid heeft een publicatie over het ontwikkelen van veilige software. Hierin staat beschreven hoe op beleidsmatig niveau beveiligingsrichtlijnen toegepast kunnen worden. Er wordt in Hoofdstuk B.03 'Risicomanagement' een duidelijk beeld geschetst van wat noodzakelijke maatregelen hiervoor zijn. - Hier worden ook verschillende methodes voorgesteld voor de risico analyse. Maar omdat deze publicatie uit 2021 komt is bijvoorbeeld de NEN-ISO/IEC 27005:2011 niet maar van toepassing maar is deze vervangen door de versie uit 2024 ([NEN-ISO/IEC 27005:2024](https://www.nen.nl/nen-en-iso-iec-27005-2024-en-327805)). + Hier worden ook verschillende methodes voorgesteld voor de risicoanalyse. Omdat deze publicatie uit 2021 komt is bijvoorbeeld de NEN-ISO/IEC 27005:2011 niet maar van toepassing maar is deze vervangen door de versie uit 2024 ([NEN-ISO/IEC 27005:2024](https://www.nen.nl/nen-en-iso-iec-27005-2024-en-327805)). Bron: [Beleids- en beheersingsrichtlijnen voor de ontwikkeling van veilige software](https://www.ncsc.nl/documenten/publicaties/2019/mei/01/beleids--en-beheersingsrichtlijnen-voor-de-ontwikkeling-van-veilige-software) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md index 853ea09ec6..32b1a24ca2 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md @@ -69,15 +69,15 @@ De volgende vragen kunnen bedragen om bovenstaande inzichtelijk te krijgen: 4. Uit ervaring blijkt bovendien dat er vaak beleid wordt opgesteld, maar dat in de praktijk de capaciteit ontbreekt om dit uit te voeren. Daarom pleit het Kadaster voor een realistisch beleidsplan waarmee de gestelde doelen daadwerkelijk kunnen worden gerealiseerd. -!!! example "Naam van overheid: Korte uitleg" +!!! example "Handreiking gezamenlijk gebruik IAMA en DPIA - Ministerie van BZK" _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ Binnen het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) is een handreiking opgesteld om twee verschillende instrumenten goed samen te kunnen gebruiken; Data Protection Impact Assessment (DPIA) en Impact Assessment Mensenrechten en Algoritmes (IAMA). - Binnen deze handreiking wordt toegelicht wat overeenkomsten en verschillen tussen het IAMA en DPIA zijn. Daarnaast wordt aangegeven hoe deze gecombineerd kunnen worden. Het doel is om zo deze instrumenten op een efficiënte en gebruikersvriendelijke manier samen te kunnen gebruiken. + In deze handreiking wordt toegelicht wat de overeenkomsten en verschillen tussen het IAMA en DPIA zijn. Daarnaast wordt aangegeven hoe deze instrumenten gecombineerd kunnen worden. Het doel is om zo deze instrumenten op een efficiënte en gebruikersvriendelijke manier samen te kunnen gebruiken. - Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) + Bron: [Handreiking gezamenlijk gebruik IAMA en Model DPIA Rijksdienst](https://www.cip-overheid.nl/media/av0dmahv/20230614-gezamenlijk-gebruik-iama-en-model-dpia-rijksdienst-v1-0.pdf) Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md index 3475cb8834..a81098f077 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md @@ -44,13 +44,12 @@ Breng de volwassenheid van je organisatie op het gebied van algoritmes in kaart. ## Voorbeelden van volwassenheidsmodellen -Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Hieronder worden verschillende opties toegelicht die ook breder kijken naar algoritmes in de organisatie of naar ethische vraagstukken. Deze zijn te herkennen met een * (sterretje). Ondanks de verschillende focus per model is governance altijd een onderdeel van deze volwassenheidsmodellen. -!!! example "Voorbeeld: Interbestuurlijke Datastrategie - Datavolwassenheidsmodel*" +!!! example "Voorbeeld: Interbestuurlijke Datastrategie - Datavolwassenheidsmodel" _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ - Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor kunstmatige intelligentie (AI), omdat data daar een grote rol speelt. Het model heeft een beslishulp datavolwassenheid waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een [gids](https://realisatieibds.nl/page/view/ad94d97c-4d48-443c-aedd-235b2d0ca8b6/wegwijzer-volwassenheidsmodellen) met verschillende manieren om de datavolwassenheid in kaart te brengen. + Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor algoritmes, omdat [data](../../onderwerpen/data.md) daar een grote rol speelt. Het model heeft een beslishulp datavolwassenheid waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een [gids](https://realisatieibds.nl/page/view/ad94d97c-4d48-443c-aedd-235b2d0ca8b6/wegwijzer-volwassenheidsmodellen) aan met verschillende manieren om de datavolwassenheid in kaart te brengen. Bron: [Beslishulp datavolwassenheid](https://realisatieibds.nl/groups/view/c23ab74c-adb4-424e-917d-773a37968efe/kenniscentrum-van-de-ibds/wiki/view/2447d2a8-6c48-468d-9739-00772688853f/beslishulp-datavolwassenheid) @@ -61,7 +60,7 @@ Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Hieronder _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - Het in 2023 gepubliceerd ‘AI ethics maturity’ model door Krijger, Thuis, de Ruiter, Ligthart & Broekman gebruikt zes categorieën om volwassenheid op verschillende niveaus in kaart te brengen. Dit model focust zich met name op het ethische aspect van volwassenheid met als categorieën: _awareness & culture_, _policy_, _governance_, _communication & training_, _development process_ en _tooling_. Er zijn vijf verschillende niveaus waar iedere categorie onder kan vallen om zo volwassenheid aan te geven. + Het in 2023 gepubliceerde ‘AI ethics maturity model' door Krijger, Thuis, de Ruiter, Ligthart & Broekman gebruikt zes categorieën om volwassenheid op verschillende niveaus in kaart te brengen. Dit model focust zich met name op het ethische aspect van volwassenheid met als categorieën: _awareness & culture_, _policy_, _governance_, _communication & training_, _development process_ en _tooling_. Er zijn vijf verschillende niveaus waar iedere categorie onder kan vallen om zo volwassenheid aan te geven. Bron: [The AI ethics maturity model]( https://link.springer.com/article/10.1007/s43681-022-00228-7) @@ -80,12 +79,6 @@ Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Hieronder !!! example "Voorbeeld: Rijksorganisatie voor Ontwikkeling, Digitalisering en Innovatie - Innovatie Maturity Scan*" - - _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ -OF - _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ -OF - _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ De Rijksorganisatie voor Ontwikkeling, Digitalisering en Innovatie (ODI) heeft een Innovatie Maturity Scan gemaakt om de innovatievolwassenheid van een organisatie te meten. Omdat het gebruik van algoritmes vaak gezien wordt als vorm van innovatie is dit ook een interessant model om naar te kijken. @@ -98,7 +91,7 @@ OF !!! example "Practice: Provincie Overijsel - Implementatiestrategie Digitale-Ethiek" - Provincie Overijsel heeft in hun implementiestrategie Digitale Ethiek verschillende dingen uitgelegd waaronder een volwassenheidsmodel. Hierin focussen zij zich op het toekomst bestendig maken van de provincie met de notie dat het hoogste niveau voor hen op dit moment te hoog gegrepen is. Zij geven zo dus duidelijk aan welke niveaus zij haalbaar achten en geven concrete voorbeelden over hoe zij dit aan willen pakken. + Provincie Overijsel heeft in hun implementiestrategie Digitale Ethiek verschillende zaken opgenomen, waaronder een volwassenheidsmodel. Hierin focussen zij zich op het toekomstbestendig maken van de provincie met de notie dat het hoogste niveau voor hen op dit moment te hoog gegrepen is. Zij geven zo dus duidelijk aan welke niveaus zij haalbaar achten en geven concrete voorbeelden over hoe zij dit aan willen pakken. ![image](https://github.com/user-attachments/assets/341e841e-c0b3-463e-bf9f-5926352f9ae4) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md index 5d69bdd26b..96cb0d12df 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md @@ -39,8 +39,8 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes. _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ - Hieronder staat een schematische weergave van hoe de gemeente Rotterdam algoritme governance toe past. Zij kiezen ervoor om dit alleen toe te passen op hoog-risico AI volgens de definitie van de AI-Verordening. Voor laag-risico toepassingen gebruiken ze hun standaard governance protocol (zie figuur hieronder). - Ongeacht het risico wordt er ook een drietal vragen gesteld voor **ieder** algoritme voor mogelijk uitgebreidere algoritme governance. + Hieronder staat een schematische weergave van hoe de gemeente Rotterdam algoritme governance toepast. Zij kiezen ervoor om dit alleen toe te passen op hoog-risico AI volgens de definitie van de AI-Verordening. Voor laag-risico toepassingen gebruiken ze hun standaard governanceprotocol (zie figuur hieronder). + Ongeacht het risico wordt er ook een drietal vragen gesteld, waarbij verdere instrumenten ingezet moeten worden als alle vragen met "Ja" beantwoord worden: * Is de werking van het algoritme niet volledig én beknopt uit te leggen aan een gemiddelde Rotterdammer? * Ontbreekt er een menselijke beoordeling voordat de uitkomst van het algoritme in de praktijk wordt gebracht door middel van een concrete handeling van de gemeente? * Is het voorstelbaar dat de algoritmetoepassing uitmondt in een onrechtvaardige handeling van de gemeente tegen burgers of bedrijven? diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md index d3f2d505e0..006feac055 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-12-periodieke-evaluatie-kwaliteit.md @@ -50,9 +50,9 @@ Zonder evaluatie van de kwaliteit van het algoritme is er geen goede sturing, be ## Voorbeeld -!!! example "Practiv=ce: Douane - Detecteren risico’s voor naleving vergunningsplicht" +!!! example "Douane - Detecteren risico’s voor naleving vergunningsplicht" - De douane maakt gebruik van een algoritme om te selecteren welke goederen een (extra) controle krijgen. Dit wordt gedaan op basis van aangiftegegevens die bedrijven aanleveren. Op basis van deze data wordt een vergelijking gemaakt met een bekend risicoprofiel. Deze risicoprofielen worden periodiek gecontroleerd aan de hand van de hoeveelheid kloppende controles. Daarnaast wordt ieder jaar per profiel gekeken of deze verfijnd, verlengd of beëindigd moeten worden. Op deze manier wordt regelmatig gecontroleerd of het algoritme nog van voldoende kwaliteit functioneert. + De Douane maakt gebruik van een algoritme om te selecteren welke goederen een (extra) controle krijgen. Dit wordt gedaan op basis van aangiftegegevens die bedrijven aanleveren. Op basis van deze data wordt een vergelijking gemaakt met een bekend risicoprofiel. Deze risicoprofielen worden periodiek gecontroleerd aan de hand van de hoeveelheid kloppende controles. Daarnaast wordt ieder jaar per profiel gekeken of deze verfijnd, verlengd of beëindigd moeten worden. Op deze manier wordt regelmatig gecontroleerd of het algoritme nog voldoende functioneert. Bron: [Detecteren risico’s voor naleving vergunningsplicht voor de uitvoer sanctiemaatregelen](https://algoritmes.overheid.nl/nl/algoritme/detecteren-risicos-voor-naleving-vergunningsplicht-voor-de-uitvoer-sanctiemaatregelen-douane/41675247#verantwoordGebruik) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md index fa09e39ea6..c39c123c2c 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-03-menselijke-tussenkomst.md @@ -93,7 +93,7 @@ Het niet inrichten van passende menselijke controle leidt tot onverantwoorde inz De Rijksdienst voor Ondernemend Nederland (RVO) maakt gebruik van een algoritme bij het behandelen van subsidieaanvragen. Hierbij wordt bij iedere aanvraag een risico-indicatie gemaakt op basis van een aantal regels. Als er volgens het algoritme geen risico’s zijn wordt de aanvraag automatisch aangemaakt, zo niet wordt de aanvraag nog beoordeeld door een adviseur. - Daarnaast worden aanvragen met ingewikkelde technieken of boven een bepaald bedrag altijd door een adviseur beoordeeld. Op deze manier is er sprake van betekenisvolle menselijke controle. + Daarnaast worden aanvragen met ingewikkelde technieken of boven een bepaald bedrag altijd door een adviseur beoordeeld. Op deze manier is er sprake van betekenisvolle [menselijke controle](../../onderwerpen/menselijke-controle.md). Bron: [Rijksdienst voor Ondernemend Nederland: Risicocontrole Subsidieaanvragen](https://algoritmes.overheid.nl/nl/algoritme/risicocontrole-sde-subsidieaanvragen-rijksdienst-voor-ondernemend-nederland/51892728#verantwoordGebruik) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md index 30960bf10b..6673ac5672 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-04-publiceren-algoritmeregister.md @@ -55,7 +55,7 @@ Betrokkenen zijn niet op de hoogte dat hun persoonsgegevens worden verwerkt met _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - In december 2023 is het juryrapport van Best Beschreven Algoritme uitgekomen binnen het Algoritme Register. Zij hebben van de 13 genomineerde algoritmes een top 4 opgesteld waar uiteindelijk een winnaar uitgekomen is; Gemeente Groningen: Eerste Hulp bij Geldzaken. + In december 2023 is het juryrapport van Best Beschreven Algoritme binnen het Algoritmeregister bekendgemaakt. Van de 13 genomineerde algoritmes is een top 4 opgesteld waar [uiteindelijk een winnaar uitgekomen is](https://www.digitaleoverheid.nl/nieuws/groningen-wint-best-beschreven-algoritme-award/); Gemeente Groningen: Eerste Hulp bij Geldzaken. Het algoritme heeft een heldere omschrijving rondom de technische en ethische aspecten. Daarnaast geeft het een volledig beeld voor burgers over de inzet en het gebruik van het algoritme. Dit wordt gedaan aan de hand van verwijzingen naar externe pagina’s voor meer uitleg. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md index 40f6cc0244..24528ef0fa 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/6-imp-09-politiek-bestuurlijk-besluit.md @@ -50,9 +50,9 @@ De ambtelijke organisatie maakt politieke-bestuurlijke afwegingen en beslissinge _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - Het college van burgemeester en wethouders (CBW) heeft in Januari 2024 een openbaar besluit gemaakt rondom het algoritme Slimme Check. Dit algoritme was bedoeld om de afdeling Handhaving te ondersteunen bij het inschatten van de onderzoekswaardigheid van aanvragen levensonderhoud. Het algoritme maakt een voorselectie van inkomende aanvragen en of deze eerst onderzocht moeten worden of in behandeling genomen kunnen worden. Bij een analyse van de pilot is de conclusie getrokken dat het model niet geïmplementeerd kon worden vanwege verschillende redenen. Er zouden meerdere veranderingen gedaan moeten worden om Slimme Check verder door te ontwikkelen. + Het college van burgemeester en wethouders (CBW) van Gemeente Amsterdam heeft in januari 2024 een openbaar besluit genomen rondom het algoritme Slimme Check. Dit algoritme was bedoeld om de afdeling Handhaving te ondersteunen bij het inschatten van de onderzoekswaardigheid van aanvragen levensonderhoud. Het algoritme maakt een voorselectie van inkomende aanvragen en of deze eerst onderzocht moeten worden of in behandeling genomen kunnen worden. Bij een analyse van de pilot is de conclusie getrokken dat het model niet geïmplementeerd kon worden vanwege verschillende redenen. Er zouden meerdere veranderingen gedaan moeten worden om Slimme Check verder door te ontwikkelen. - Het CBW heeft aan de hand van deze eind evaluatie bepaald dat Slimme Check niet verder ontwikkeld wordt. Dit is gepubliceerd op de website van Gemeente Amsterdam naast besluiten en nieuws rondom andere zaken. + Het CBW heeft aan de hand van deze eindevaluatie bepaald dat Slimme Check niet verder ontwikkeld wordt. Dit is gepubliceerd op de website van Gemeente Amsterdam naast besluiten en nieuws rondom andere zaken. Bron: [Nieuws uit B en W 24 januari 2024 - Gemeente Amsterdam](https://www.amsterdam.nl/bestuur-organisatie/college/nieuws/nieuws-24-januari-2024/) diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md index e22d6495c2..bedb351772 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-01-backups-maken.md @@ -41,7 +41,7 @@ Als er geen regelmatige back-ups worden gemaakt en de restore-procedure niet reg _Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ - De informatie beveiligingsdienst van de Vereniging Nederlandse gemeenten heeft een handreiking back-up en herstel ontwikkeld. Hierin staat uitleg over de wetgeving rondom back-ups en het herstellen van back-ups. + De Informatiebeveiligingsdienst van de Vereniging Nederlandse Gemeenten (VNG) heeft een handreiking back-up en herstel ontwikkeld. Hierin staat uitleg over de wetgeving rondom back-ups en het herstellen van back-ups. Aan het einde van deze handreiking staat ook een voorbeeld voor beleid voor gemeentes. Hierin staan al een aantal uitgangspunten die de gemeente alleen hoeft te kopiëren en te ondertekenen. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md index f2559b4eec..866df67b69 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-02-beveiliging-algoritme.md @@ -56,7 +56,7 @@ Oneigenlijke toegang van buitenaf kan plaatsvinden via zwakheden in het systeem. _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - Het Nationaal Cyber Security Centrum van het ministerie van Justitie en Veiligheid heeft een publicatie over het ontwikkelen van veilige software. Hierin staat beschreven hoe op beleidsmatig en beheersingsniveau beveiligingsrichtlijnen toegepast kunnen worden. Daarnaast wordt het uitvoeringsdomein (voor implementatie) ook benoemd, maar wordt deze opgesplitst in webapplicaties en mobiele apps. + In een publicatie van het Nationaal Cyber Security Centrum van het Ministerie van Justitie en Veiligheid over het ontwikkelen van veilige software staat beschreven hoe op beleidsmatig en beheersingsniveau beveiligingsrichtlijnen toegepast kunnen worden. Daarnaast wordt het uitvoeringsdomein (voor implementatie) ook benoemd, maar wordt deze opgesplitst in webapplicaties en mobiele apps. Deze beleids- en beheersingsrichtlijnen worden uitgewerkt per onderdeel om zo een duidelijk beeld te geven van hoe dit toegepast kan worden. De exacte toepassing zal verschillen per organisatie, dit document dient als basis. diff --git a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md index 5412aa1e33..86a0f4f5fa 100644 --- a/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md +++ b/docs/voldoen-aan-wetten-en-regels/maatregelen/7-mon-03-informatiebeveiligingsincidenten.md @@ -46,7 +46,7 @@ Te late reactie op incidenten kan ervoor zorgen dat de BIV (beschikbaarheid, int _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._ - Het ministerie van Economische zaken heeft een template voor een Disaster Recovery Plan (DRP) opgesteld. Aan de hand van dit document kunnen duidelijke handelingen en verantwoordelijkheden opgeschreven worden wanneer een algoritme stop gezet moet worden. + Het Ministerie van Economische zaken heeft een template voor een Disaster Recovery Plan (DRP) opgesteld. Aan de hand van dit document kunnen duidelijke handelingen en verantwoordelijkheden opgeschreven worden voor wanneer een algoritme stopgezet moet worden. Dit DRP is vrij algemeen en heeft geen specificaties voor algoritmes in het template staan. Dit zal dus verder uitgewerkt moeten worden, maar dit DRP kan als basis dienen voor het verder uitwerken. @@ -56,7 +56,7 @@ Te late reactie op incidenten kan ervoor zorgen dat de BIV (beschikbaarheid, int _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ - Het Netwerk Informatiebeveiliging en Privacy (IBP) voor primair en voortgezet onderwijs heeft een template voor incidentmanagementbeleid, het incidentmanagementproces en een beveiligingsincident stappenplan & logboek. In het proces template staat onder andere een procesflow, een beschrijving van alle processtappen en een communicatie plan. + Het Netwerk Informatiebeveiliging en Privacy (IBP) voor primair en voortgezet onderwijs heeft een template voor incidentmanagementbeleid, het incidentmanagementproces en een beveiligingsincident stappenplan & logboek. In het procestemplate staat onder andere een procesflow, een beschrijving van alle processtappen en een communicatieplan. Deze documenten zijn specifiek voor primair en voortgezet onderwijs maar zijn gemakkelijk aan te passen. Dit zijn met name meldingen zijn naar het IBP zijn die voor andere organisaties niet van toepassing zijn.