Missende inklapbare vereisten toegevoegd

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-02-beleid-opstellen-inzet-algoritmes.md

@@ -46,7 +46,6 @@ Een duidelijk beleid over de inzet van algoritmes helpt organisaties te voldoen
 
 - Dit beleidsdocument is beschikbaar en toegankelijk voor geïnteresseerden. 
 
-## Bronnen
 
 ## Bijbehorende vereiste(n) { data-search-exclude }
 <!-- Hier volgt een lijst met vereisten op basis van de in de metadata ingevulde vereiste -->
@@ -59,8 +58,15 @@ Zonder duidelijk beleid over de inzet van algoritmes kan het gebeuren dat algori
 
 ## Voorbeelden
 
-- [Controle op algoritmes](https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=&ved=2ahUKEwjJr-7HwtSJAxWN8rsIHaOPNmkQFnoECBQQAw&url=https%3A%2F%2Fassets.amsterdam.nl%2Fpublish%2Fpages%2F1053010%2Fhandreiking_algoritmen.pdf&usg=AOvVaw3xCc4gbijZmLQayb7o02Pf&opi=89978449)
-- ISO/IEC 42001: Artificial intelligence (AI) Management System
-- [Webpagina van gemeente Amsterdam over algoritmes](https://www.amsterdam.nl/innovatie/digitalisering-technologie/algoritmen-ai/algoritmen/).
+!!! example "Handreiking Algoritmen - Gemeente Amsterdam"
+
+	_Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._ 
+
+	Gemeente Amsterdam heeft een Handreiking Algoritmen ontwikkeld waarin de aanpak van en instrumenten voor verantwoord algoritme­­gebruik in Amsterdam worden toegelicht. Denk aan governance voor verantwoorde toepassing van algoritmes, en contractvoorwaarden voor algoritmische toepassingen.
+
+	Bron: [Handreiking Algoritmen](https://www.amsterdam.nl/innovatie/digitalisering-technologie/handreikingen-playbooks/) (Er zijn hier ook handreikingen te vinden over _Dataverzameling_ en _Digitale ongelijkheid_.
+
+
+## Bronnen
 
-Heb je een voorbeeld of best practice, laat het ons weten via algoritmes@minbzk.nl
+Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl).

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-03-toepassen-risicobeheer.md

@@ -55,20 +55,13 @@ Risico's worden niet (tijdig) vastgesteld en adequaat geadresseerd en behandeld.
 - Algoritmekader
 
 ## Voorbeeld
-!!! example "Ministerie van Economische Zaken: Gids AI-verordening"
-
-    _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._
-    Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om een plan op te stellen moet er ook aan de verplichtingen voldaan worden, deze verplichtingen staan samengevat in deze gids vanaf pagina 11. Hier wordt dit voor zowel een aanbieder als gebruiksverantwoordelijke toegelicht.
-
-    Bron: [Gids AI-verordening](https://www.rijksoverheid.nl/documenten/brochures/2024/10/16/gids-ai-verordening)
-
-    Wil je meer hulp bij het vinden van de regels die specifiek voor jou gelden, gebruik dan ook de [Beslishulp AI-Verordening](https://ai-verordening-beslishulp.apps.digilab.network/).
-
 !!! example "Nationaal Cyber Security Centrum: Richtlijnen veilig software ontwikkelen"
 
     _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._
+
     Het Nationaal Cyber Security Centrum van het ministerie van Justitie en Veiligheid heeft een publicatie over het ontwikkelen van veilige software. Hierin staat beschreven hoe op beleidsmatig niveau beveiligingsrichtlijnen toegepast kunnen worden. Er wordt in Hoofdstuk B.03 'Risicomanagement' een duidelijk beeld geschetst van wat noodzakelijke maatregelen hiervoor zijn. 
-    Hier worden ook verschillende methodes voorgesteld voor de risico analyse. Maar omdat deze publicatie uit 2021 komt is bijvoorbeeld de NEN-ISO/IEC 27005:2011 niet maar van toepassing maar is deze vervangen door de versie uit 2024 ([NEN-ISO/IEC 27005:2024](https://www.nen.nl/nen-en-iso-iec-27005-2024-en-327805)).
+
+    Hier worden ook verschillende methodes voorgesteld voor de risicoanalyse. Omdat deze publicatie uit 2021 komt is bijvoorbeeld de NEN-ISO/IEC 27005:2011 niet maar van toepassing maar is deze vervangen door de versie uit 2024 ([NEN-ISO/IEC 27005:2024](https://www.nen.nl/nen-en-iso-iec-27005-2024-en-327805)).
 
     Bron: [Beleids- en beheersingsrichtlijnen voor de ontwikkeling van veilige software](https://www.ncsc.nl/documenten/publicaties/2019/mei/01/beleids--en-beheersingsrichtlijnen-voor-de-ontwikkeling-van-veilige-software)
 

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-05-bestaande-governance.md

@@ -59,15 +59,25 @@ De volgende vragen kunnen bedragen om bovenstaande inzichtelijk te krijgen:
 <!-- vul hier het specifieke risico in dat kan worden gemitigeerd met behulp van deze maatregel -->
 
 ## Voorbeelden
-Een concreet voorbeeld van samen optrekken is [deze handreiking](https://www.cip-overheid.nl/media/av0dmahv/20230614-gezamenlijk-gebruik-iama-en-model-dpia-rijksdienst-v1-0.pdf) om de IAMA en DPIA gezamelijk uit te voeren.
 
 !!! example "Voorbeeld: Ervaringen Kadaster" 
+	Enkele ervaringen van het Kadaster bij het aansluiten van nieuwe onderwerpen op de bestaande governance-structuren:
+
+	1. Bij de inwerkingtreding van de AVG ging men bij veel organisaties, waaronder het Kadaster, voortvarend aan de slag met DPIA’s en andere instrumenten. Volgens het Kadaster is het echter belangrijk te waken voor een schijndossier: begrijp goed wat daadwerkelijk toegepast moet worden voordat je begint; voer geen acties uit alleen om maar aan te tonen dat je eraan voldoet.
+	2. Het Kadaster benadrukt daarnaast het belang van een doordachte governance. Hoewel de rol van de Functionaris Gegevensbescherming (FG) wettelijk is vastgelegd, is dit niet voldoende. Er moet worden nagedacht over de benodigde profielen ter ondersteuning van de uitvoering, zoals (centrale) privacy officers, en of hiervoor voldoende capaciteit beschikbaar is.
+	3. Verder is het volgens het Kadaster essentieel dat interpretaties van wet- en regelgeving consistent zijn binnen de organisatie en tussen collega’s die binnen de governance-structuur samenwerken.
+	4. Uit ervaring blijkt bovendien dat er vaak beleid wordt opgesteld, maar dat in de praktijk de capaciteit ontbreekt om dit uit te voeren. Daarom pleit het Kadaster voor een realistisch beleidsplan waarmee de gestelde doelen daadwerkelijk kunnen worden gerealiseerd.
+
 
-    1. Bij inwerkingtreding van de AVG ging men snel aan de slag met DPIA’s, vinkenlijstjes. Let op voor een schijndossier: Begrijp wat er toegepast moet worden, voordat je aan de slag gaat; niet uitvoeren om maar te laten zien dat je eraan voldoet.
-    2. Nadenken over governance. De FG is bij de wet geregeld, maar er is meer nodig. Welke profielen heeft de ondersteuning voor de uitvoering; (centrale) privacy officers en is hier ruimte voor?
-    3. Zorg dat interpretaties over wet- en regelgeving gelijk zijn binnen de organisatie en de collega’s die binnen de governance structuur samenwerken.
-    4. Er is beleid gemaakt, maar in de praktijk is te weinig capaciteit om dit uit te voeren. Stel een realistisch beleidsplan op om de gestelde doelen daadwerkelijk te kunnen realiseren. 
-
-    _Centrale privacy officer Kadaster_
+!!! example "Handreiking gezamenlijk gebruik IAMA en DPIA - Ministerie van BZK"
+
+	_Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ 
 
+	Binnen het Ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) is een handreiking opgesteld om twee verschillende instrumenten goed samen te kunnen gebruiken; Data Protection Impact Assessment (DPIA) en Impact Assessment Mensenrechten en Algoritmes (IAMA). 
+
+ 	In deze handreiking wordt toegelicht wat de overeenkomsten en verschillen tussen het IAMA en DPIA zijn. Daarnaast wordt aangegeven hoe deze instrumenten gecombineerd kunnen worden. Het doel is om zo deze instrumenten op een efficiënte en gebruikersvriendelijke manier samen te kunnen gebruiken.
+
+	Bron: [Handreiking gezamenlijk gebruik IAMA en Model DPIA Rijksdienst](https://www.cip-overheid.nl/media/av0dmahv/20230614-gezamenlijk-gebruik-iama-en-model-dpia-rijksdienst-v1-0.pdf)
+
+Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) 
 

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-06-volwassenheidsmodel.md

@@ -29,7 +29,6 @@ Breng de volwassenheid van je organisatie op het gebied van algoritmes in kaart.
 -   Deel deze informatie met het bestuur en zorg dat hier bewustzijn ontstaat. Bepaal vervolgens hoe algoritmegovernance moet worden ingericht.
 -   Het is aan te raden om verantwoordelijkheden te beleggen voor het realiseren van algoritmegovernance.
 
-## Bronnen
 
 ## Bijbehorende vereiste(n) { data-search-exclude }
 
@@ -45,33 +44,60 @@ Breng de volwassenheid van je organisatie op het gebied van algoritmes in kaart.
 
 ## Voorbeelden van volwassenheidsmodellen
 
-Er zijn verschillende modellen om het volwassenheidsniveau te bepalen. Deze modellen richten zich niet altijd specifiek op het beheer van algoritmes, maar kijken breder naar algoritmes in de organisatie of naar ethische vraagstukken. Governance is altijd een onderdeel van deze modellen.
 
-### AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023)
+!!! example "Voorbeeld: Interbestuurlijke Datastrategie - Datavolwassenheidsmodel"
+
+	_Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ 
+
+     Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor algoritmes, omdat [data](../../onderwerpen/data.md) daar een grote rol speelt. Het model heeft een beslishulp datavolwassenheid waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een [gids](https://realisatieibds.nl/page/view/ad94d97c-4d48-443c-aedd-235b2d0ca8b6/wegwijzer-volwassenheidsmodellen) aan met verschillende manieren om de datavolwassenheid in kaart te brengen.
+
+	Bron: [Beslishulp datavolwassenheid](https://realisatieibds.nl/groups/view/c23ab74c-adb4-424e-917d-773a37968efe/kenniscentrum-van-de-ibds/wiki/view/2447d2a8-6c48-468d-9739-00772688853f/beslishulp-datavolwassenheid)
+
+
+
+
+!!! example "Voorbeeld: Krijger, Thuis, de Ruiter, Ligthart & Broekman - AI ethics maturity model*"
+
+	_Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._
+
+	Het in 2023 gepubliceerde ‘AI ethics maturity model' door Krijger, Thuis, de Ruiter, Ligthart & Broekman gebruikt zes categorieën om volwassenheid op verschillende niveaus in kaart te brengen. Dit model focust zich met name op het ethische aspect van volwassenheid met als categorieën: _awareness & culture_, _policy_, _governance_, _communication & training_, _development process_ en _tooling_. Er zijn vijf verschillende niveaus waar iedere categorie onder kan vallen om zo volwassenheid aan te geven.
+
+    Bron: [The AI ethics maturity model]( https://link.springer.com/article/10.1007/s43681-022-00228-7) 
 
-Het [AI ethics maturity model van Krijger, Thuis, de Ruiter, Ligthart & Broekman (2023)](https://link.springer.com/article/10.1007/s43681-022-00228-7) brengt de volwassenheid op verschillende niveau's in kaart op basis van zes categorieën:
 
--   awareness & culture
--   policy
--   governance
--   communication & training
--   pevelopment proces
--   tooling
 
-### Het Datavolwassenheidsmodel van de IBDS
+ !!! example "Voorbeeld: MITRE - AI Maturity Model en Organizational Assessment Tool"
+
+	_Dit voorbeeld kan zonder veel aanpassingen in uw organisatie gebruikt worden._ 
 
-Het datavolwassenheidmodel van de Interbestuurlijke Datastrategie (IBDS) kijkt naar hoe goed organisaties omgaan met data. Dit model is ook belangrijk voor kunstmatige intelligentie (AI), omdat data daar een grote rol speelt. Het model heeft een [beslishulp datavolwassenheid](https://realisatieibds.nl/groups/view/c23ab74c-adb4-424e-917d-773a37968efe/kenniscentrum-van-de-ibds/wiki/view/2447d2a8-6c48-468d-9739-00772688853f/beslishulp-datavolwassenheid) waarmee bepaald kan worden hoe volwassen een organisatie is met data. IBDS biedt ook een [gids](https://realisatieibds.nl/page/view/ad94d97c-4d48-443c-aedd-235b2d0ca8b6/wegwijzer-volwassenheidsmodellen) met verschillende manieren om de datavolwassenheid in kaart te brengen.
+	MITRE is een Amerikaanse non-profitorganisatie en enigzins vergelijkbaar met het Nederlandse TNO. Zij hebben een AI Maturity Model en de bijbehorende Organizational Assessment Tool ontwikkeld. Dit volwassenheidsmodel onderscheidt een zestal pijlers in de AI volwassenheid van een organisatie en daarbij een vijftal volwassenheidsniveaus.  In dit document wordt ook toegelicht hoe een organisatie van een niveau naar het volgende kan ontwikkelen. Daarnaast wordt dit ook op individuele pijlers uitgelegd.
 
-### Innovatie en volwassenheid
+    [![MITRE AI Maturity Model](images/MITRE_Maturity-Model-Overview_0.png)](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide)
+
+    Bron: [MITRE AI Maturity Model](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide) 
 
-Het gebruik van algoritmes wordt vaak gezien als een vorm van innovatie. Hoe kan AI helpen bij het ondersteunen van nieuwe ideeën en het vinden van nieuwe toepassingen? Een voorbeeld van een volwassenheidsmodel over innovatie is de [Innovatie Maturity Scan](https://www.rijksorganisatieodi.nl/innoveren-met-impact/onze-services/innovatie-maturity-scan) van Innoveren met Impact.
 
-### MITRE AI Maturity Model en Organizational Assessment Tool
 
-Het [AI Maturity Model](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide) en de bijbehorende Organizational Assessment Tool zijn ontwikkeld door de Amerikaanse organisatie [MITRE](https://www.mitre.org/). MITRE is een non-profitorganisatie en enigzins vergelijkbaar met het Nederlandse TNO. Dit volwassenheidsmodel onderscheidt een zestal pijlers in de AI volwassenheid van een organisatie en daarbij een vijftal volwassenheidsniveaus. Het volwassenheidsmodel en assessment zijn goed gedocumenteerd.
+ !!! example "Voorbeeld: Rijksorganisatie voor Ontwikkeling, Digitalisering en Innovatie - Innovatie Maturity Scan*"
+
+	De Rijksorganisatie voor Ontwikkeling, Digitalisering en Innovatie (ODI) heeft een Innovatie Maturity Scan gemaakt om de innovatievolwassenheid van een organisatie te meten. Omdat het gebruik van algoritmes vaak gezien wordt als vorm van innovatie is dit ook een interessant model om naar te kijken.
+
+    De scan bestaat uit vijf niveaus (level 1 t/m 5) en vijf segmenten (leiderschap, cultuur, sociaal, uitvoering en sturing). Aan de hand van stellingen in de scan kan op deze manier het niveau per segment bepaald worden.
 
-[![MITRE AI Maturity Model](images/MITRE_Maturity-Model-Overview_0.png)](https://www.mitre.org/news-insights/publication/mitre-ai-maturity-model-and-organizational-assessment-tool-guide)
+
+    Bron: [Innovatie Maturity Scan](https://www.rijksorganisatieodi.nl/innoveren-met-impact/onze-services/innovatie-maturity-scan)  
 
-------------------------------------------------------------------------
 
-Heb je een voorbeeld of best practice, laat het ons weten via [algoritmes\@minbzk.nl](mailto:algoritmes@minbzk.nl){.email}
+
+ !!! example "Practice: Provincie Overijsel - Implementatiestrategie Digitale-Ethiek"
+
+	Provincie Overijsel heeft in hun implementiestrategie Digitale Ethiek verschillende zaken opgenomen, waaronder een volwassenheidsmodel. Hierin focussen zij zich op het toekomstbestendig maken van de provincie met de notie dat het hoogste niveau voor hen op dit moment te hoog gegrepen is. Zij geven zo dus duidelijk aan welke niveaus zij haalbaar achten en geven concrete voorbeelden over hoe zij dit aan willen pakken.
+
+    ![image](https://github.com/user-attachments/assets/341e841e-c0b3-463e-bf9f-5926352f9ae4)
+
+    Bron: [Implementatiestrategie Digitale-Ethiek](https://overijssel.notubiz.nl/modules/1/Ingekomen%20stukken/944710) 
+
+Heb je een ander voorbeeld of best practice, laat het ons weten via [algoritmes@minbzk.nl](mailto:algoritmes@minbzk.nl) 
+
+
+## Bronnen

docs/voldoen-aan-wetten-en-regels/maatregelen/0-org-09-governance-per-risicocategorie.md

@@ -35,39 +35,20 @@ Richt algoritmegovernance in op basis van de risicoclassificatie van algoritmes.
 
 ## Voorbeelden
 
-!!! example "Ministerie van Economische Zaken: Gids AI-verordening"
-
-    _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._
-    Het ministerie van Economische Zaken (EZ) heeft een gids opgesteld voor de AI-verordening. Hierin worden vier stappen toegelicht: Risico, AI, Rol en Verplichtingen. Om te identificeren welke AI-systemen of algoritmes hoog-risico zijn is het aan te raden om deze gids te bekijken. Meer informatie over de AI-verordening is ook te vinden op ["AI-verordening in het kort"](../ai-verordening.md)
-    Naast de classificatie staat er in deze gids vanaf pagina 11 ook aan welke verplichtingen een aanbieder en gebruiksverantwoordelijke moeten voldoen voor hoog-risico AI, AI voor algemene doeleinden, generatieve AI en chatbots, maar niet voor overige AI.
-
-    Bron: [Gids AI-verordening](https://www.rijksoverheid.nl/documenten/brochures/2024/10/16/gids-ai-verordening)
-
-    Wil je meer hulp bij het vinden van de regels die specifiek voor jou gelden, gebruik dan ook de [Beslishulp AI-Verordening](https://ai-verordening-beslishulp.apps.digilab.network/).
-
-
-
 !!! example "Gemeente Rotterdam: Processchema governance"
 
     _Dit voorbeeld heeft een aantal aanpassingen nodig voordat deze in uw organisatie te gebruiken is._
-    Hieronder staat een schematische weergave van hoe de gemeente Rotterdam algoritme governance toe past. Zij kiezen ervoor om dit alleen toe te passen op hoog-risico AI volgens de definitie van de AI-Verordening. Voor laag-risico toepassingen gebruiken ze hun standaard governance protocol (1). 
-    Ongeacht het risico wordt er ook een drietal vragen gesteld voor **ieder** algoritme voor mogelijk uitgebreidere algoritme governance.
+
+    Hieronder staat een schematische weergave van hoe de gemeente Rotterdam algoritme governance toepast. Zij kiezen ervoor om dit alleen toe te passen op hoog-risico AI volgens de definitie van de AI-Verordening. Voor laag-risico toepassingen gebruiken ze hun standaard governanceprotocol (zie figuur hieronder). 
+    Ongeacht het risico wordt er ook een drietal vragen gesteld, waarbij verdere instrumenten ingezet moeten worden als alle vragen met "Ja" beantwoord worden:
     * Is de werking van het algoritme niet volledig én beknopt uit te leggen aan een gemiddelde Rotterdammer? 
     * Ontbreekt er een menselijke beoordeling voordat de uitkomst van het algoritme in de praktijk wordt gebracht door middel van een concrete handeling van de gemeente? 
     * Is het voorstelbaar dat de algoritmetoepassing uitmondt in een onrechtvaardige handeling van de gemeente tegen burgers of bedrijven?
 
     ![Afbeelding](../../afbeeldingen/rotterdam_risico_classificatie_governance.png)
 
-    Bron: [kleur bekennen - Rekenkamer Rotterdam (Pagina 72)](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/)
-
-
-
-!!! example "Belastingdienst: Basis governance"
+    Bron: [Kleur bekennen - Rekenkamer Rotterdam (Pagina 72)](https://rekenkamer.rotterdam.nl/onderzoeken/kleur-bekennen/)
 
-    _Dit voorbeeld kan ter inspiratie dienen voor hoe de maatregel toegepast kan worden._
-    De belastingdienst heeft verschillende algoritmes en heeft hier governance voor. Zij geven aan eerst een basis algoritme governance in te richten (bijvoorbeeld voor low-risk). Zodra deze op operationeel niveau is kan deze worden geïmplementeerd en tijdens de implementatie kan deze bijgesteld worden. 
-
-    Bron: Belastingdienst (Analytische en Cognitieve Technologie | CoE Cognitieve Oplossingen).
 
 ## Bronnen