[[toc]]
Les défis ont une durée initiale de vie courte : 10 mois. Durant ce temps, il est nécessaire de savoir à quels problèmes on s'attaque, suivre l'avancée des projets et faire des choix éclairés selon les objectifs définis. Cela permet également de savoir comment on peut quantifier les améliorations amenées par le défi et son impact, notamment pour assurer la continuité des projets initiés.
En définissant des indicateurs à suivre, on fait preuve de transparence et on assure une vision commune des problématiques à résoudre. Si ces indicateurs atteignent les objectifs fixés, c'est un argument à faire valoir pour que les projets continuent.
Dans le programme EIG, on distingue les indicateurs propres au programme, qui sont communs à tous les défis, et les indicateurs propres à chaque défi, qui concernent les politiques publiques concernées par les projets ainsi que la performance des outils.
Le programme EIG mesure deux indicateurs dans le cadre de la loi de finances, qui se concentrent sur l'internalisation de compétences numériques dans l'administration :
- Le nombre d'EIG recrutés chaque année par le programme
- Le nombre d'EIG qui continue à travailler dans l'administration suite au programme
Pour notre évaluation, nous nous intéressons à d'autres thématiques communes à tous les défis.
- Pérennisation des solutions : état d'avancement des projets à l'issue des 10 mois (en production, prévu pour être en production, sans mise en production prévue), conditions de maintenance ;
- Transformation numérique : nombre de défis ayant organisé des formations, nombre de défis ayant développé des outils "annexes" (c'est-à-dire, des outils pas prévus dans le périmètre initial du défi) pendant les 10 mois ;
- Ouverture : nombre de défis ayant un ou des dépôt(s) de code en ligne, nombre de défis ayant publié des librairies, nombre de défis ayant ouvert des jeux de données, nombre de défis ayant contribué à des dépôts de code existants ;
- Accessibilité : intégration des normes et référentiels de l'Etat aux projets.
Avoir plusieurs thématiques d'indicateurs Nous vous recommandons d'avoir des indicateurs divers et variés, s'articulant autour de plusieurs thématiques.
- La politique publique rattachée à votre défi : diminution de la fraude, économie réalisée, amélioration de la prise en charge
- La performance de votre produit : taux de complétion, rapidité d'utilisation, satisfaction des usagers
- La transformation numérique de votre administration : formations organisées
- L'ouverture de votre défi : publication d'articles, de codes sources, de données, de modèles, etc.
Ces thématiques peuvent aussi vous aider à déterminer des livrables qui ne font pas partie de la solution numérique que vous développez, mais qui doivent être tout autant valorisés. Par exemple, pour l'ouverture, l'ouverture d'un nouveau jeu de données peut être considérée comme un livrable. D'autres types de livrables incluent : la documentation du projet (dans une optique de passation et d'ouverture des méthodes), les supports de formation, les événements, etc.
Nota : les indicateurs portant sur la transformation numérique et sur l'ouverture des défis font partie des indicateurs du programme, communs à tous les défis (voir ci-dessus).
::: tip Pour chaque thématique (politique publique, performance du produit, transformation numérique, ouverture), vous pouvez identifier un indicateur et son mode de mesure (soit environ 4 indicateurs). :::
Afin de définir vos indicateurs, nous vous recommandons de suivre un processus en plusieurs étapes détaillé ci-après. Ces étapes sont les suivantes :
- Établir une description claire de votre défi
- Définir les apports de votre défi
- Imaginer des hypothèses à partir des apports
- Décider ce que vous allez mesurer à partir de ces hypothèses
- Trouver comment mesurer vos indicateurs
Des indicateurs pertinents doivent refléter si votre défi est une réussite. Il est nécessaire de commencer par bien définir l'objectif de votre défi.
Vous devez prendre en considération :
- les besoins utilisateurs que vous cherchez à résoudre
- les changements que votre défi est censé produire : réductions de la fraude ou de dépenses, impacts sur les métiers pour qui les outils sont produits, etc.
Essayez de décrire l'objectif de votre défi en une seule phrase.
Le défi EIG 2 Signaux Faibles permet à l'administration de détecter plus en amont les entreprises en difficulté pour mieux les accompagner.
GOV.UK Pay va permettre à l'administration de recevoir des paiements plus facilement et plus efficacement, permettant un gain de temps et d'efforts pour les différentes équipes.
Décrivez ce que votre défi va permettre de réaliser. Ces apports doivent contribuer au fait que votre défi remplit ses objectifs. Utilisez pour ce faire la description de votre défi.
Exemple du défi EIG 3 ACOSS Plateforme (qui se base sur les retours des utilisateurs)
En tant que particulier employeur d'une assistante maternelle, aujourd'hui, il m'est difficile de comprendre comment mettre fin à son contrat dans le droit français. Avant ACOSS Plateforme, j'aurais appelé la plateforme Pajemploi (payant 0,12€/min), cherché sur internet les montants d’indemnité à payer, appelé Pôle Emploi... Demain, avec le service en ligne de fin de contrat mis en place par le défi EIG, je serai accompagné pour connaître et comprendre les formalités administratives à réaliser.
Exemple n°2
- Besoin : en tant que citoyen à l'étranger, j'ai besoin d'argent pour financer des soins médicaux rapidement.
- Apport de la solution : rendre plus facile et rapide l'accès à des soins médicaux à l'étranger en accélérant la procédure pour obtenir des financements.
::: tip Nous vous conseillons d'identifier un apport du défi par l'entrée "utilisateurs", et un apport par l'entrée de la politique publique ou de l'administration d'accueil. L'atelier "vision" proposé lors du bootcamp a permi de travailler sur ces aspects du défi. :::
Articuler comment ce que vous allez réaliser va permettre d'apporter quelque chose et pourquoi :
Faire / changer [quelque chose] ... va [bénéfice] ... parce que [hypothèse/logique/stratégie]
Essayez de dégager les apports principaux de votre défi. Ceci permettra de déduire des indicateurs pertinents.
Par exemple :
Si nous mettons à disposition un formulaire en ligne, ceci accélérera le processus de demande car les formulaires en ligne sont plus rapides que les formulaires papier.
Ces hypothèses permettront de prendre de meilleures décisions car il est possible de mesurer les effets d'un choix que vous avez fait.
Vos hypothèses devraient vous guider sur ce qu'il est possible et pertinent de mesurer. Au début de votre projet, il n'est pas nécessaire de savoir exactement comment vous allez mesurer vos indicateurs mais vous devez savoir ce que chaque indicateur signifie.
Par exemple :
Nous allons mesurer combien de temps prend un utilisateur pour effectuer sa démarche en utilisant notre formulaire en ligne.
Attention aux métriques trompeuses, qui ne permettent pas de mesurer des objectifs clairs ou qui détournent de l'objectif initial.
Après avoir choisi ce que vous allez mesurer, il est nécessaire de savoir comment réellement mesurer vos indicateurs. Vous pouvez vous reposer sur :
- des outils de mesure d'audience
- des performances de votre produit
- des questionnaires de satisfaction
- des informations de support usager
- des éléments financiers
- des retours utilisateurs obtenus directement, des témoignages, etc.
Ne vous reposez pas que sur des outils numériques. Idéalement vous devez vous appuyer sur plusieurs sources, par exemple des bases de données, des entretiens utilisateurs et des éléments financiers.
::: tip Nous vous conseillons de lier indicateurs quantitatifs à des indicateurs qualitatifs. Par exemple, vous pouvez récolter les retours de vos utilisateurs à propos de votre défi et/ou les retours d'agents publics illustrant comment votre travail a changé leur façon de travailler, les missions qu'ils doivent remplir ou comment ils interagissent avec l'administration. :::
Pour illustrer ces consignes, nous prenons comme exemple le défi EIG 2 PrédiSauvetage dont l'objectif était de sauver des vies en mer en prévenant les accidents maritimes.
Nous détaillons les objectifs et indicateurs associés mis en place.
| Objectifs | Indicateurs |
|---|---|
| Accroître la connaissance de l’accidentologie en mer | Nombre de détenteurs de données ayant rejoint l’observatoire de l’accidentologie de la plaisance à l’issue du programme |
| Croiser et valoriser des données d'acteurs multiples | Nombre de données mises à disposition |
| Identifier les situations à risque en mer | Nombre de réutilisation sur ces données au sein de l’observatoire Nombre de situations à risque nouvelles détectées |
| Cibler les messages et médias en matière de prévention | Nombre de campagnes de prévention Indice de satisfaction utilisateurs Nombre de sollicitations de la presse, de particuliers, de communes ou de ports demandant les infos produites par l’algorithme ou sollicitant l'observatoire |
- CDS - Developing an evaluation framework for product and service delivery
- GDS - Measuring the success of your service
- beta.gouv.fr - Mesurer son impact dans le réel, un article de l'incubateur des Startups d'État
- Évaluer un projet de transformation, sur la plateforme de la formation interministérielle (plateforme ouverte aux agents publics sur inscription)
- Description du projet Camino et statistiques du projet Camino
- Les analyses d’impact relative à la protection des données (AIPD) et l'outil PIA développé, pour permettre aux responsables de traitement d’analyser les risques que comportent leurs traitements.