First (not definitive) proposition of SCDL schema evolution #2

gcarra · 2024-09-16T13:05:21Z

j'ai fait les premières évolutions du format SCDL. Celles-ci ne sont pas définitives, en effet les entretiens avec les utilisateurs/producteurs sont encore en cours.

Je suis preneuse de tes éventuels retours et questionnements.
Je me demande également si on souhaite créer une branch pour travailler sur l'évolution et la pusher sur la master que quand l'évolution est bien validée ? Si oui, je n'ai pas la main sur le github OpenDataFrance, donc si tu peux la créer ça serait parfait.

Je reste à disposition,
Bien à toi
Giulia Carra

feat: first proposition of evolution

Pierlou · 2024-09-17T13:00:03Z

Bonjour Giulia, très cool que ça avance ! Je regarde ça dans les prochains jours pour faire une review propre.
Tu as une préférence pour une branche plutôt que le fork actuel ? Ca ne me choque pas de rester comme ça en tout cas

Pierlou

Ca prend forme 🚀

Pierlou · 2024-09-23T07:47:26Z

schema.json

-  "homepage": "https://gitlab.com/opendatafrance/scdl/subventions",
-  "path": "https://gitlab.com/opendatafrance/scdl/subventions/raw/v2.1.1/schema.json",
+  "homepage": "https://github.com/OpenDataFrance/subventions",
+  "path": "https://github.com/OpenDataFrance/subventions/raw/v2.1.1/schema.json",


Il faudra changer le numéro de la version avant la release pour que ce soit cohérent

Il faudra bump la version avant de merger

Quels sont les arguments pour passer de gitlab à github ? Je trouverais plus cohérent que tous les schémas taggués "SCDL" sur schema.data.gouv.fr soient au même endroit plutôt que dispersés

schema.json

Pierlou · 2024-09-23T08:22:45Z

schema.json

+      "title": "Clé de versement",
+      "description": "Si un numéro d'Engagement Juridique n'existe pas renseigner l'identifiant permettant de relier la demande de subvention aux versements.",
+      "type": "string",
+      "constraints": {


pas te pattern unique

S'il y en a plusieurs, on peut avoir un pattern complexe qui les inclut tous

on n'a pas l'information sur les patterns pour les moments. ça sera peut-être un travail à faire dans la suite.

schema.json

gcarra · 2024-10-01T14:06:25Z

@Pierlou merci beaucoup pour ce retour, je vais les prendre en compte attentivement et les intégrer aux avancements fait de notre côté aussi. Je reviens vers toi dès que j'aurai bien avancé là-dessus. Bonne après-midi!

Co-authored-by: alice-telescoop <94919029+alice-telescoop@users.noreply.github.com>

Propositon 1 evolution review

added descriptionIdJointure

Pierlou

🚀
J'ai un doute : est-ce qu'on veut conserver le camelCase pour les noms des champs, ou passer en snake_case (comme c'est le cas dans les autres schémas récents)

Pierlou · 2025-04-01T06:34:42Z

schema.json

-  "homepage": "https://gitlab.com/opendatafrance/scdl/subventions",
-  "path": "https://gitlab.com/opendatafrance/scdl/subventions/raw/v2.1.1/schema.json",
+  "homepage": "https://github.com/OpenDataFrance/subventions",
+  "path": "https://github.com/OpenDataFrance/subventions/raw/v2.1.1/schema.json",


Il faudra bump la version avant de merger

schema.json

Pierlou · 2025-04-01T06:37:17Z

schema.json

+  "lastModified": "2024-09-16",
  "version": "2.1.1",


A mettre à jour avant de merge

schema.json

Pierlou · 2025-04-01T07:25:08Z

schema.md

Ce fichier peut être supprimé, il est généré automatiquement par schema.data.gouv

…vention

johanricher · 2025-04-07T17:57:47Z

Salut 👋

Merci @Pierlou pour la notif 🙏 je n'étais pas abonné sur ce dépôt sinon j'aurais réagis plus tôt.

Pour info le compte https://github.com/OpenDataFrance/ appartient à 2 personnes qui ne font plus partie depuis un bon moment d'OpenDataFrance. En ce qui me concerne je suis seulement "Member" et pas "Owner" sur le dépôt donc je n'ai pas les droits nécessaires pour l'administrer. Il serait peut-être possible de reprendre la gestion de ce compte mais je ne peux pas garantir. Ce dépôt est une simple copie, tous les schémas du SCDL sont ici : https://gitlab.com/opendatafrance/scdl/

Concernant la mise à jour du schéma lui-même, je n'ai pas passé en revue chaque commentaire ci-dessus et à fortiori chaque ligne mais je suggérerais en premier lieu et de manière générale 2 choses :

Réduire drastiquement le nombre de champs. Le schéma est passé de 250 à 626 lignes ce qui est énorme. Un bon schéma est un schéma respecté, donc est un schéma simple.
Utiliser des "custom checks" dans le schéma pour améliorer la qualité des données en validant différents formats métiers, à commencer par le format SIREN sur idAttribuant et idAutoriteGestion, voire en ajoutant des nouveaux formats à la librairie fr-format utilisée par Validata (RNA et idRAE seraient des bons candidats)
- https://gitlab.com/validata-table/validata-table/-/blob/main/docs/custom_checks.md
- Formats disponibles https://github.com/datagouv/fr-format/blob/main/docs/formats.md

Me viennent ensuite deux questions pour m'aider à mieux m'approprier les problématiques et à accompagner la mise à jour de ce schéma pour en maximiser les chances de succès :

Comment et par qui vont être produites les données respectant ce schéma ?

Est-ce que toutes les personnes (aka "producteurs de données") à qui est destiné le schéma vont l'utiliser de la même façon ? (outillage, sources d'informations utilisées...)

gcarra and others added 2 commits September 16, 2024 14:57

feat: first proposition of evolution

52b70aa

Merge pull request #1 from betagouv/proposition-1-evolution

20c0114

feat: first proposition of evolution

Pierlou requested changes Sep 23, 2024

View reviewed changes

gcarra and others added 11 commits February 3, 2025 18:57

modified schema.json

8d2c8f2

feat:added schema.md

bbbaccf

feat:added small modifschema.md

747ba5e

feat:added small modifschema.md

1d63e71

feat:added small modif schema.md to resolve exemple bug

6b5a6a3

fix ortohgraphie

50e2c21

Co-authored-by: alice-telescoop <94919029+alice-telescoop@users.noreply.github.com>

modif after seminaire

f9923aa

minor changes

99b0dd2

ortographe correction

8c201c9

update markdown

b188c0f

modif after Pierlou comments and format evolution

6e9efec

Propositon 1 evolution review

gcarra requested a review from Pierlou March 31, 2025 14:01

gcarra and others added 2 commits March 31, 2025 17:05

added descriptionIdJointure

01fa196

Merge pull request #3 from betagouv/add_descriptionIdJointure

de33547

added descriptionIdJointure

Pierlou reviewed Apr 1, 2025

View reviewed changes

gcarra added 2 commits April 7, 2025 11:34

first modif after review Pierlou 2

7ce5068

Merge branch 'master' of github.com:betagouv/SCDL-subventions-DataSub…

0ff2a67

…vention

gcarra added 2 commits April 23, 2025 14:45

add pattern to identifier

5e30a8b

delate custom check

9c28004

VSerain mentioned this pull request Jun 16, 2025

Point passation Giulia betagouv/api-subventions-asso#3503

Open

First (not definitive) proposition of SCDL schema evolution #2

Are you sure you want to change the base?

First (not definitive) proposition of SCDL schema evolution #2

Uh oh!

Conversation

gcarra commented Sep 16, 2024

Uh oh!

Pierlou commented Sep 17, 2024

Uh oh!

Pierlou left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

gcarra commented Oct 1, 2024

Uh oh!

Pierlou left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

johanricher commented Apr 7, 2025

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants