Vue d'ensemble

DATASTORY est un module de gouvernance des donnees et de gestion des metadonnees pour la plateforme ASSURF. Il permet de documenter, organiser et suivre les actifs de donnees de l'organisation sous forme de catalogue de donnees hierarchique.

Objectif principal

Centraliser la documentation des donnees metiers pour faciliter leur comprehension, leur utilisation et leur gouvernance au sein de l'entreprise.

Architecture des donnees

DATASTORY utilise une structure hierarchique a 4 niveaux pour organiser les metadonnees :

DataStory - Conteneur principal (actif de donnees)
|__ DataTable - Table logique de donnees
|__ DataVariable - Colonne/champ de donnees
|__ DataModality - Valeur categorielle
Relation parent-enfant

Chaque niveau est lie a son parent par une relation "un-a-plusieurs". La suppression d'un parent entraine la suppression de tous ses enfants (CASCADE).

Modeles de donnees

1. DataStory

Le conteneur principal representant un actif de donnees ou un projet.

Champ Type Description
nameCharFieldNom unique du DataStory
descriptionTextFieldDescription detaillee
sourceCharFieldSource des donnees (ex: sas, pnb)
data_sourceCharFieldEquipe proprietaire
statusCharFielddraft / published / archived
accessibilityCharFieldpublic / private
categoryCharFieldCategorie optionnelle
authorForeignKeyCreateur du DataStory

2. DataTable

Une table logique regroupant des variables au sein d'un DataStory.

Champ Type Description
datastoryForeignKeyDataStory parent
nameCharFieldNom de la table
descriptionTextFieldDescription
reference_sasCharFieldReference SAS

3. DataVariable

Une colonne ou un champ dans une DataTable.

Champ Type Description
datatableForeignKeyDataTable parent
nameCharFieldNom de la variable
descriptionTextFieldDescription
type_varCharFieldstring / integer / float / date / categorical
method_calculCKEditor5Methode de calcul (texte riche)

4. DataModality

Les valeurs possibles d'une variable categorielle.

Champ Type Description
datavariableForeignKeyDataVariable parent (categorielle uniquement)
nameCharFieldNom de la modalite
descriptionTextFieldDescription
data_typeCharFieldType de la modalite
Contrainte importante

Les DataModality ne peuvent etre creees que pour les DataVariable de type categorical.

Fonctionnalites

CRUD Complet
Creation, lecture, modification et suppression pour toutes les entites avec verification des permissions.
Import CSV/Excel
Importez vos donnees en masse via des fichiers CSV ou Excel avec detection automatique du separateur.
Recherche Globale
Recherchez dans tous les DataStories, Tables, Variables et Modalites depuis une seule barre de recherche.
Lignage des Donnees
Visualisez les relations entre vos donnees avec un graphe interactif (Neo4j ou fallback Django).
Audit Trail
Toutes les suppressions sont enregistrees avec possibilite de restauration des elements supprimes.
Historisation
Les modifications des variables sont automatiquement historisees pour garder une trace des changements.

Workflows

Creer un DataStory complet

1
Creer le DataStory
Renseignez les metadonnees de base : nom, description, source, statut.
2
Ajouter des DataTables
Creez les tables logiques qui composent votre actif de donnees.
3
Definir les DataVariables
Pour chaque table, ajoutez les colonnes avec leur type et description.
4
Ajouter les DataModalities
Pour les variables categorielles, definissez les valeurs possibles.
5
Visualiser le lignage
Consultez le graphe de lignage pour verifier les relations.

Routes URL

DataStory

Route Description
/datastory/Liste de tous les DataStories
/datastory/create/Creer un nouveau DataStory
/datastory/<id>/Detail d'un DataStory
/datastory/<id>/edit/Modifier un DataStory
/datastory/<id>/delete/Supprimer un DataStory

DataTable

Route Description
/datatable/create/Creer une DataTable
/datatable/<id>/edit/Modifier une DataTable
/datatable/<id>/delete/Supprimer une DataTable

API (JSON)

Route Description
/api/tables/<datastory_uuid>/Tables d'un DataStory
/api/variables/<table_uuid>/Variables d'une table
/api/modalities/<variable_uuid>/Modalites d'une variable

Import de donnees

DATASTORY permet d'importer des donnees en masse via des fichiers CSV ou Excel.

Formats supportes

  • CSV - Separateurs : virgule, point-virgule, tabulation
  • Excel - Format .xlsx

Templates disponibles

Telechargez les templates CSV pour chaque type de donnees :

Template URL
DataStory/download-data-story-template/
DataTable/download-data-table-template/
DataVariable/download-data-variable-template/
DataModality/download-data-modality-template/
Conseil

Utilisez toujours l'encodage UTF-8 pour vos fichiers CSV afin d'eviter les problemes d'accents.

Audit et restauration

Toutes les suppressions sont enregistrees dans un journal d'audit avec possibilite de restauration.

Consultation du journal

Accedez au journal d'audit via /datastory/logs/ pour voir :

  • L'utilisateur qui a effectue la suppression
  • La date et l'heure de la suppression
  • Les donnees completes de l'element supprime (JSON)
  • Le type de modele (DataStory, DataTable, etc.)

Restauration

Pour restaurer un element supprime :

1
Acceder aux logs
Allez sur la page /datastory/logs/
2
Trouver l'element
Utilisez les filtres pour trouver l'element supprime
3
Cliquer sur Restaurer
Le systeme verifiera les dependances et recreera l'element
Attention

La restauration necessite que les elements parents existent toujours. Par exemple, pour restaurer une DataTable, le DataStory parent doit exister.