Nettoyer et structurer les données multi-registres : la boîte à outils méthodologique

La réalité du terrain : pourquoi nettoyer des données multi-registres est un impératif

Rassembler des données issues de plusieurs registres est le pain quotidien de quiconque travaille en santé publique, en épidémiologie ou en data science clinique. Que ce soit pour suivre une cohorte, estimer une incidence ou mesurer l’impact d’une intervention, difficile d’y échapper : on se retrouve, bien souvent, face à un amas de fichiers, de structures de données hétérogènes et d’informations en double, parfois contradictoires. Or, toute analyse repose sur la qualité de ses données sources : une erreur de nettoyage et c’est un biais statistique, voire une “fake news” scientifique en perspective (Source : The Lancet, 2020 – Rétractation étude COVID-19).

L’importance de la qualité des données n’est plus à démontrer : selon une étude publiée dans JAMA en 2019, près de 30 % des erreurs dans les études cliniques proviennent d’anomalies non détectées lors de la préparation des données. D’où l’importance d’une méthodologie rigoureuse, étape par étape, qui permette de fiabiliser vos jeux de données, les rendre exploitables et comparables, et, au bout du compte, de renforcer la légitimité scientifique de vos résultats.

Étape 1 - Faire l’inventaire et cartographier vos sources

La première étape commence toujours avec un travail de « cartographie » : il s’agit d’identifier, inventorier puis comprendre la logique de chaque registre mobilisé. Voici les points clés à examiner systématiquement :

• Origine (registre hospitalier, base administrative, registre national, etc.)
• Période de collecte (time frame) pour cerner la contemporanéité des données
• Population couverte : secteurs géographiques, critères d’inclusion/exclusion
• Variables collectées, leur définition, et leur granularité

Cette étape évite d’aligner des pommes et des poires. Elle éclaire aussi sur les potentiels recouvrements ou manques dans les jeux de données.

Étape 2 - Standardiser structure et terminologies

C’est l’harmonisation sémantique qui démarre. Les bases de données médico-administratives reposent souvent sur des codifications différentes (ICD-10 vs CIM-10, bases locales, bases nationales...), la typographie et la casse varient, les dates n’obéissent pas à la même logique (YYYY-MM-DD / DD/MM/YYYY…), et la granularité diffère dans l’identification (ex. : fichier avec “Nom, Prénom, Date de naissance” vs “ID patient”).

• Normaliser les formats de date : ISO 8601 (YYYY-MM-DD), toujours recommander
• Homogénéiser la casse : tout en majuscule ou tout en minuscule selon le contexte
• Traduire/Mapper les codes : utiliser un dictionnaire de correspondance
  • Par exemple, mappez les codes médicaments : ATC sur la même version (lien utile : WHO ATC/DDD Index).
  • Adoptez un thesaurus commun pour les diagnostics.

L’utilisation de dictionnaires (SCHÉMA, SNOMED, ATC, etc.) ou d’outils automatisés type OpenRefine pour la transformation rapide des termes est tout indiquée (openrefine.org).

Étape 3 - Identifier et traiter les doublons inter-registres

Quand on croise les registres, l’une des difficultés majeures consiste à identifier la même unité statistique (souvent le même patient) sur l’ensemble des jeux de données, alors que l’identifiant “unique” n’existe pas toujours ou est mal utilisé. Plusieurs stratégies coexistent :

1. Recherche sur clés exactes
   • Sur identifiants uniques (ID national de santé, NIR, etc.) : idéal mais rarement parfait à 100 % des cas
   • Sur combinaisons : “Nom + Prénom + Date de naissance + Sexe”
2. Recherche sur clés approximatives
   • Recours au “fuzzy matching” pour prendre en compte les incohérences (typos, différences d’écriture)
   • Outils : Pandas (Python), fuzzywuzzy, recordlinkage ou en R : stringdist, RecordLinkage
3. Analyse manuelle
   • Indispensable sur des échantillons témoin pour valider les algos

Le taux de discordance au niveau des identifiants peut dépasser 15 % dans certains grands projets nationaux (source : Health Data Research UK, 2021), surtout quand les données proviennent de structures différentes (ville/hôpital, public/privé...).

Une astuce : toujours garder les traces (logs) des paires fusionnées. Cela permettra de revenir sur les choix de “matching” lors d’un audit ou d’une revue de qualité.

Étape 4 - Gérer les incohérences et valeurs manquantes

Les écarts entre registres ne se limitent pas aux doublons. Vous trouverez fatalement des valeurs discordantes pour une même variable (dates différentes d’entrée en soin, diagnostics discordants, adresses différentes…). Pour ces cas, il convient de :

• Prioriser les sources selon leur fiabilité : registre spécialisé > base hospitalière > administratif Exemple : privilégier la date de diagnostic issue du registre de cancer sur une hospitalisation administrative
• Mettre en place des règles de gestion :
  • Date la plus ancienne/plus récente : à définir selon le contexte épidémiologique
  • Variable composite ou pondération
• Documenter chaque arbitrage dans un plan de gestion des données

Concernant les valeurs manquantes, la stratégie dépend de leur volume et de leur caractère plausible. Il existe plusieurs méthodes classiquement mobilisées :

1. Suppression : uniquement si le pourcentage de valeurs manquantes est faible et non systématique
2. Imputation, simple (valeur médiane/mode pour variables continues/catégorielles), ou plus avancée (algorithmes d’imputation multiple, cf. Rubin DB, 1996 - Multiple Imputation)
3. Analyse de sensibilité sur la robustesse des résultats selon les hypothèses d’imputation

Étape 5 - Tracer, documenter, versionner la chaîne de traitement

Dans tout processus, la traçabilité est vitale autant pour la reproductibilité scientifique que pour répondre à la réglementation (RGPD, CNIL). Il est essentiel de :

• Documenter chaque transformation : gardez un carnet de bord ou fichier README décrivant chaque étape de nettoyage
• Archiver les scripts de traitements, idéalement sous Git (exemple : GitHub)
• Versionner vos fichiers sources/traités et consigner la logique appliquée (nomenclatures, règles de fusion, exclusions)

Des outils comme DataLad (datalad.org), ou des solutions institutionnelles type Arda (France) permettent d’aller plus loin, en associant versionnage, documentation et conformité.

Point clef souvent négligé : faites relire vos scripts ou protocoles de nettoyage par un ou deux pairs. Ce “double contrôle” (peer review interne) diminue drastiquement le risque d’erreur “invisible”, et améliore la confiance dans vos résultats.

Étape 6 - Valider la qualité et identifier les limites du jeu de données

Le nettoyage n’est pas qu’une opération technique : c’est aussi la validation d’un socle scientifique. Avant toute analyse descriptive ou modélisation, prenez le temps de :

• Contrôler les distributions finales de chaque variable (summary statistics, visualisation)
• Rechercher les valeurs aberrantes (outliers), les “impossibles” (ex : date de décès avant date de naissance!)
• Comparer vos chiffres avec ceux de la littérature ou de registres de référence : toute anormalité doit être explicitée ou corrigée (cf. revue Cochrane sur la “benfordisation” des données, 2022)
• Documenter les limites demeurant malgré votre nettoyage (biais de sélection, variables inobservables…)

L’esprit critique prévaut : reconnaître la persistance d’imperfections dans la donnée, c’est aussi donner aux analyses postérieures leur juste portée.

À retenir pour fiabiliser vos analyses multi-sources

La structuration et le nettoyage de données issues de registres multiples constituent un véritable chantier, bien souvent plus exigeant que l’analyse statistique proprement dite. Investir du temps et rigueur dans cette phase en amont, c’est garantir la robustesse, l’interprétabilité et la reproductibilité de vos résultats – et éviter des erreurs majeures révélées bien trop tard dans le processus.

Beaucoup d’outils existent et de méthodes se partagent dans la communauté des data scientists en santé. Engager le dialogue avec vos collègues biostatisticiens, cliniciens ou gestionnaires de bases est une richesse et une sécurité supplémentaire. De nombreux guides complémentaires sont disponibles (cf. Directive STROBE pour les cohortes, EDS Data Cleaning pour une checklist pratique).

À chaque étape, gardez à l’esprit que la donnée parfaite n’existe pas, mais que la vigilance, l’esprit critique et la transparence dans votre démarche sont vos meilleurs atouts pour avancer dans une science ouverte, fiable et utile.