Vous êtes soucieux de la qualité de vos données ? Alors, tout comprendre de la normalisation des données vous sera sans doute bien utile ! La data normalization ou normalisation des données consiste à transformer les données – sans les dénaturer – pour améliorer leur efficacité et pour qu’elles correspondent à un ensemble prédéfini et contraint de valeurs.

Découvrez l’importance de cette technique devenue indispensable pour les entreprises data-driven.

Comme toute entreprise qui s’oriente vers les données pour améliorer sa productivité, son efficacité, ou la pertinence de son offre ou de son discours sur son marché, la représentativité des données est un enjeu crucial. Votre défi : faire en sorte que l’intelligence issue de vos données soit maximale. Pour ce faire, il faut tout mettre en œuvre pour limiter la distorsion de l’information. C’est la vocation de la data normalization, que l’on appelle également normalisation des données.

La normalisation des données est un processus couramment utilisé en statistiques, en science des données et en apprentissage automatique (machine learning) pour mettre à l’échelle les valeurs de différentes variables dans un même intervalle. L’objectif principal de la normalisation est de rendre les données comparables entre elles et plus facilement interprétables par les algorithmes d’analyse et de modélisation.

Pourquoi la normalisation des données est-elle importante pour les entreprises ?

Dans de nombreux cas, les données peuvent avoir des échelles très différentes, c’est-à-dire que certaines variables peuvent avoir des valeurs beaucoup plus grandes ou plus petites que d’autres. Cela peut poser des problèmes pour certaines techniques statistiques ou algorithmes d’apprentissage automatique, car ils peuvent être sensibles à l’échelle des données. La normalisation permet de résoudre ce problème en ajustant les valeurs des variables pour qu’elles se situent dans un intervalle spécifié, souvent entre 0 et 1, ou autour de la moyenne avec un écart-type donné.

Quels sont les avantages associés à la normalisation des données ?

La normalisation des données améliore la qualité, la performance et l’interprétabilité des analyses statistiques et des modèles d’apprentissage automatique en éliminant les problèmes liés à l’échelle des variables, et en permettant une comparaison plus juste entre différentes caractéristiques des données. Dans les faits, cela se traduit par des avantages concrets :

Comparabilité maximale : Les données normalisées sont mises à la même échelle, permettant une comparaison et une interprétation plus facile entre différentes variables.

Optimisation de l’apprentissage automatique : La normalisation facilite la convergence plus rapide des algorithmes d’apprentissage automatique en réduisant l’échelle des variables, aidant ainsi à atteindre des résultats fiables et consolidés plus rapidement.

Stabilité renforcée des modèles : La normalisation réduit l’impact des valeurs extrêmes (outliers) et rend les modèles plus stables et résistants aux variations des données.

Amélioration de l’interprétabilité : La normalisation des données facilite l’interprétation des coefficients, rendant l’analyse plus compréhensible.

Quelles sont les méthodes utilisées pour normaliser les données ?

Il existe plusieurs méthodes de normalisation des données, mais deux d’entre elles sortent du lot à commencer par la méthode de Min-Max Scaling. Elle repose sur le principe d’une mise à l’échelle des valeurs d’une variable afin qu’elles se situent dans un intervalle spécifié, généralement entre 0 et 1. Cette technique est particulièrement utile lorsque vous souhaitez conserver la relation linéaire entre les valeurs originales.

Une autre méthode, appelée Z-Score normalization est une technique qui répond davantage à un impératif de standardisation. Elle transforme les valeurs d’une variable pour qu’elles aient une moyenne de 0 et un écart-type de 1. Contrairement à la normalisation Min-Max, la standardisation n’impose pas de limite supérieure ou inférieure spécifique aux valeurs transformées. Cette technique est recommandée lorsque les variables ont des échelles très différentes, car elle permet de centrer les données autour de zéro et de les mettre à l’échelle par rapport à l’écart-type.

D’autres méthodes peuvent également être envisagées dans une optique de normalisation des données, mais elles sont plus marginales. Retenez toutefois la normalisation par décimale (Decimal Scaling) ou la normalisation par vecteur unitaire (Unit Vector Scaling).

La normalisation par décimale consiste à diviser chaque valeur d’une variable par une puissance de 10 en fonction du nombre de chiffres significatifs. Cela déplace la virgule vers la gauche, plaçant le chiffre le plus significatif à gauche de la décimale. Cette technique ajuste les valeurs pour qu’elles se situent dans un intervalle plus petit, simplifiant ainsi les calculs.

La normalisation par vecteur unitaire est utilisée dans le domaine de l’apprentissage automatique. Elle consiste à diviser chaque valeur d’un vecteur de données par la norme euclidienne du vecteur, transformant ainsi le vecteur en un vecteur unitaire (de longueur 1). Cette technique est souvent employée dans des algorithmes qui calculent les distances ou les similarités entre des vecteurs.

Quelle est la différence entre normalisation et standardisation des données ?

La normalisation des données (data normalization) et la standardisation des données (data standardization) répondent au même enjeu de représentativité de la donnée mais dans des perspectives différentes. Bien qu’elles soient toutes les deux des techniques de mise à l’échelle des données, elles diffèrent dans la manière dont elles transforment les valeurs des variables.

La standardisation transforme les valeurs d’une variable pour qu’elles aient une moyenne de 0 et un écart-type de 1. Contrairement à la normalisation, la standardisation ne fixe pas de plage spécifique pour les valeurs transformées. La standardisation est utile lorsque les variables ont des échelles très différentes, et elle permet de centrer les données autour de zéro et de les mettre à l’échelle par rapport à l’écart-type, ce qui peut faciliter l’interprétation des coefficients dans certains modèles. En fonction de la nature de vos données et des enseignements que vous souhaitez en tirer, il faudra tantôt recourir à la data normalization, tantôt à la data standardization.

Afin de vous démarquer de vos concurrents, d’innover et de proposer des produits et services toujours plus personnalisés, vos données sont essentielles. Mais attention, chaque jour de nouveaux petits désordres peuvent entamer leur qualité. Données incomplètes ou inexactes, problèmes de sécurité, données cachées, doublons, incohérences ou inexactitudes, la liste est longue.

Voici un tour d’horizon des erreurs liées à la data quality les plus courantes et une présentation des leviers à actionner pour les circonscrire pour de bon !

Les risques associés à des données de mauvaise qualité

On ne le répètera jamais assez : en matière de data, le véritable enjeu n’est pas celui du volume disponible mais celui de la qualité des données. Le data quality management (DQM) est une discipline exigeante qui repose sur une remise en question permanente des processus data, mais aussi sur une veille constante sur la nature même des informations qui constituent votre patrimoine de données. La mauvaise qualité des données peut se traduire directement par une baisse des revenus et une hausse des coûts opérationnels, entraînant potentiellement des pertes financières pour votre entreprise.

Lorsque la qualité des données est dégradée, les analyses, les projections, les prévisions, les décisions même peuvent être faussées. Et plus le volume de données dégradées est important, plus le décalage entre la réalité et votre compréhension de la réalité l’est aussi. Veiller à la qualité des données passe d’abord par une bonne compréhension des erreurs qui peuvent les affecter.

Les principales erreurs liées à la data quality

Veiller à la qualité des données est un enjeu-clé pour toute entreprise qui appuie sa stratégie de développement sur la data. Pour mener des actions ciblées, il faut savoir prioriser les tâches et ne pas s’éparpiller. Le data quality management consiste à identifier l’ensemble des informations erronées susceptibles de fausser vos prises de décision. Ces données erronées peuvent être classées en quatre catégories.

Les données dupliquées

La confusion est fréquente entre données dupliquées et données en doublon. Pourtant, elles sont différentes. Lorsque des données sont en doublon, cela signifie qu’une même information est présente à plusieurs reprises dans une même base de données ou un même fichier. On parle de données dupliquées lorsqu’une même information est présente dans différents fichiers. La duplication de données est donc plus insidieuse car souvent plus difficile à détecter. Au-delà de 5% de données dupliquées, on considère que la qualité des données commence à être dégradée. Les outils de CRM sont par exemple souvent générateurs de données dupliquées, car leurs utilisateurs ajoutent parfois des contacts sans vérifier leur présence préalable en base.

Les données cachées

Au quotidien, votre entreprise génère un volume croissant de données. Très souvent, vous n’exploitez qu’une partie limitée du volume d’information disponible. Le reste de la data produite par votre activité se disperse et se retrouve dilué dans des silos de données. Elles demeurent alors définitivement inexploitées. Par exemple, les historiques d’achat d’un client ne sont pas toujours mis à disposition des équipes du service client. Or, ces informations permettraient de mieux cerner le profil du client et donc, d’apporter des réponses plus pertinentes à ses demandes spécifiques, voire de réaliser de l’upsell ou du cross-sell en lui faisant des suggestions adaptées.

Les données incohérentes

Patrick Dupont et Patrick Dupond sont-ils vraiment deux clients différents ? Il n’est pas toujours simple de le savoir. Les données incohérentes nuisent considérablement à la qualité des données. Elles peuvent aussi être créées par un autre phénomène bien connu : celui de la redondance. Ce phénomène se manifeste lorsqu’au-delà de vos données propres, vous travaillez avec plusieurs sources (notamment des données tierces). Divergences de formats de données, d’unité, ou encore d’orthographe, autant d’incohérences qui doivent être traquées dans une démarche de data quality.

Les données inexactes

Cela peut sembler évident mais les données inexactes sont le pire fléau susceptible d’entamer la qualité des données. Lorsque les données clients sont inexactes, les expériences client personnalisées proposées ne seront pas pertinentes. Si par exemple les données liées à vos stocks sont erronées, les difficultés d’approvisionnement ou les coûts de stockage risquent d’exploser. Coordonnées erronées, informations manquantes ou vides, vous devez tout mettre en œuvre pour éradiquer les données inexactes.

Comment résoudre les problèmes de qualité des données ?

Si les principes de bon sens président souvent à une bonne gestion de la qualité des données, ils ne suffisent pas à la garantir.

Pour relever le défi et résoudre vos problèmes de qualité des données, il vous faudra vous doter d’un outil de Data Quality Management. Mais pour choisir la solution adaptée, vous devrez commencer par réaliser une cartographie rigoureuse de vos actifs data afin d’identifier la réalité des usages dans votre entreprise et d’évaluer leur qualité réelle. Déploiement d’une solution de Data Quality Management, gouvernance de la donnée, formation et sensibilisation de vos équipes à la bonne gestion de la data… sont autant de piliers indispensables pour limiter les erreurs liées à la data quality !

Pour en savoir plus sur la discipline du Data Quality Management, n’hésitez pas à télécharger gratuitement notre ebook Le Guide du Data Quality Management 👇

Décider dans l’incertain et se fier à l’intuition n’est plus une option lorsque vos concurrents sont déjà engagés dans l’exploitation de la donnée. vous devez aller plus loin. Avec la Data Ingestion ou ingestion de la donnée, vous accédez plus rapidement et plus efficacement à l’information en la centralisant en un point unique. Tour d’horizon.

Dans un contexte d’hyper-concurrence et de digitalisation de votre activité, votre entreprise est engagée dans une course contre le temps. Une course qui ne vous oppose pas nécessairement à vos concurrents directs, mais une course qui se joue entre votre entreprise et vos clients. L’enjeu : identifier toujours plus vite les tendances de consommation et les besoins de vos cibles pour anticiper les attentes. Être le premier à satisfaire un besoin donné, s’implanter avant tous les autres sur un marché émergeant… Des nécessités stratégiques qui trouvent une réponse dans la Data Ingestion ou ingestion des données.

Cette pratique contribue à disposer d’une connaissance plus fine de vos clients ou de votre marché en exploitant des données toujours plus hétérogènes qui vous permettent d’identifier des signaux faibles en vue de dégager rapidement des tendances mais surtout efficacement.

Comprendre ce qu’est l’ingestion des données

Le principe de l’ingestion de données repose sur l’idée de centraliser, en un point, différentes sources de données. Par nature, ces données hétéroclites doivent faire l’objet d’un nettoyage et d’un dédoublonnage méticuleux, afin d’être réunies dans un environnement cible, pour ensuite être traitées et exploitées. Que vos données proviennent d’un datalake, de fichiers clients, d’applications SaaS ou de toute autre source, elles peuvent être agrégées au sein d’un site cible afin de les réconcilier dans le but d’améliorer la compréhension d’un marché, d’un écosystème, d’une cible.

Le terme de réconciliation résume parfaitement la vocation de l’ingestion de données. Le principe étant de combiner la connaissance que recèlent différents types de base de données pour en maximiser les enseignements.

Quels sont les principaux avantages de l’ingestion des données ?

Si vous décidez de vous engager dans un projet de Data Ingestion, vous pourrez tirer différents bénéfices de votre effort. Tout d’abord, vous gagnerez immanquablement en réactivité et en flexibilité. En effet, les outils permettant de réaliser de l’ingestion de données sont en mesure de gérer et de traiter non seulement de très grands volumes de données mais aussi une large gamme de types de données, notamment des données non structurées.

L’ingestion de données, c’est également une promesse de simplicité.

Par sa capacité à réconcilier des sources d’information disparates, la Data Ingestion facilite considérablement les processus d’extraction de données et de restructuration dans des formats prédéfinis, afin de les rendre plus aisément exploitables.

Ces informations auxquelles l’ingestion de données vous donnent accès peuvent ensuite être valorisées au sein d’outils analytiques avancés. L’objectif : maximiser les bénéfices de cette connaissance approfondie de vos clients ou de votre marché, afin de nourrir des outils de business Intelligence. Vous pourrez ainsi plus aisément prendre de la hauteur pour définir de nouvelles orientations stratégiques, adossées à un vrai projet data qui gagne en profondeur et vous permet d’inscrire votre entreprise dans une perspective « data-driven ». En effet, l’ingestion de données contribue à simplifier l’accès à la donnée à vos collaborateurs.

Une culture data plus développée rime aussi avec des prises de décision plus rapides et plus éclairées et, par conséquent, un avantage concurrentiel pour définir des axes tactiques et stratégiques plus performants.

Quels défis relever pour réussir l’ingestion des données ?

Une discipline comme la Data Ingestion demeure exigeante, et pour délivrer son plein potentiel elle a besoin qu’un certain nombre de conditions soient réunies. Ainsi, il faut savoir que l’ingestion de très grands volumes de données peut soulever des problématiques de Data Quality qui non seulement peuvent dégrader la pertinence des analyses, mais aussi rallonger les délais de traitement. Par ailleurs, la diversité des sources de données augmente mécaniquement l’exposition à des vulnérabilités. Ces deux défis majeurs en induisent un troisième dont il faut avoir conscience avant de se lancer.

Plus de complexité et plus d’exposition au risque, cela induit mécaniquement un risque d’augmentation des coûts de traitement. Pour réussir un projet d’ingestion de données, il faut avoir conscience de ces risques pour s’en prémunir… 

Comment réussir un projet de Data Ingestion ?

Le premier conseil pour engager efficacement un projet de Data Ingestion, c’est celui de l’anticipation. De la bonne cartographie de vos actifs data dépend votre capacité à anticiper les risques et les difficultés.

L’autre levier à actionner est celui de l’automatisation.

Les volumes de données traités par Ingestion de données sont tels que les opérations manuelles doivent être limitées au maximum. L’automatisation du traitement de l’information présente par ailleurs l’avantage d’offrir plus de cohérence à la structure de vos données.

Enfin, pour maximiser les chances de succès de votre projet d’ingestion de données, vous pouvez également envisager d’opter pour une data ingestion en temps réel. Connue également sous le nom d’ingestion en streaming ou en flux, elle est particulièrement adaptée lorsque vous cherchez à actualiser en permanence la connaissance que vous pouvez avoir d’un marché. Cette ingestion en temps réel apporte une réponse-clé à des enjeux de prise de décision en temps réel.

Des outils nécessaires, mais pas suffisants

Chez les utilisateurs des solutions Zeenea, la démocratisation des données et le souhait de basculer vers un modèle décisionnel data-driven sont naturellement des priorités. D’ailleurs, l’accès aux données de ces organisations est partiellement démocratisé puisqu’elles sont toutes équipées d’outils dédiés comme des data lakes et data labs. Naturellement, le déploiement d’un Data Catalog dans ces entreprises en est également l’illustration, avec l’exploitation d’une plateforme unique capable de centraliser tout un patrimoine de données qui est partagé avec l’ensemble des collaborateurs.

Ces outils sont des briques essentielles à toute démarche data-driven, mais ils ne permettent pas à eux seuls de démocratiser l’accès à la donnée. Si l’on prend l’exemple d’un data catalog, l’outil devient particulièrement efficace dès lors qu’il est utilisé par le plus grand nombre dans l’organisation. Ce sont la multiplication des cas d’usages et le travail de documentation des actifs de données par un maximum de collaborateurs qui permettent de libérer la valeur de la mine d’informations de l’entreprise. Chacun à son échelle peut alors bénéficier du travail du collègue, un cercle vertueux en somme. Et pour favoriser cela, un changement culturel est nécessaire.
 

La culture d’entreprise

Il subsiste parfois au sein des organisations que nous accompagnons un déficit de prise de conscience de la valeur du patrimoine de données à disposition et d’adhésion à la démarche de documentation et de partage des données. Le challenge se situe notamment au niveau de l’usage des outils mentionnés précédemment, avec des données qui restent souvent dans silos entre les différents départements et équipes. Cet état d’esprit est d’autant plus difficile à changer au niveau des métiers, alors que les équipes IT sont culturellement plus sensibilisées et enclines à la documentation et au partage des datas.

Des cellules de gouvernances sont en ce sens créées pour favoriser cette prise de conscience, mais elles souffrent d’un déficit de légitimité dans l’organisation ce qui complique leur travail de sensibilisation au rôle central de la data pour l’entreprise. Dans la littérature du data mesh, il est d’ailleurs conseillé de fédérer / décentraliser la gouvernance de la donnée. Les équipes métiers doivent y être intégrées, au risque qu’un écart de langage se crée : les équipes de gouvernance doivent travailler avec les Data Owners, Data Engineers, Data Analysts, etc. La démocratisation de l’accès aux données doit nécessairement passer par la rencontre entre producteurs et consommateurs de données.

La notion de changement d’état d’esprit dans l’entreprise est une nécessité pour compléter l’outillage en place pour démocratiser la donnée. Les recherches publiées par Gartner montrent qu’historiquement les organisations évoluent dans une culture défensive du “ne jamais partager, sauf” de bonnes raisons de la partager. L’institut de recherche insiste sur la nécessité de basculer sur une philosophie du “toujours partager la donnée, sauf”. Les outils (data lakes, data labs, data catalogs etc.) ne suffisent pas pour démocratiser la donnée s’ils ne sont pas portés par ce changement culturel.

La documentation a posteriori

De nombreux projets sont d’abord guidés par les coûts et les délais, et dans ces cas de figure, la data gouvernance et la data quality ne sont généralement pas des sujets prioritaires dès le départ pour les métiers dans l’organisation. On observe ainsi une tendance à la documentation a posteriori, compliquant la tâche de partage et de documentation. La qualité des données, et a fortiori de sa documentation, sont ainsi trop souvent la dernière roue du carrosse.
 

Le manque de temps

Le manque de documentation est un biais exacerbé dans les organisations dont le produit et la valeur sont créés via l’exploitation des données. Le frein à la démocratisation est alors plutôt lié au manque de temps pour la documentation qu’à un déficit de culture d’entreprise data-driven comme évoqué plus haut. Si l’on s’appuie de nouveau sur l’exemple du data catalog et du métier de Data Scientist, on observe que ce type de population a plus ou moins l’envie de documenter son activité mais ne prend pas le temps de le faire puisque la complétude du data catalog n’est pas une priorité.

En outre, la documentation et la mise à disposition des données ne sont pas toujours au programme des missions des collaborateurs. Il y a donc aussi une dimension RH pour la démocratisation. La mission de documentation peut être ajoutée au scope des missions des collaborateurs pour favoriser la démocratisation et la responsabilisation.
 

Le volume des données

Une forme de peur naît parfois lorsqu’il est demandé aux contributeurs de partager leurs propres données métier au sein d’un grand conteneur commun (data lake ou data catalog). Il s’agit de la crainte de se retrouver noyé dans un océan de données ajoutées par d’autres entités de l’organisation, et de ne plus s’y retrouver.

Le data catalog est précieux pour apaiser cette crainte chez les producteurs de données. En effet, l’outil leur offre d’une part la possibilité d’explorer facilement leurs propres données, mais également de se servir de datas produites par d’autres pour leurs propres cas d’usages.
 

La sécurité des données

L’aspect sécurité revient régulièrement comme un prétexte pour ne pas partager la donnée au sein de l’entreprise. Hors il existe aujourd’hui des systèmes efficaces de gestion des permissions utilisateurs comme celui intégré au data catalog Zeenea par exemple, qui couplé à une culture du partage et de la responsabilisation peuvent permettre de passer outre cette barrière.
 

La propriété des données

En ce qui concerne la notion de propriété, on observe trop souvent un ownership des jeux de données à un niveau local. Pourtant la donnée est un bien d’entreprise, un patrimoine commun, et seuls des aspects réglementaires devraient justifier une propriété locale. Dans les autres cas, cet ownership devient rapidement un frein à la documentation : la culture d’entreprise doit favoriser la mise à disposition de la donnée au plus grand nombre, sous la responsabilité d’une entité ou d’individus.

Si vous souhaitez échanger avec nous sur les obstacles à la démocratisation des données en entreprise décrits dans cet article, ou si vous souhaitez une présentation des solutions Zeenea à destination des entreprises data-driven :

La qualité de la donnée, Data Quality en anglais, fait référence à la capacité d’une entreprise à maintenir la pérennité de ses données à travers le temps. À écouter certains professionnels de la qualité des données on peut avoir le sentiment qu’améliorer la qualité des données est la solution à tous les problèmes métiers – que cela devrait donc être une top priorité. 

Chez Zeenea, la réalité est, selon nous, à nuancer : la Data Quality devrait être considérée uniquement comme un moyen parmi d’autres de réduire l’incertitude d’atteindre les objectifs de votre entreprise.

Dans cette série d’articles, nous vous livrerons tout ce que les professionnels des données doivent savoir sur la gestion de la qualité des données ou Data Quality Management (DQM) :

1. Les neuf dimensions de la qualité de la donnée
2. Les défis et risques liés à la qualité des données
3. Les principales fonctionnalités d’un outil de DQM
4. La contribution du Data Catalog au DQM

Un data catalog n’est pas un outil de DQM

Un point essentiel étant qu’un catalogue de données ne doit pas être considéré comme un outil de gestion de la qualité à part entière.

Tout d’abord, l’un des principes au cœur de la qualité de la donnée est que les contrôles doivent idéalement s’effectuer directement dans le système source. Le fait d’effectuer ces contrôles uniquement dans le data catalog – et non directement à la source et dans les flux de transformation de données – augmente le coût global de la démarche.

Ensuite, un data catalog doit être exhaustif et le moins intrusif possible pour favoriser son déploiement rapide au sain de l’entreprise. Cela n’est pas compatible avec la complexité des transformations de données et la multitude des outils utilisés pour réaliser ces transformations.

Enfin, un data catalog doit rester un outil simple à comprendre et à utiliser, comme décrit dans l’article 3 de notre Data Democracy.

Comment un data catalog contribue-t-il à l’amélioration de la Data Quality ?

Si le data catalog n’est pas un outil de qualité des données, il y contribue néanmoins largement. Et voici comment :

• Un data catalog permet aux consommateurs de la donnée de comprendre facilement les métadonnées afin d’éviter les interprétations sur les données. Cette fonctionnalité de base fait écho à la dimension de clarté de la qualité ;

• Un data catalog permet d’avoir une vue centralisée sur toutes les données disponibles dans l’entreprise. Les informations de qualité de données sont donc des métadonnées comme les autres qui apportent de la valeur, et qui doivent être mises à disposition de tous les utilisateurs. Elles doivent être faciles à interpréter et à récupérer, faisant écho aux dimensions de précision, de cohérence, de conformité, d’unicité, de complétude et de fraîcheur.

• Un data catalog possède des capacités de traçabilité des données (Data Lineage), faisant écho à la dimension de traçabilité de la qualité ;

• Un data catalog permet en général d’accéder directement à la source des données, faisant écho à la dimension de disponibilité de la qualité.

La stratégie d’implémentation du DQM

Le tableau suivant détaille comment la qualité de la donnée est prise en compte en fonction des différentes solutions existantes sur le marché :

Comme décrit précédemment, le maximum de tests et vérifications sur la qualité doivent par défaut être fait directement dans le système source. L’intégration des tests de qualité dans un data catalog peut certes améliorer l’expérience utilisateur, mais n’est pas indispensable du fait de ses limitations – la Data Quality n’étant pas intégrée aux flux de transformation.

Néanmoins, lorsque les systèmes se complexifient et que l’on cherche par exemple à consolider les données de plusieurs systèmes heteroclites qui n’ont pas implémenté les mêmes règles fonctionnelles, un outil de Data Quality spécialisé devient alors indispensable.

La stratégie d’implémentation va dépendre des cas d’utilisation et des objectifs de l’entreprise. Il est néanmoins pertinent d’essayer de mettre en place la qualité de la donnée de manière incrémentale : 

1. S’assurer que le système source ait bien mis en place les règles de qualité pertinentes ;
2. Mettre en place un data catalog pour améliorer la qualité sur les dimensions de clarté, traçabilité et/ou de disponibilité ;
3. Intégrer la Data Quality dans les flux de transformation avec un outil spécialisé, tout en remontant automatiquement ces informations dans le data catalog via API.

Conclusion

La Data Quality fait référence à la capacité d’une entreprise à maintenir la pérennité de ses données dans le temps. Chez Zeenea, nous la définissons via le prisme de neuf des soixante dimensions décrites par DAMA International : la complétude, la précision, la conformité, l’unicité, la cohérence, la fraîcheur, la traçabilité, la clarté et la disponibilité.

En tant que fournisseur de data catalog, nous réfutons l’idée qu’un catalogue de données est un outil de gestion de la qualité à part entière. En réalité, il s’agit uniquement d’un moyen parmi d’autres de contribuer à l’amélioration de la Data Quality, notamment via les dimensions de clarté, de disponibilité et de traçabilité.

La qualité de la donnée, Data Quality en anglais, fait référence à la capacité d’une entreprise à maintenir la pérennité de ses données à travers le temps. À écouter certains professionnels de la qualité des données on peut avoir le sentiment qu’améliorer la qualité des données est la solution à tous les problèmes métiers – que cela devrait donc être une top priorité. 

Chez Zeenea, la réalité est, selon nous, à nuancer : la Data Quality devrait être considérée uniquement comme un moyen parmi d’autres de réduire l’incertitude d’atteindre les objectifs de votre entreprise.

Dans cette série d’articles, nous vous livrerons tout ce que les professionnels des données doivent savoir sur la gestion de la qualité des données ou Data Quality Management (DQM) :

1. Les neuf dimensions de la qualité de la donnée
2. Les défis et risques liés à la qualité des données
3. Les principales fonctionnalités d’un outil de DQM
4. La contribution du Data Catalog au DQM

Une façon de comprendre les enjeux de la qualité de la donnée est d’étudier les solutions qui existent sur le marché pour la gérer.

Comment fait-on pour identifier et corriger des problèmes de qualité de façon opérationnelle ? Que proposent la plupart des outils du marché comme fonctionnalités pour améliorer la qualité de la donnée ?

Sans rentrer trop dans les détails, je vous propose d’illustrer les qualités d’un outil de Data Quality Management en m’appuyant sur les principaux critères d’évaluation du Magic Quadrant for Data Quality Solutions de Gartner.

La connectivité

Un outil de gestion de la qualité doit être capable de récupérer et d’appliquer des règles de qualité sur toutes les données de l’entreprise (données internes, externes, on-prem, cloud, relationnelles, non relationnelles etc.). L’outil doit donc être capable de se connecter à toutes les données importantes de l’entreprise pour appliquer des règles de qualité.

Le profilage, la mesure et la visualisation des données

Pour pouvoir corriger des problèmes de qualité, encore faut-il pouvoir les détecter. Le profilage des données permet aux utilisateurs métier et à l’IT d’avoir un aperçu des données, dans le but d’identifier et de comprendre les problèmes de qualité des données.

L’outil doit donc être capable de réaliser l’exercice décrit dans la partie Les neuf dimensions de la qualité de la donnée pour identifier les problèmes de qualité à travers les dimensions les plus importantes pour l’entreprise.

Le monitoring

L’outil doit pouvoir surveiller l’évolution de la qualité de la donnée et alerter les responsables à partir de certains seuils.

La standardisation et le nettoyage des données

Vient forcément le moment de nettoyer la donnée. L’objectif ici est de fournir des fonctionnalités de nettoyage des données afin d’appliquer des normes ou des règles métiers pour modifier les données (format, valeurs ou mise en page).

Le matching et la fusion des données

L’objectif est d’identifier et de supprimer les doublons qui peuvent être présents au sein ou entre des ensembles de données.

La validation des adresses

L’objectif est de pouvoir standardiser des adresses qui pourraient être incomplètes ou erronées.

La curation et l’enrichissement des données

Ce sont les capacités d’un outil de Data Quality Management qui permettent d’intégrer des données provenant de sources externes afin d’améliorer la complétude – et donc d’ajouter de la valeur à la donnée.

Le développement et la mise en oeuvre de règles métier

Ce sont les capacités d’un outil de gestion de la qualité permettant de créer, déployer et gérer des règles métier, qui peuvent ensuite être utilisées pour valider les données.

La résolution des problèmes

L’outil de gestion de la qualité devrait permettre aux métiers et à l’IT d’affecter, d’escalader, de résoudre et de surveiller les problèmes de qualité des données.

La gestion des métadonnées

L’outil devrait également être capable de capturer et de réconcilier toutes les métadonnées relatives au processus de qualité des données.

La convivialité

Enfin, la solution doit s’adapter aux différents rôles de l’entreprise, et particulièrement aux utilisateurs métiers non techniques.

La qualité de la donnée, Data Quality en anglais, fait référence à la capacité d’une entreprise à maintenir la pérennité de ses données à travers le temps. À écouter certains professionnels de la qualité des données on peut avoir le sentiment qu’améliorer la qualité des données est la solution à tous les problèmes métiers – que cela devrait donc être une top priorité. 

Chez Zeenea, la réalité est, selon nous, à nuancer : la Data Quality devrait être considérée uniquement comme un moyen parmi d’autres de réduire l’incertitude d’atteindre les objectifs de votre entreprise.

Dans cette série d’articles, nous vous livrerons tout ce que les professionnels des données doivent savoir sur la gestion de la qualité des données ou Data Quality Management (DQM) :

1. Les neuf dimensions de la qualité de la donnée
2. Les défis et risques liés à la qualité des données
3. Les principales fonctionnalités d’un outil de DQM
4. La contribution du Data Catalog au DQM

Les entreprises face au défi de la qualité des données

Les initiatives d’amélioration de la qualité des données sont traditionnellement mises en place par les entreprises pour répondre aux exigences de conformité et de réduction des risques. Elles sont également indispensables pour faciliter la prise de décision fiable.

Il existe malheureusement de nombreuses frictions qui peuvent empêcher d’atteindre ces objectifs d’amélioration de la qualité des données. En voici quelques exemples :

• La croissance exponentielle du volume, de la vitesse et de la variété des données rend l’environnement plus complexe etincertain ;
• La pression croissante des réglementations de conformité telles que RGPD, BCBS 239 ou HIPAA ;
• Les équipes sont de plus en plus décentralisées, avec chacune leur domaine de compétence ;
• Les équipes IT et Data sont débordées et n’ont pas le temps de traiter le sujet de la Data Quality ;
• Ces mêmes équipes peuvent parfois éviter la tâche qu’il trouvent ingrate ;
• Les processus sont complexes et longs pour agréger les données ;
• Il peut être difficile de standardiser les données entre différentes sources ;
• L’audit des changements entre les systèmes est complexe ;
• Les politiques de gouvernance sont difficiles à mettre en oeuvre.

D’un autre côté, les opportunités sont également nombreuses. S’assurer d’avoir des données de qualité permet notamment aux entreprises de faciliter l’innovation avec l’intelligence artificielle, au service de la création d’une expérience personnalisée pour les clients. Mais encore faut-il avoir suffisamment de données de qualité. 

Gartner prédit ainsi que jusqu’en 2022, 85 % des projets d’IA produiront des résultats erronés en raison de biais dans les données, les algorithmes ou les équipes chargées de les gérer.

Diminuer le niveau de risque en améliorant la qualité des données

La mauvaise qualité des données devrait être considérée comme un risque, et les logiciels qui améliorent la qualité comme des traitements possibles pour réduire ce niveau de risque.

Le processus de traitement d’un problème de qualité :

Si l’on part du postulat précédent, tout problème de qualité devrait alors être adressé en plusieurs phases :

1. Identification des risques : cette phase consiste à rechercher, reconnaître et décrire les risques qui peuvent aider ou empêcher l’entreprise d’atteindre ses objectifs – et notamment en raison d’un manque de qualité de données.

2. L’analyse du risque : cette phase a pour objectif de comprendre la nature du risque et ses caractéristiques. Elle inclut des facteurs de vraisemblance d’événements et leurs conséquences, la nature et l’importance de ces conséquences, l’efficacité des moyens de maîtrise existants etc. 

On va donc chercher ici à identifier ce qui a pu causer la mauvaise qualité des données marketing. On pourrait citer par exemple :

• Une mauvaise expérience utilisateur du système source qui entraîne des erreurs de saisie ;
• Un manque de vérification de la complétude, la précision, la conformité, l’unicité, la cohérence ou la ponctualité des données ;
• Un manque de moyens simples pour assurer la traçabilité, la clarté et la disponibilité des données ;
• L’absence de process de gouvernance et d’implication des équipes métiers.

3. L’évaluation du risque : cette phase vise à comparer les résultats de l’analyse du risque avec les critères de risque établis. Elle permet de déterminer si une action supplémentaire est exigée pour la prise de décision – par exemple maintenir les moyens existants, examiner les options de traitement, ou encore entreprendre une analyse plus approfondie etc.

Concentrons-nous sur les neuf dimensions de la Data Quality et essayons d’évaluer l’impact d’une mauvaise qualité sur chacune d’entre elles en nous appuyant sur une matrice probabilité / gravité :

Les valeurs renseignées pour les niveaux de probabilité et de gravité doivent être définies avec les principales parties prenantes, c’est-à-dire les opérationnels qui connaissent le mieux les données en question.

4. Traitement du risque : cette phase de traitement a pour but d’établir les options à choisir pour réduire le risque et mettre en œuvre les actions pour y parvenir. Ce traitement implique aussi d’apprécier l’efficacité des actions menées, de déterminer si le risque résiduel est acceptable ou non – et dans ce dernier cas – d’éventuellement envisager un traitement complémentaire.

L’amélioration de la qualité de la donnée n’est donc pas un but en soi :

• Son coût doit être évalué au regard des objectifs de l’entreprise ;
• Les traitements à mettre en place doivent être évalués à travers chacune des dimensions de la qualité.

La qualité de la donnée, Data Quality en anglais, fait référence à la capacité d’une entreprise à maintenir la pérennité de ses données à travers le temps. À écouter certains professionnels de la qualité des données on peut avoir le sentiment qu’améliorer la qualité des données est la solution à tous les problèmes métiers – que cela devrait donc être une top priorité. 

Chez Zeenea, la réalité est, selon nous, à nuancer : la Data Quality devrait être considérée uniquement comme un moyen parmi d’autres de réduire l’incertitude d’atteindre les objectifs de votre entreprise.

Dans cette série d’articles, nous vous livrerons tout ce que les professionnels des données doivent savoir sur la gestion de la qualité des données ou Data Quality Management (DQM) :

1. Les neuf dimensions de la qualité de la donnée
2. Les défis et risques liés à la qualité des données
3. Les principales fonctionnalités d’un outil de DQM
4. La contribution du Data Catalog au DQM

Qu’est-ce que la Data Quality

Si vous demandez à des Data Analysts ou des Data Engineers de définir ce qu’est la qualité de la donnée, vous aurez très probablement des réponses différentes – ce même au sein d’une même entreprise et pour le même type de profil. Certains vont par exemple parler d’unicité des données, quand d’autres vous parleront de standardisation. Vous avez d’ailleurs vous-même peut-être votre propre interprétation.

La norme ISO 9000-2015 définit la qualité comme “L’aptitude d’un ensemble de caractéristiques intrinsèques à satisfaire des exigences”. 

DAMA International (The Global Data Management Community) – association internationale de référence regroupant les professionnels métiers et techniques de la gestion de la donnée – dérive cette définition dans le contexte data : La qualité des données est le degré auquel les dimensions des données répondent aux exigences.

L’approche dimensionnelle de la qualité de la donnée

Opérationnellement, la qualité de la donnée se traduit dans ce que l’on appelle les dimensions de la Data Quality, où chaque dimension se réfère à un aspect spécifique de la qualité. Les quatre dimensions les plus fréquemment utilisées sont généralement la complétude, la précision, la conformité et la disponibilité.

On trouve dans la littérature un grand nombre de dimensions et critères différents qui permettent de décrire la qualité de la donnée. Mais il faut bien comprendre qu’il n’y a pas aujourd’hui de consensus sur ce que sont ces dimensions. DAMA définit par exemple soixante dimensions – quand la plupart des vendeurs de logiciels de Data Quality Management en proposent généralement cinq ou six.

Les neuf dimensions de la qualité des données

Chez Zeenea, nous pensons que le compromis idéal est de prendre en compte neuf dimensions de la qualité des données, à savoir : la complétude, la précision, la conformité, l’unicité, la cohérence, la fraîcheur, la traçabilité, la clarté et la disponibilité.

Nous vous proposons d’illustrer ces neuf dimensions et les différents concepts abordés dans cette publication avec un exemple simple :

Arthur a pour responsabilité d’envoyer des campagnes marketing à ses clients et prospects pour présenter les nouvelles offres de son entreprise. Il rencontre un certain nombre de problèmes :

• Arthur envoie parfois plusieurs fois des communications aux mêmes personnes,
• Les emails renseignés dans son CRM sont souvent invalides,
• Les prospects et clients ne reçoivent pas toujours le bon contenu,
• Certaines informations sur les prospects sont obsolètes,
• Des clients reçoivent des emails avec des erreurs de qualification du
• genre,
• Il y a deux adresses pour les clients et prospects mais il n’est pas évident de comprendre à quoi elles correspondent,
• Il ne sait pas toujours d’où viennent les données qu’il exploite ou comment il peut accéder à leurs sources.

Les données suivantes sont celles à disposition d’Arthur pour sa prospection commerciale. Nous allons les utiliser pour illustrer chacune des neuf dimensions de la Data Quality :

1. La complétude (Completeness)

Est ce que la donnée est complète ? Manque-t-il des informations ? L’objectif de cette dimension est d’identifier les données vides, nulles ou manquantes. Dans notre cas pratique, Arthur a constaté qu’il y a des adresses emails qui ne sont pas renseignées :

Pour pallier ce problème, il pourrait essayer d’identifier si d’autres systèmes contiennent ces informations. Arthur pourrait également demander à des spécialistes de ces données de renseigner manuellement les adresses email manquantes.

2. La précision (Accuracy)

Est-ce que les valeurs présentes sont cohérentes avec les données réelles, c’est-àdire celles que l’on retrouve dans le monde réel ?

Arthur a constaté que des lettres envoyées aux clients importants sont renvoyées car les adresses postales ne sont pas correctes. On constate effectivement que l’une des adresses ne correspond pas au format des adresses du monde réel :

Il pourrait être intéressant pour Arthur d’utiliser des services de vérification des adresses postales.

3. La conformité (Validity)

Est-ce que la donnée est conforme à la syntaxe de sa définition ? L’objectif de cette dimension est de s’assurer que la donnée respecte un modèle ou une règle particulière.

Arthur a constaté qu’il reçoit régulièrement des retours pour emails invalides. Autre problème, il s’avère que certains prospects et clients ne reçoivent pas le bon contenu car ils ne sont pas correctement qualifiés. On constate qu’effectivement l’adresse email annalincoln@apple n’a pas le bon format et que le type de client Csutomer n’est pas correct.

Pour résoudre ce type de problème, il peut par exemple s’assurer que les valeurs Client Type font partie d’une liste de valeurs de référence (Customer ou Prospect) et que l’adresse email respecte un format spécifique.

4. La cohérence (Consistency)

Est ce que différentes valeurs d’un même enregistrement sont en conformité par rapport à une règle ? L’objectif est de s’assurer de la cohérence des données entre plusieurs colonnes.

Arthur a constaté que certains de ses clients masculins se plaignent de recevoir des mails en étant qualifiés à tort de Madame. Il y a effectivement une incohérence entre les colonnes Gender et Title pour Lino Rodrigez.

Pour résoudre ce type de problème, il est possible de créer une règle logique qui s’assurera que si le Genre est Male, alors le Title devra être Mr.

5. La fraîcheur (Timeliness)

Est-ce que la période entre le moment de la création de la donnée et sa disponibilité est appropriée ? L’objectif est de s’assurer que la donnée est accessible dans des délais raisonnables par rapport à son utilisation.

Arthur a constaté que certaines informations sur les prospects ne sont pas à jour car les données sont trop vieilles. Effectivement, dans son métier et pour son entreprise, une donnée liée à un prospect qui a plus de 6 mois ne devrait pas être utilisée.

Il pourrait imaginer pallier ce problème en créant une règle pour identifier et exclure les données trop anciennes. Une autre alternative serait de récupérer la même information dans un autre système qui contiendrait une donnée plus fraîche.

6. L’unicité (Uniqueness)

Y a-t-il des enregistrements présents plus d’une fois ? L’objectif est de s’assurer que les données ne sont pas dupliquées.

Arthur a constaté qu’il a envoyé les mêmes communications plusieurs fois aux mêmes personnes. On observe que le client Lisa Smith est dupliqué dans le fichier :

Dans cet exemple simplifié, les données dupliquées sont exactement les mêmes. Des algorithmes plus avancés de type Jaro, Jaro-Winkler ou Levenshtein – par exemple – permettent de regrouper plus finement les données dupliquées.

7. La clarté (Clarity)

Est-il simple pour les consommateurs de la donnée d’en comprendre les métadonnées ? L’objectif est de comprendre la signification des données et d’éviter les interprétations.

Arthur a eu des doutes sur les deux adresses présentes car il n’est pas évident de comprendre à quoi elles correspondent. Les noms Street Address 1 et Street Address 2 sont sujets à interprétation et devraient autant que possible être modifiés.

Le renommage au sein d’une base de données est souvent une opération compliquée, et doit être correctement documenté avec au moins une description.

8. La traçabilité (Traceability)

Est-il possible d’obtenir la traçabilité des données ? L’objectif est d’accéder aux origines de la donnée, ainsi qu’aux transformations qu’elle aurait pu subir.

Arthur ne sait pas très bien d’où viennent ses données et comment il peut accéder aux données sources. Cela pourrait pourtant lui être très utile, notamment pour s’assurer que les problèmes soient bien corrigés à la source. Il aurait donc besoin de savoir que les données qu’il utilise avec son outil marketing proviennent des données du data warehouse de son entreprise, provenant elles-même de l’outil de CRM.

9. La disponibilité (Availability)

Comment les données peuvent-elles être consultées ou récupérées par les consommateurs ? L’objectif est de faciliter l’accès aux données.

Arthur ne sait pas comment il pourrait facilement accéder aux données sources. Si on reprend le schéma précédent, il aimerait pouvoir accéder simplement et rapidement aux données du data warehouse et/ou de l’outil CRM. Arthur devra dans certains cas faire une demande avant de pouvoir accéder directement à ces informations.