Logo Zeenea 2020
Actian Logo Rgb Horizontal
Exploiter la puissance de l’IA pour les catalogues de données

Exploiter la puissance de l’IA pour les catalogues de données

par | Juil 8, 2024 | Data Catalog

Dans un contexte d’explosion des volumes de données d’entreprise, l’IA est à la pointe de révolutionner la manière dont les organisations gèrent et extraient la valeur des diverses sources data. Une gestion efficace des données devient primordiale à mesure que les entreprises se débattent avec de vastes quantités d’informations. Au cœur de ces stratégies se trouve le data catalog, un outil essentiel qui a considérablement évolué avec l’intégration de l’IA, avec des promesses d’efficacité, de précision et d’informations exploitables. Voyons comment dans cet article.

Les avantages de l’IA pour les catalogues de données

 

L’IA révolutionne le catalogage des données en automatisant et en améliorant les processus traditionnellement manuels.

Automatisation de la génération de métadonnées

 

Les algorithmes d’IA génèrent de manière autonome des métadonnées en analysant et en interprétant les actifs de données. Cela inclut l’identification des types de données, des relations et des schémas d’utilisation. Les modèles d’apprentissage automatique infèrent des métadonnées implicites, garantissant une couverture complète du catalogue. La génération automatisée de métadonnées réduit la charge pesant sur les gestionnaires de données et assure la cohérence et l’exhaustivité des entrées du catalogue. Cette capacité est précieuse dans les environnements où les volumes de données se développent rapidement et où la création manuelle de métadonnées est moins pratique.

Classification et étiquetage simplifiés des données

 

L’IA facilite la classification et l’étiquetage précis des données en utilisant des techniques de traitement du langage naturel (NLP). En comprenant les nuances contextuelles et sémantiques, l’IA améliore la précision de la catégorisation, ce qui est particulièrement bénéfique pour les formats de données non structurées tels que les textes et les médias. Les modèles avancés d’IA peuvent tirer des enseignements des décisions de tagging historiques et des retours d’utilisateurs pour améliorer la précision de la classification. Cette capacité simplifie les processus de découverte des données et améliore leur gouvernance en veillant à ce que les données soient classées de manière cohérente et correcte.

Capacités de recherche améliorées

 

Les catalogues de données alimentés par l’IA offrent des capacités de recherche avancées qui permettent une récupération rapide et ciblée des données. L’IA recommande des actifs data pertinents et des informations connexes en comprenant les requêtes des utilisateurs et leurs intentions. Grâce à des techniques telles que le score de pertinence et la compréhension des requêtes, l’IA veille à ce que les utilisateurs puissent rapidement localiser les données les plus pertinentes pour leurs besoins, accélérant ainsi la génération d’informations et réduisant le temps passé sur les tâches de découverte de données.

Lignage et gouvernance des données robustes

 

L’IA joue un rôle crucial dans le suivi de la traçabilité des données en retraçant leurs origines, leurs transformations et leur historique d’utilisation. Cette capacité garantit une gouvernance des données robuste et une conformité aux normes réglementaires. Les mises à jour en temps réel du lignage fournissent une vue transparente de la provenance des données, permettant aux organisations de maintenir leur intégrité et leur traçabilité tout au long de leur cycle de vie. Le data lineage alimenté par l’IA est essentiel dans les environnements où les données passent par des pipelines complexes et subissent de multiples transformations, garantissant que toute utilisation est documentée et vérifiable.

Recommandations intelligentes

 

Les recommandations alimentées par l’IA permettent aux utilisateurs de suggérer des sources de données optimales pour les analyses et d’identifier les problèmes de qualité potentiels. Ces perspectives sont dérivées des schémas d’utilisation des données historiques. Les algorithmes d’apprentissage automatique analysent les comportements passés des utilisateurs et les schémas d’accès aux données pour recommander des ensembles de data susceptibles d’être pertinents ou précieux pour des tâches analytiques spécifiques. En guidant de manière proactive les utilisateurs vers des données de haute qualité et en minimisant le risque d’utiliser des informations obsolètes ou inexactes, l’IA améliore l’efficacité globale des opérations axées sur la data.

Détection d’anomalies

 

La surveillance en continue alimentée par l’IA détecte les anomalies indicatives de problèmes de qualité des données ou de menaces de sécurité. La détection précoce des anomalies facilite les actions correctives en temps opportun, garantissant l’intégrité et la fiabilité des données. Les algorithmes de détection d’anomalies alimentés par l’IA utilisent l’analyse statistique et les techniques d’apprentissage automatique pour identifier les écarts par rapport aux schémas de données attendus.

Cette capacité est cruciale pour détecter les violations de données, les entrées erronées ou les défaillances système susceptibles de compromettre la qualité des données ou de poser des risques de sécurité. En alertant les data stewards des problèmes potentiels en temps réel, l’IA permet une gestion proactive des anomalies, atténuant ainsi les risques et garantissant la cohérence et la fiabilité des données.

Les défis et considérations de l’IA pour les catalogues de données

 

Malgré ses avantages, le catalogage des données amélioré par l’IA présente des défis nécessitant des stratégies de mitigation.

Confidentialité et sécurité des données

 

La protection des informations sensibles nécessite des mesures de sécurité robustes et la conformité aux réglementations de protection des données telles que le RGPD. Les systèmes d’IA doivent garantir l’anonymisation, le cryptage et le contrôle d’accès aux données pour se protéger contre les accès non autorisés ou les violations.

Scalabilité

 

La mise en œuvre de l’IA à grande échelle exige des ressources informatiques substantielles et une infrastructure évolutive capable de gérer de grands volumes de données. Les organisations doivent investir dans des infrastructures informatiques robustes et des solutions basées sur le cloud pour soutenir efficacement les initiatives de catalogage des données pilotées par l’IA.

Intégration des données

 

Harmoniser les données provenant de sources disparates en un catalogue cohérent reste complexe, nécessitant des cadres d’intégration robustes et des pratiques de gouvernance des données. L’IA peut faciliter l’intégration des données en automatisant les processus de cartographie et de transformation. Cependant, les organisations doivent garantir la compatibilité et la cohérence entre des sources de données hétérogènes.

 

En conclusion, l’intégration de l’IA dans un data catalog représente un bond en avant pour la gestion des données. L’IA automatise les processus critiques et fournit des informations intelligentes pour permettre aux organisations d’exploiter pleinement les données dans leur data catalog. En outre, il est essentiel de relever des défis tels que la confidentialité et la sécurité des données pour réussir l’intégration de l’IA. Au fur et à mesure que les technologies liées à l’intelligence artificielle progressent, leur rôle dans les catalogues de données va de plus en plus stimuler l’innovation et la prise de décisions stratégiques dans tous les secteurs d’activité.

Retour sur les évolutions de la plateforme Zeenea en 2023

Retour sur les évolutions de la plateforme Zeenea en 2023

par | Jan 8, 2024 | Data Catalog, Produit Zeenea

2023 a été une belle année pour Zeenea. Avec plus de 50 releases et mises à jour de notre plateforme, ces 12 derniers mois ont été riches en nouveautés et améliorations pour libérer la valeur de vos données d’entreprise. En effet, nos équipes travaillent constamment sur des fonctionnalités qui simplifient et améliorent la vie quotidienne de vos équipes data et métier.

Dans cet article, nous sommes heureux de partager certaines de nos fonctionnalités préférées de 2023 qui ont permis à nos clients de :

  • Réduire le temps de recherche et de découverte des données
  • Augmenter la productivité et l’efficacité des Data Stewards
  • Fournir des informations fiables, sécurisées et conformes dans l’ensemble de l’organisation
  • Établir une connectivité de bout en bout avec toutes leurs sources de données

Réduire le temps de recherche et de découverte des données

 

L’une des valeurs fondamentales du produit Zeenea est la simplicité. Nous sommes convaincus que la découverte des données doit être simple et rapide afin d’accélérer les initiatives data dans l’ensemble de l’organisation.

De nombreuses équipes chargées des données ont encore du mal à trouver les informations dont elles ont besoin pour établir un rapport ou un cas d’usage spécifique. Soit parce qu’elles ne parviennent pas à localiser les données parce qu’elles sont dispersées dans diverses sources, fichiers ou feuilles de calcul, soit parce qu’elles sont confrontées à une quantité colossale d’informations et qu’elles ne savent même pas par où commencer leur recherche.

En 2023, nous avons continué de faire évoluer notre plateforme pour qu’elle soit la plus simple possible à utiliser. En offrant des moyens simples et rapides d’explorer les données, Zeenea a permis à nos clients de trouver, découvrir et comprendre leurs actifs en quelques secondes.

Un nouveau look pour Zeenea Explorer

 

L’une des premières façons dont nos équipes ont voulu améliorer l’expérience de découverte de nos clients a été de fournir une expérience plus conviviale sur notre application d’exploration de données, Zeenea Explorer. Cette refonte comprenait :

Une nouvelle page d’accueil

 

Notre page d’accueil avait besoin d’un lifting pour une expérience de découverte plus fluide. En effet, pour les utilisateurs qui ne savent pas ce qu’ils cherchent, nous avons ajouté de tout nouveaux chemins d’exploration directement accessibles via la page d’accueil de Zeenea Explorer.

 

  • Navigation par Type d’Objet : Si l’utilisateur est sûr du type de données qu’il recherche, comme un jeu de données, une visualisation, un processus ou une donnée personnalisée, il accède directement au catalogue pré-filtré avec le type de données recherché.
  • Navigation dans le Glossaire Métier : Les utilisateurs peuvent rapidement naviguer dans le glossaire métier de l’entreprise en accédant directement aux ressources du glossaire qui ont été définies ou importées par les Data Stewards dans Zeenea Studio.
  • Navigation par Thème : L’application permet aux utilisateurs de naviguer dans une liste d’Objets qui représentent un thème spécifique, un cas d’usage ou tout autre élément pertinent pour l’entreprise (plus d’informations ci-dessous).
New Zeenea Explorer Homepage 2023

De nouvelles pages de détail des Objets

 

Pour comprendre un Objet du Catalogue en un coup d’œil, l’un des premiers changements notables a été la position des onglets de l’Objet. À l’origine, les onglets étaient placés sur le côté gauche de la page, ce qui prenait beaucoup de place. Désormais, les onglets se trouvent en haut de la page, ce qui correspond mieux à la présentation de l’application Zeenea Studio. Cette nouvelle disposition permet aux consommateurs de données de trouver les informations les plus significatives sur un Objet, telles que :

  • Les propriétés mises en évidence, définies par le Data Stewards dans la conception du catalogue,
  • Les termes associés du glossaire, pour comprendre le contexte de l’Objet,
  • Les personnes clés, pour atteindre rapidement les contacts liés à l’Objet.

En outre, notre nouvelle mise en page permet aux utilisateurs de trouver instantanément tous les Champs, les métadonnées et tous les autres Objets liés. Divisés en trois onglets distincts dans l’ancienne version, les consommateurs de données trouvent désormais la description de l’Objet et tous les Objets liés dans un seul onglet nommé « Détails ». En effet, selon le Type d’Objet que vous parcourez, tous les Champs, entrées et sorties, Objets du Glossaire parents/enfants, implémentations et autres métadonnées se trouvent dans la même section, ce qui vous permet de gagner un temps précieux dans la recherche de données.

Enfin, les espaces pour nos composants graphiques ont été agrandis – les utilisateurs ont maintenant plus de place pour voir le lignage de leur Objet, le modèle de données, etc.

New Item Detail Page Zeenea Explorer

Un nouveau système de filtrage

 

Zeenea Explorer offre un système de filtrage intelligent pour contextualiser les résultats de recherche. Il y a des filtres préconfigurés de Zeenea, comme par exemple, un filtrage par Type d’Objet, Connexion, Contact, ou par les filtres personnalisés de l’organisation. Pour des recherches encore plus efficaces, nous avons repensé notre page de résultats de recherche et notre système de filtrage :

 

  • Les filtres disponibles sont toujours visibles, ce qui permet d’affiner plus facilement la recherche,
  • En cliquant sur un résultat de recherche, un panneau d’aperçu contenant plus d’informations est toujours disponible sans perdre le contexte de la recherche,
  • Les filtres les plus pertinents pour la recherche sont placés en haut de la page, ce qui permet d’obtenir rapidement les résultats nécessaires pour des cas d’usage spécifiques.
New Filtering System Explorer

Exploration du catalogue par Thème

 

L’une des principales nouveautés de 2023 est notre fonctionnalité nommée Thèmes. En effet, pour permettre aux utilisateurs métier de trouver (encore plus !) rapidement leurs actifs de données pour leurs cas d’usage, les Data Stewards peuvent facilement définir des Thèmes dans Zeenea Studio. Pour ce faire, ils sélectionnent simplement les filtres dans le Catalogue qui représentent un Thème spécifique, un cas d’usage, ou tout autre élément pertinent pour l’entreprise.

Les équipes data qui utilisent Zeenea Explorer peuvent donc facilement et rapidement effectuer des recherches dans le catalogue par Thème afin de réduire leur temps de recherche de l’information dont elles ont besoin. Les Thèmes sont directement accessibles sur la page d’accueil de Zeenea Explorer et la barre de recherche lors de la navigation dans le catalogue.

Browse By Topic Explorer New

Des noms alternatifs pour les Objets du Glossaire

 

Afin que les utilisateurs puissent trouver facilement les données et les termes métier dont ils ont besoin pour leurs cas d’usage, les Data Stewards peuvent ajouter des synonymes, des acronymes et des abréviations pour les éléments du glossaire !

Ex : Customer Relationship Management > CRM

Alternative Names Zeenea Studio

Amélioration des performances de recherche

 

Tout au long de l’année, nous avons mis en œuvre un grand nombre d’améliorations afin d’accroître l’efficacité du processus de recherche. L’ajout de “mots vides” (stop words), comprenant les pronoms, les articles et les prépositions, permet d’obtenir des résultats plus précis et plus pertinents pour les requêtes. En outre, nous avons ajouté un opérateur « INFIELD : », qui permet aux utilisateurs de rechercher les Jeux de Données contenant des Champs spécifiques.

Search In Fields Explorer

Intégration de Microsoft Teams

 

Zeenea a également renforcé ses capacités de communication et de collaboration. Plus précisément, lorsqu’un contact est lié à une adresse email Microsoft, Zeenea facilite désormais le lancement de conversations directes via Teams. Cette intégration permet aux utilisateurs de Teams d’engager rapidement le dialogue avec les personnes concernées pour obtenir des informations supplémentaires sur des Objets spécifiques. D’autres intégrations avec divers outils sont en cours de développement ⭐

Microsoft Teams Zeenea Explorer

Augmenter la productivité et l’efficacité des Data Stewards

 

L’objectif de Zeenea est de simplifier la vie des producteurs de data afin qu’ils puissent gérer, maintenir et enrichir la documentation de leurs données d’entreprise en quelques clics. Voici quelques fonctionnalités et améliorations qui aident à rester organisé, concentré et productif.

Imports automatiques des Jeux de Données

 

Lors de l’importation de nouveaux Jeux de Données dans le catalogue, les administrateurs peuvent activer la fonction d’import automatique qui importe automatiquement les nouveaux Objets après chaque inventaire programmé. Cette amélioration fait gagner du temps augmente l’efficacité opérationnelle, permettant aux Data Stewards de se concentrer sur des tâches plus stratégiques plutôt que sur le processus d’importation de routine.

Auto Import Zeenea Studio 2

Suppression des Champs orphelins

 

Nous avons également ajouté la possibilité de gérer plus efficacement les Champs orphelins. Cela inclut la possibilité d’effectuer des suppressions en masse de champs orphelins, ce qui accélère le processus de désencombrement et d’organisation du catalogue. Les Stewards peuvent également supprimer un seul Champ orphelin directement à partir de sa page de détails, apportant une approche plus granulaire et plus précise de la maintenance du catalogue.

Orphan Field Details

Construction de de rapports basés sur le contenu du catalogue

 

Nous avons ajouté une nouvelle section dans Zeenea Studio – le Tableau de Bord Analytique – pour générer facilement des rapports basés sur le contenu et l’usage du catalogue de l’organisation.

Directement sur la page du Tableau de Bord Analytique, les Data Stewards peuvent voir le niveau de complétude de leurs Types d’Objets, y compris les Objets personnalisés. Chaque composant est cliquable pour afficher rapidement la section du catalogue filtrée par le Type d’Objet sélectionné.

Pour obtenir des informations plus détaillées sur le niveau de complétude d’un Type d’Objet en particulier, les Stewards peuvent créer leurs propres analyses ! Ils sélectionnent le Type d’Objet et une Propriété, et ils peuvent consulter, pour chaque valeur de cette Propriété, le niveau de complétude de tous les l’élément du template du Type d’Objet, y compris sa description, et les Objets du Glossaire qui y sont liés.

New Analytics Dashboard Gif Without Adoption

Nouveau look pour le Tableau de Bord du Steward

 

Zeenea Explorer n’est pas la seule application à avoir fait peau neuve ! En effet, pour aider les gestionnaires de données à rester organisés, concentrés et productifs, nous avons repensé la présentation du Tableau de Bord pour qu’il soit plus intuitif et que le travail soit effectué plus rapidement. Cela inclut :

 

  • Nouveau design du Périmètre : Un tout nouveau niveau de personnalisation lors de la connexion au Tableau de Bord. Le périmètre s’étend désormais au-delà du niveau de complétude des Jeux de Données – il inclut tous les Objets pour lesquels on est Dépositaire, y compris les Champs, les traitement de données, les Objets du Glossaire et les Objets Personnalisés.
  • Widget des Watchlists : Tout comme les Data Stewards peuvent créer des Thèmes pour améliorer l’organisation des utilisateurs des Explorers, ils peuvent désormais créer des Watchlists pour faciliter l’accès aux Objets nécessitant des actions spécifiques. En filtrant le catalogue avec les critères de leur choix, ils enregistrent ces préférences en tant que nouvelle Watchlist via le bouton « Enregistrer les filtres sous », et y accèdent directement via le widget Watchlist lorsqu’ils se connectent à leur Tableau de Bord.
  • Le widget Dernières Recherches : Il s’adresse désormais spécifiquement au Data Steward, en se concentrant sur ses recherches récentes pour permettre de reprendre là où il/elle s’était arrêté.
  • Le widget Objets les plus populaires : Il présente les Objets les plus consultés et les plus utilisés dans le périmètre du Steward par les autres utilisateurs. Chaque Objet est cliquable, ce qui permet d’accéder instantanément à son contenu.

 

Lire la Feature Note

New Steward Dashboard Studio

Fournir des informations fiables, sécurisées et conformes dans l’ensemble de l’organisation

Échantillonnage de données sur les Jeux de Données

 

Pour certaines connexions, il est possible d’obtenir un échantillonnage de données pour les Jeux de Données. Nos capacités de data sampling permettent aux utilisateurs d’obtenir des sous-ensembles représentatifs d’ensembles de données existants, offrant une approche plus efficace pour travailler avec de grands volumes de données. Lorsque l’échantillonnage des données est activé, les administrateurs peuvent configurer les champs pour qu’ils soient offusqués, ce qui réduit le risque d’affichage d’informations personnelles sensibles.

Cette fonction revêt une grande importance pour nos clients, car elle permet aux utilisateurs de gagner un temps précieux et d’économiser des ressources en travaillant avec des portions plus petites, mais représentatives, de vastes Jeux de Données. Elle permet également d’identifier rapidement les problèmes liés aux données, améliorant ainsi la qualité globale des données et les analyses ultérieures. Plus particulièrement, la capacité d’offusquer les Champs répond à des préoccupations essentielles en matière de confidentialité et de sécurité, en permettant aux utilisateurs de travailler avec des sous-ensembles anonymisés ou pseudonymisés de données sensibles, en garantissant la conformité avec les réglementations en matière de confidentialité et en protégeant les données contre les accès non autorisés.

Data Sampling Zeenea Studio

Puissantes capacités de lignage

 

En 2022, nous avons apporté de nombreuses améliorations à notre graphe de lignage. Non seulement nous avons simplifié sa conception et sa mise en page, mais nous avons également permis aux utilisateurs d’afficher uniquement le premier niveau de lignage, de développer et de fermer le lignage à la demande, et d’obtenir une vue en surbrillance du lignage directe d’un Objet sélectionné.

Cette année, nous avons apporté d’autres modifications importantes à l’interface utilisateur, notamment la possibilité de développer ou de réduire tous les niveaux de lignage en un seul clic, de masquer les processus de données qui n’ont pas au moins une entrée et une sortie, et de visualiser facilement les connexions à l’aide d’une infobulle pour les connexions dont les noms sont longs.

Cependant, la nouveauté la plus notable est la possibilité d’avoir un data lineage au niveau du Champ ! En effet, il est désormais possible de récupérer les Champs d’entrée et de sortie des tables et des rapports, et pour plus de contexte, d’ajouter la description de l’opération. Ensuite, les utilisateurs peuvent directement visualiser leurs transformations au niveau du Champ au fil du temps dans le graphe de lignage des données dans Zeenea Explorer et Zeenea Studio.

Field Level Lineage Zeenea Studio 2

Informations sur la qualité des données

 

En s’appuyant sur les technologies GraphQL et le Knowledge Graph, Zeenea offre une approche flexible pour intégrer les meilleures solutions de gestion de la qualité de données. Via nos capacités d’API de catalogue, Zeenea synchronise les Jeux de Données par le biais de simples opérations de requête et de mutation à partir d’un outil de Data Quality Management (DQM) tiers. L’outil de DQM fournira en temps réel les résultats de l’analyse de la qualité des données du Jeu de Données correspondant dans la plateforme, ce qui permettra aux utilisateurs d’examiner facilement les informations relatives à la qualité des données directement dans le catalogue.

Cette nouvelle fonctionnalité comprend :

  • Un onglet Qualité des données dans les pages de détails de votre Jeu de Données, où les utilisateurs peuvent voir ses contrôles de qualité exécutés ainsi que leurs type, statut, description, dernière date d’exécution, etc.
  • La possibilité d’afficher plus d’informations sur la qualité de l’ensemble de données directement dans l’outil DQM via le lien « Ouvrir le Tableau de Bord dans [Nom de l’outil] ».
  • Un indicateur de la qualité des données d’un Jeu de Données directement affiché dans les résultats de la recherche et dans le lignage.

 

Lire la Feature Note

Zeenea Explorer Data Quality Graph

Établir une connectivité de bout en bout avec toutes leurs sources de données

 

Avec Zeenea, vous vous connectez à toutes vos sources de données en quelques secondes. Les scanners et API intégrés de notre plateforme permettent aux organisations de collecter, consolider et relier automatiquement les métadonnées dans leur écosystème. Cette année, nous avons apporté des améliorations significatives à notre connectivité pour permettre à nos clients de construire une plateforme qui représente réellement leur écosystème de données.

Une API de gestion du Catalogue

 

Reconnaissant l’importance de l’intégration des API, Zeenea a développé de puissantes capacités API qui permettent aux organisations de connecter et d’exploiter de manière transparente leur catalogue de données au sein de leur écosystème existant.
En 2023, Zeenea a développé l’API Catalogue, qui aide les gestionnaires de données dans leurs tâches de documentation. Elle comprennent :

Des opérations de requêtes pour récupérer des actifs spécifiques du catalogue : Les opérations de requête de notre API incluent la récupération d’un actif spécifique, en utilisant sa référence unique ou par son nom et son type, ou la récupération d’une liste d’actifs via une connexion ou un Type d’Objet donné. En effet, l’API Catalogue de Zeenea permet une certaine flexibilité lors des requêtes, permettant de restreindre les résultats afin de ne pas être submergé par une pléthore d’informations.

Opérations de mutation pour créer et mettre à jour les actifs du catalogue : Pour gagner encore plus de temps lors de la documentation et de la mise à jour des données de l’entreprise, l’API Catalogue de Zeenea permet aux producteurs de données de créer, modifier et supprimer facilement des ressources du Catalogue. Cela permet de créer, mettre à jour et supprimer des Objets Personnalisés et des processus de données ainsi que leurs métadonnées associées, et de mettre à jour les Jeux de Données et Visualisations. Cela est également possible pour les Contacts. Ceci est particulièrement important lorsque les utilisateurs quittent l’entreprise ou changent de rôle – les producteurs de données peuvent facilement transférer les informations qui étaient liées à une personne particulière à une autre.

Lire la Feature Note

Gestion des codes de Propriété et de Responsabilité

Une autre fonctionnalité qui a été mise en œuvre est la possibilité d’ajouter un code aux propriétés et aux responsabilités afin de les utiliser facilement dans les scripts API pour des requêtes et des récupérations plus fiables.

Pour toutes les Propriétés et Responsabilités qui ont été créées dans Zeenea (par exemple, les informations d’identification personnelle) ou récoltées à partir de connecteurs, il est possible de modifier leur nom et leur description afin de mieux les adapter au contexte de l’organisation.

Property Responsibility Codes Studio

Plus d’une douzaine de connecteurs supplémentaires

 

Chez Zeenea, nous développons des connecteurs avancés pour synchroniser automatiquement les métadonnées entre notre plateforme de découverte de données et toutes vos sources. Cette connectivité native vous évite la tâche fastidieuse et difficile de trouver manuellement les données dont vous avez besoin pour un cas d’usage spécifique qui nécessite souvent l’accès à des ressources techniques limitées.

Rien qu’en 2023, nous avons développé plus d’une douzaine de nouveaux connecteurs ! Cette réalisation souligne notre agilité et notre compétence dans l’intégration rapide des diverses sources de données utilisées par nos clients. En élargissant nos options de connectivité, nous visons à donner une plus grande flexibilité et une meilleure accessibilité.

 

Voir nos connecteurs

5 Avantages du Data Lineage pour votre Entreprise

5 Avantages du Data Lineage pour votre Entreprise

par | Mai 15, 2023 | Data Catalog, Réglementations Data

Vous nourrissez l’ambition de faire de votre organisation une entreprise data-driven ? Vous n’échapperez pas à la nécessité de cartographier avec précision l’ensemble de vos actifs data, d’en monitorer la qualité et d’en garantir la fiabilité. Cette mission, le data lineage peut vous aider à l’accomplir. Explications.

Pour savoir quelles données vous utilisez, ce qu’elles signifient, connaître leur provenance, mesurer leur fiabilité tout au long de leur cycle de vie, vous devez disposer d’une vision holistique de tout ce qui est susceptible de les transformer, de les modifier et de les altérer. C’est exactement la mission que remplit le data lineage (lignage des données) qui est une technique d’analyse de données permettant de suivre le parcours des données depuis leur source jusqu’à leur utilisation finale. Une technique qui présente de nombreux avantages !

Avantage N°1 : Une gouvernance des données améliorée

 

La gouvernance des données est un enjeu prioritaire pour votre entreprise et pour délivrer tout le potentiel de votre stratégie data. En suivant le parcours de la donnée – de sa collecte jusqu’à son exploitation – le data lineage permet de comprendre d’où les données proviennent et les transformations qu’elles ont subies dans le temps pour créer un écosystème data riche et contextualisé. Ainsi, le data lineage facilite la recherche de la cause racine des problèmes liés aux données en permettant de remonter jusqu’à leur origine. Cette traçabilité constitue votre meilleur atout transparence au service de la gouvernance data.

Avantage N°2 : Des données plus fiables, précises et de qualité

 

Comme mentionné ci-dessus, une force incontournable du data lineage réside notamment dans sa capacité à tracer la provenance des données, mais aussi d’identifier les erreurs qui se produisent lors de leur transformation et de leur manipulation. Ainsi, vous êtes en mesure de non seulement corriger ces erreurs, mais également de faire en sorte qu’elles ne se reproduisent plus pour une meilleure qualité des données. Une logique d’amélioration continue particulièrement efficace dans le cadre d’une stratégie data. Par ailleurs, le data lineage permet de suivre les changements apportés aux données, de savoir qui les a modifiées et quand. Cela améliore la transparence et permet aux utilisateurs de comprendre comment les données ont été obtenues et traitées.

Avantage N°3 : Une analyse d’impact rapide

 

Faire en sorte que vous ne persistiez jamais trop longtemps dans l’erreur. C’est l’une des promesses tenues par le data lineage. Comment ? En identifiant les flux de données avec précision. Cette première phase repose sur une connaissance fine de vos processus métier et des sources de données disponibles. Lorsque les flux de données critiques sont identifiés et cartographiés, il est possible d’analyser rapidement les impacts potentiels d’un changement sur les données et les processus métier. Les impacts de chaque transformation de la data étant évalués en temps réel, vous disposez de tous les éléments indispensables pour identifier les voies et moyens qui permettent d’en circonscrire les conséquences. Visibilité, traçabilité, réactivité, le data lineage saura vous faire gagner un temps précieux !

Avantage N°4 : Plus de contexte pour les données

 

Vous l’avez compris, le data lineage veille en continu sur le parcours de vos actifs data. Dès lors, au-delà de la source d’origine de la donnée, vous disposez d’une visibilité totale sur les transformations qui ont été appliquées aux données tout au long de leur parcours. Une visibilité qui s’étend également à l’utilisation qui est faire de la data au sein de vos différents processus de traitement ou par le biais des applications déployées dans votre organisation. Ce suivi ultra précis de l’historique des interactions avec la data, permet de donner davantage de contexte aux données en vue d’en améliorer la qualité, de faciliter les analyses et les audits et de prendre des décisions plus éclairées en se basant sur des informations précises et complètes.

Avantage N° 5 : Construire des rapports de conformité (plus !) fiables

 

Les principales attentes du régulateur en matière de conformité sont la transparence et la traçabilité. Il s’agit du cœur de la promesse de valeur du Data lineage. En exploitant le data lineage, vous avez toutes les cartes en mains pour réduire les risques de non-conformité, améliorer la qualité des données, faciliter les audits et les vérifications, et renforcer la confiance des parties prenantes dans les rapports de conformité produits.

5 fonctionnalités essentielles de Zeenea pour un programme de Data Stewardship cinq étoiles

5 fonctionnalités essentielles de Zeenea pour un programme de Data Stewardship cinq étoiles

par | Jan 27, 2023 | Data Catalog, Gouvernance des données, Metadata Management, Réglementations Data

Vous traitez des données, énormément de données… Mais elles sont souvent désordonnées, incomplètes et surtout éparpillées dans plusieurs outils, plateformes, bases de données, feuilles de calcul, etc. De plus, certaines de vos informations sont inaccessibles ou pire encore, accessibles par des personnes qui ne devraient pas. En tant qu’experts data de l’entreprise, les Data Stewards doivent être en mesure d’identifier les qui, quoi, quand, où et pourquoi de leurs données afin de mettre en place un programme de data stewardship fiable.

Malheureusement, les Data Stewards sont souvent confrontés à un obstacle majeur : le manque d’outils pour les aider dans ce rôle. Lorsqu’il s’agit de grands volumes de données, le maintien de la documentation des données, la gestion des métadonnées d’entreprise et la résolution des problèmes de qualité et de gouvernance peuvent s’avérer très difficiles.

C’est pour cette raison que Zeenea intervient peut vous aider. Notre plateforme de découverte de données – et ses fonctionnalités intelligentes et automatisées de gestion des métadonnées – facilite la vie des Data Stewards. Découvrez dans cet article 5 de nos fonctionnalités pour un programme de Data Stewardship cinq étoiles.

Fonctionnalité 1 : Une connectivité universelle

Inventoriez automatiquement les métadonnées de vos sources de données

Comme mentionné ci-dessus, les données d’entreprise sont réparties dans de nombreuses sources d’information rendant difficile, voire impossible, la gestion et le contrôle global du patrimoine data par les Data Stewards. En ce sens, Zeenea fournit une solution de catalogage de données de nouvelle génération qui centralise toutes les métadonnées d’entreprise en une seule source de vérité. Le large éventail de connecteurs natifs de notre plateforme récupère, collecte et synchronise automatiquement les métadonnées par le biais de nos API et de nos scanners.

Import Connections Zeenea Studio

Fonctionnalité 2 : Un métamodèle flexible et adaptable

Automatisez la documentation des données

La documentation des informations peut être extrêmement chronophage, avec parfois des milliers de propriétés, de champs et d’autres métadonnées importantes qui doivent être mises en œuvre pour que les équipes métier comprennent parfaitement le contexte des données qu’elles consultent.

Zeenea fournit un moyen flexible et adaptable de construire des templates de métamodèles d’objets préconfigurés (jeux de données, champs, data processes, etc.) et un nombre illimité d’objets personnalisés (procédures, règles, KPIs, règlements, etc.).

Importez ou créez vos modèles de documentation simplement en glissant vos propriétés existantes ainsi que vos tags et autres métadonnées personnalisées dans vos templates. Vous avez fait une erreur dans un template ? Aucun problème ! Ajoutez, supprimez ou modifiez vos propriétés et sections comme bon vous semble – vos éléments sont automatiquement mis à jour une fois édités.

Edit Dataset Template Zeenea Studio
Après avoir créé vos templates, visualisez facilement tous les assets qui composent votre métamodèle, ainsi que leurs relations grâce à notre diagramme dynamique. Notre design intuitif montre les détails de chaque type d’Objet – leurs sections et leurs propriétés – et se met à jour automatiquement après chaque modification. Vous pouvez également effectuer un zoom avant ou arrière sur l’objet de votre choix et exporter une image de votre métamodèle.
Metamodel Graph Zeenea Studio
Faites de même pour vos Objets du Glossaire ! Nous avons séparé les couches physique et logique du métamodèle Glossaire afin que les Data Stewards et autres contributeurs puissent facilement définir et trouver leurs termes métier. En utilisant le même processus que le métamodèle physique et logique, créez ou importez des objets sémantiques, organisez-les dans des hiérarchies et configurez la façon dont vos éléments de glossaire sont liés avec les éléments techniques.
Glossary Metamodel Zeenea Studio

Fonctionnalité 3 : Lignage des données automatique

Tracez vos transformations data

Pour que les Data Stewards puissent construire des rapports de conformité précis et fiables, les capacités de data lineage sont essentielles. De nombreux développeurs de logiciels proposent des fonctionnalités de lignage, mais rares sont ceux qui les comprennent vraiment. C’est pour cette raison que Zeenea propose un graphique interactif de data lineage, permettant à vos utilisateurs de naviguer dans le cycle de vie de leurs données via une interface visuelle et facile à interpréter. Cliquez sur n’importe quel Objet pour obtenir un aperçu de sa documentation, de ses relations avec d’autres Objets, ainsi que ses métadonnées pour obtenir une vue à 360° des éléments de votre catalogue.

Data Lineage Zeenea Studio

Fonctionnalité 4 : Suggestions intelligentes

Identifiez rapidement les données personnelles

Avec le RGPD, le California Consumer Privacy Act et autres réglementations concernant la sécurité et la confidentialité des informations des individus, il peut être fastidieux de passer en revue chaque ensemble d’informations existant pour s’assurer que vous avez correctement marquées les données comme étant personnelles. Pour s’assurer que vos informations sont toujours correctement identifiées, Zeenea analyse les similitudes entre les données personnelles existantes en identifiant et en donnant des suggestions sur les champs à marquer comme “personnelles”. Les Data Stewards peuvent accepter, ignorer ou supprimer les suggestions directement depuis leur tableau de bord.

Suggestions Field

Fonctionnalité 5 : Un modèle de jeux de permissions efficace

Assurez-vous que les bonnes personnes accèdent aux bonnes données

Pour les organisations où divers types d’utilisateurs accèdent à leur patrimoine de données, il n’est pas judicieux de donner à chacun un accès complet pour modifier tout et n’importe quoi. Surtout lorsqu’il s’agit d’informations sensibles ou personnelles. C’est pour cette raison que Zeenea a conçu un modèle de jeux de permissions qui permet aux Data Stewards d’accroître l’efficacité de votre organisation et de réduire le risque d’erreurs. Attribuez des droits de lecture seule, d’édition et d’administration dans toutes ou différentes parties du catalogue pour non seulement garantir un catalogue sécurisé, mais également pour gagner du temps lorsque les consommateurs de données ont besoin de trouver le référent d’une information.

Permission Sets Admin

Prêts à lancer votre programme de Data Stewardship avec Zeenea ?

Si vous êtes intéressé par les fonctionnalités de Zeenea pour vos besoins de documentation et de stewardship, contactez-nous pour une démo personnalisée de 30 minutes avec l’un de nos experts data.

Demander une démo
Pourquoi le Data Catalog aide-t-il les entreprises à réussir leurs programmes de Data Stewardship ?

Pourquoi le Data Catalog aide-t-il les entreprises à réussir leurs programmes de Data Stewardship ?

par | Juil 6, 2022 | Data Catalog, Metadata Management

En déployant un programme de Data Stewardship dans votre entreprise, vous pourrez garantir non seulement la qualité de vos données mais également leur exploitation simple et efficace par l’ensemble de vos collaborateurs. En tant qu’acteur clé de la gouvernance et de la gestion des données, le Data Steward a besoin d’outils spécifiques, au premier rang desquels : le Data Catalog. Décryptage.

La place de la donnée dans les entreprises est toujours plus stratégique et pas seulement dans les plus grandes organisations ! En effet, pour définir les stratégies commerciales, piloter la distribution, ou encore organiser la production, l’exploitation de la data constitue un avantage concurrentiel majeur. Pour délivrer leur plein potentiel, les données doivent être fiables, de qualité et parfaitement organisées. Des caractéristiques qui se rattachent à une discipline : le Data Stewardship. 

Le Data Steward, également appelé Maître de la donnée, agit comme le garant de l’exploitation optimale de la data. Comment ? En centralisant l’ensemble des données quelle que soit leur source, dans un environnement accessible à tous les métiers de manière simple, intuitive et opérationnelle. Un programme de Data Stewardship repose tout à la fois sur une méthodologie rigoureuse, une vision globale des données disponibles et une ambition de rationalisation pour développer une culture data forte dans les entreprises. Cependant, la vision, la compréhension et la méthode ne dispensent pas le Data Steward de s’appuyer sur les bons outils pour accomplir ses missions :  le data catalog (ou catalogue de données) est l’un de ces outils essentiels pour réussir un projet de Data Stewardship.  

Les objectifs du Data Catalog

Un data catalog exploite avant tout les métadonnées – les données sur les données – pour créer un référentiel de tous les actifs informationnels de l’entreprise. Ces métadonnées collectées via diverses sources (Big Data, services Cloud, feuilles Excel, etc.) sont automatiquement scannées pour permettre aux utilisateurs du catalogue de rechercher et d’obtenir des informations telles que la disponibilité, la fraîcheur ou encore la qualité d’un actif data. Un catalogue de données centralise et unifie les métadonnées collectées afin qu’elles puissent être partagées avec les équipes IT et les fonctions métier au sein de l’organisation. Cette vue unifiée des données apporte de nombreux avantages, et permet de :

  • Maintenir une culture des données
  • Accélérer la découverte des données
  • Construire une gouvernance des données agile
  • Maximiser la valeur des données
  • Produire mieux, plus vite
  • Assurer un bon niveau de contrôle des données.

 

Les bénéfices du Data catalog pour les Data Stewards

Depuis l’import de nouvelles sources de données en passant par le suivi des mises à jour des informations, la capacité du data catalog de suivre et piloter en temps réel et automatiquement des métadonnées permet aux Data Stewards de gagner en efficacité. En effet, un data catalog offre une visibilité à 360° sur vos données depuis leur origine jusqu’à l’ensemble de leurs transformations au fil du temps. Le recours au Data catalog dans le cadre d’un programme de Data Stewardship présente, entres autres, quatre bénéfices essentiels :

Bénéfice N°1 : Maintenir une documentation à jour

Vos données vivent en permanence. Elles sont collectées, valorisées, exploitées, enrichies… Pour disposer d’une parfaite compréhension de vos actifs data, vous devez disposer d’une documentation à jour qui vous renseigne sur les sources de données et sur la façon dont elles sont utilisées. Le data catalog est conçu pour vous aider à maintenir cette documentation à jour.

Avantage Zeenea : Notre catalogue recense et collecte automatiquement les métadonnées via nos APIs et nos scanners afin de toujours garantir que vos données sont à jour. Visualisez l’origine et les transformations de vos données au fil du temps grâce à nos fonctionnalités de lignage intelligent.

 

Bénéfice N°2 : Assurer la qualité des données

La vocation première du data catalog, c’est de garder une vue claire sur vos données grâce aux metadata. Définition, structure, source, utilisation, procédure à suivre… par nature la gestion des métadonnées par le data catalog contribue à garantir la qualité des données.

Avantage Zeenea : Zeenea permet à vos Data Stewards de construire des templates de métamodèles flexibles pour des types d’objets prédéfinis et personnalisés. Un outil de drag-and-drop permet de déplacer vos propriétés, tags et autres champs dans vos modèles de documentation pour tous les objets de votre catalogue.

 

Bénéfice N°3 : Respecter les réglementations data

La conformité à la réglementation data est un enjeu crucial dans le cadre d’un projet de Data Stewardship. Le data catalog, par sa capacité à organiser les données et à les centraliser dans un environnement clair, sain et lisible contribue à se soumettre à ces impératifs réglementaires.

Avantage Zeenea : Notre catalogue de données garantit la conformité réglementaire en identifiant, classifiant et en gérant automatiquement les actifs de données personnelles à l’échelle de l’entreprise. Grâce à des recommandations intelligentes, notre catalogue détecte les informations à caractère personnel et donne des suggestions sur les actifs à taguer.

 

Bénéfice N°4 : Monitorer le cycle de viedes données

Entre gouvernance, qualité et sécurité, votre projet de Data Stewardship implique de suivre, en temps réel le cycle de vie de vos données. Le data catalog répond à cet enjeu en vous offrant la possibilité de monitorer l’ensemble des activités affectant vos données.

Avantage Zeenea : Zeenea propose un tableau de bord aux Data Stewards qui leur permet de suivre et de surveiller l’activité liée aux métadonnées. Vérifiez les niveaux de complétude de votre documentation, les objets du catalogue les plus fréquemment consultés et recherchés, l’état de la connectivité de votre catalogue, et bien plus encore.

Organisation, connaissance, transparence, évolutivité, le data catalog est taillé pour accompagner votre projet de Data stewardship !

 

Démarrez votre programme de Data Stewardship avec Zeenea

Zeenea propose une solution de gestion des métadonnées qui permet aux Data Stewards de surmonter les défis associés à la gestion de volumes de données de plus en plus importants. Notre solution aide les organisations à maximiser la valeur de leurs données en réduisant le temps passé sur des tâches complexes et fastidieuses de documentation, ainsi qu’en brisant les silos de données pour améliorer la connaissance des datas de l’entreprise.

Contactez-nous dès à présent pour une démonstration gratuite et personnalisée avec un de nos experts : 

contactez-nous
Exploiter la valeur du Data Lineage dans l’organisation : une approche métier

Exploiter la valeur du Data Lineage dans l’organisation : une approche métier

par | Nov 14, 2021 | Data Catalog, Metadata Management

Dans notre précédent article, nous avons décomposé le Data Lineage en présentant les différentes typologies de lineage (couche physique, couche métier et couche sémantique) et les différents niveaux de granularité (valeurs, champs, datasets, application). 

Nous allons vous présenter ici notre approche matricielle pour concentrer vos efforts et vos ressources là où la valeur du Data Lineage est la plus forte pour vos différentes équipes (métiers).

 

Notre matrice centrée sur les métiers

Pour bien appréhender l’approche Zeenea du data lineage centrée sur les métiers au sein de l’entreprise, nous vous invitons au préalable à lire notre article sur la décomposition du data lineage.

Les différents profils métiers dans l’organisation

Nous avons classé les populations qui souhaitent exploiter la valeur du Data Lineage dans une organisation en 4 grandes catégories :

  • IT : ce sont les ingénieurs et architectes chargés de développer et de maintenir l’infrastructure, les flux et les applications data.

  • Analytique : ce sont les équipes chargées d’analyser les données, de construire des indicateurs, des tableaux de bord, des rapports, etc.

  • Métier : ce sont tous les acteurs chargés d’imaginer puis d’opérer les usages et applications fonctionnelles autour des données – chefs de projets, chefs de produits, analystes métier, etc.

  • Conformité : ce sont les équipes responsables de la conformité réglementaire, de la sécurité, du contrôle interne, etc.

Valeur ajoutée du Data Lineage en fonction du profil métier

La matrice suivante synthétise la valeur ajoutée apportée par le Data Lineage pour les différentes combinaisons typologie, granularité et profil métier.

    data-lineage-layers-FR-zeenea

    À l’observation de cette matrice, et sachant que le lineage de niveau supérieur peut être déterminé à partir de celui du niveau inférieur, il est tentant de se fixer comme objectif de gérer le lineage au niveau champ : c’est à ce niveau que la valeur ajoutée est la plus élevée, et il permet de produire automatiquement le lineage sur les niveaux supérieurs.

    Les choses, bien sûr, ne sont pas si simples !

    Si le bénéfice du lineage champ à champ est indiscutable, il présente un inconvénient majeur : son coût. Quel que soit la couche de lineage considérée, le coût de production et de maintenance va en effet dépendre principalement de deux variables :a volumétrie (nombre d’objets pris en compte et nombre de liens entre eux), et la capacité à automatiser la récupération et la mise à jour de ces informations.

    Sur ces deux aspects, le lineage champ à champ présente clairement le profil le plus défavorable..

    Les limites du lineage champ à champs: Une volumétrie gigantesque

    Concernant la volumétrie, on comprend facilement que le nombre de champs matérialisés dans un système d’information même de taille modeste atteint facilement plusieurs dizaines de milliers, quand ce n’est pas des centaines de milliers voire des millions. Maintenir l’information de lineage manuellement sur un tel volume d’objets n’est pas raisonnable. La seule voie praticable est donc celle de l’automatisation massive.

    Des possibilités d’automatisation limitées

    En théorie, le lineage technique champ à champ peut être automatisé en inspectant les différentes étapes du traitement, depuis la capture initiale de la donnée jusqu’à ses usages finaux. En pratique, cette automatisation se heurte à la très grande hétérogénéité des solutions d’intégration et de traitement des données. Certains fournisseurs proposent des solutions pour réaliser ces opérations.

    Nous avouons de ne pas y croire, pour deux raisons : d’une part le reverse-engineering est une opération fragile, dont la fiabilité ne peut être garantie à 100% ; d’autre part la panoplie de solutions et de langages utilisés dans les pipelines de données est trop vaste, et l’innovation constante dans ce domaine rend difficile pour une solution commerciale de garantir une couverture intégrale de toutes les technologies mises en œuvre dans un environnement donné.

    Une granularité au champ est séduisante, mais hors de portée en pratique.

     

    Notre approche pour une optimisation du Data Lineage

    Le pivot : la couche physique au niveau des datasets

    Si l’on reprend la matrice présentée plus haut, il apparaît que la valeur du lineage au niveau dataset est très proche de celle du lineage champ à champ.

    Pour les profils IT, métier et analytique, elle est dans la plupart des cas équivalente. Le principal écart concerne la conformité. Pour la plupart des normes, l’exigence de documentation du lineage concerne des champs. Mais la conformité ne concerne pas toutes les données de l’organisation, uniquement celles que l’on qualifie de critical data elements (CDE).

    Les CDE sont de différentes natures – données personnelles, données sensibles, données de risque, etc. Mais elles possèdent l’intérêt de ne représenter qu’une infirme portion des données totales – souvent quelques dizaines ou quelques centaines de champs dont il faut fournir le lineage aval ou amont.

    Partant de là, voici l’approche générale qui a notre préférence pour la couche physique :

        • Focaliser l’effort sur le lineage au niveau dataset, en visant l’automatisation la plus poussée possible.
        • Associer les datasets (et autres objets physiques de même niveau) aux applications auxquelles ils sont rattachés – cette opération est généralement facile à automatiser, elle est globalement stable dans le temps, et peut au pire être gérée manuellement dans le catalogue.
        • Compléter localement par du lineage champ à champ ciblé sur les CDEs – on pourra automatiser quand c’est possible, mais également s’appuyer sur les processus de revue périodique courant dans les dispositifs réglementaires.

    Lineage des couches métier et sémantique

    Pour ce qui est des autres couches (métier et sémantique), l’approche est sensiblement différente : l’automatisation n’est guère possible. Aucun miracle, donc : le lineage métier et le lineage sémantique devront probablement être gérés à la main.

    Pour ce qui est de la couche métier, nous proposons plutôt une approche top-down. Cela signifie que le premier effort devrait être consacré à définir le lineage métier au niveau application. Les datasets et champs contenus dans les applications hériteront de ce lineage métier. On devrait également être en mesure de définir le lineage métier à un niveau plus fin, mais uniquement quand un cas d’utilisation le justifie. 

    Pour la couche sémantique, les choses sont encore un peu différentes. En effet, un effort spécifique est nécessaire pour construire le glossaire. Cet effort est de l’ordre de la modélisation, et sera plus ou moins considérable selon la taille du corpus de données, et l’existence préalable de modèles pouvant être importés ou intégrés au catalogue.

    Le point d’ancrage naturel du modèle sémantique sur la couche physique du lineage se fait au niveau des champs. Or une nouvelle fois, l’automatisation est peu praticable – vous ne possédez probablement pas de système référençant de façon systématique le sens de chacun des champs de tous vos systèmes. 

    L’association entre les champs de la couche physique et les définitions de la couche sémantique devra donc être faite manuellement, ce qui représente une nouvelle fois une tâche titanesque si l’on cherche à le faire de façon exhaustive.

     

    Conclusion

    Le Data Lineage est un sujet complexe, qui peut être décomposé en couches (physique, métier et sémantique) et en plusieurs niveaux de granularité (valeur, champ, dataset, application).

    La valeur du lineage peut alors être représentée sous la forme d’une matrice  très dépendante des cas d’usage, et des populations qui l’exploitent. Le coût de production et de maintenance de l’information de lineage est alors fonction de la capacité d’automatisation, et de la volumétrie d’objets au niveau considéré.

    Pour en savoir plus sur les bonnes pratiques du Data Lineage, téléchargez dès maintenant notre eBook : Tout ce que vous avez toujours voulu savoir sur le Data Lineage !

    data-lineage-white-paper-mockup-fr
    Télécharger
    Le Data Lineage décomposé : typologies et granularité du lineage

    Le Data Lineage décomposé : typologies et granularité du lineage

    par | Nov 2, 2021 | Data Catalog, Metadata Management

    Le sujet de Data Lineage semble universel : quel que soit le secteur d’activité, toutes les parties prenantes dans une organisation Data cherchent à connaître l’origine et la destination des données qu’elles sont amenées à manipuler ou interpréter. 

    La capacité à gérer le Data Lineage est donc une composante incontournable pour une solution de Data Catalog. Mais comme souvent, derrière une question simple et universelle se cache un monde de complexité difficilement appréhensible. Cette complexité est en partie liée à l’hétérogénéité de la réponse attendue en fonction du prisme de l’interlocuteur dans l’entreprise. Nous vous exposons dans cet article notre approche pour décomposer le data lineage en fonction de la nature de l’information recherchée et de sa granularité.

     

    Typologie du Data Lineage : à la recherche de l’origine de la donnée

    La question de l’origine d’une donnée possède de nombreuses réponses. Certains voudront connaître la formule de calcul ou la sémantique exacte de la donnée. D’autres voudront savoir de quel(s) système(s), de quelle(s) application(s) ou de quelle(s) machine(s) ou usine elle est issue. D’autres encore s’intéresseront aux processus métiers ou opérationnels qui ont produit la donnée. Ou encore à toute la chaîne de traitement technique amont et aval. Difficile de faire le tri dans ce maquis de considérations très diverses !

    Une approche par couche

    Pour structurer l’information de lineage, nous proposons, à l’instar de ce qui se pratique dans le domaine de la géocartographie, de distinguer plusieurs couches superposables. 

    Nous en identifions trois :

    • La couche physique, qui va comprendre les objets du système d’information – applications, systèmes, bases, jeux de données, programmes d’intégration ou de transformation, etc.
    • La couche métier, qui va contenir les éléments organisationnels – domaines, processus ou activités métier, entités, responsables, contrôles, comités, etc.
    • La couche sémantique, qui va s’intéresser à la signification des données – formules de calcul, définitions, ontologies, etc.
    data-lineage-layers-FR-zeenea

    Focus sur la couche physique 

    La couche physique constitue le canevas de base sur lequel vont pouvoir s’ancrer les autres couches. Cette approche est une nouvelle fois similaire à ce qui se pratique en matière de cartographie : au-dessus de la carte physique, il est possible de superposer d’autres couches portant des informations spécifiques.

    La couche physique représente par ailleurs la dimension technique du lineage ; elle est matérialisée par des artefacts techniques tangibles – bases de données, systèmes de fichiers, middlewares d’intégration, outils de BI, scripts et programmes, etc. En théorie, la structure du lineage physique peut donc être extraite de ces systèmes, et donc en grande partie automatisée, ce qui n’est généralement pas le cas des autres couches.

    Un point est fondamental : pour que cette approche bottom up fonctionne, il est nécessaire que le lineage physique soit exhaustif.

    Cela ne signifie pas que le lineage de tous les objets physiques soit disponible, mais que pour ceux qui en disposent, le lineage soit complet. Et cela pour deux raisons. D’une part, un lineage partiel (donc faux) risque d’induire celui qui le consulte en erreur, mettant en péril l’adoption du catalogue. D’autre part, la couche physique servant de point d’ancrage aux autres couches, ses lacunes se propagent.

    En complément de cette représentation en couches superposables, abordons l’autre aspect fondamental du lineage : celui de sa granularité.

     

    Granularité du Data Lineage

    En matière de granularité du lineage, nous distinguons 4 niveaux distincts : la valeur, le champ (ou la colonne), le jeu de données et l’application.

    Le niveau valeur peut être abordé rapidement. Il s’agit, pour une donnée particulière (on parle ici d’une valeur spécifique, pas de la définition d’une donnée), de connaître toutes les étapes qui ont permis de la calculer. Pour des applications de pricing mark-to-model par exemple, le lineage du prix doit comprendre toutes les données brutes (horodatage, fournisseur, valeur), les valeurs dérivées de ces données brutes ainsi que les versions de tous les algorithmes utilisés dans le calcul.

    Des exigences réglementaires ou contractuelles existent dans de nombreux domaines (banque, finance, assurance, santé, pharmaceutique, IOT, etc.), mais de façon généralement très localisée. Elles sont clairement hors de portée pour un Data Catalog, dans lequel il est difficilement imaginable de gérer chaque valeur de données ! Répondre à ces exigences nécessite soit un progiciel spécialisé, soit un développement spécifique.

    Les 3 autres niveaux concernent des métadonnées, et sont quant à eux clairement du domaine d’un Data Catalog. Détaillons-les rapidement.

    Le niveau champ est le niveau le plus fin. Il s’agit, pour une information présente dans un jeu de données (table ou fichier), un rapport, un tableau de bord, etc., de tracer toutes les étapes (au niveau physique, métier ou sémantique) permettant d’alimenter le champ en question.

    Au niveau dataset ( jeu de données), le lineage est défini non plus pour chaque champ mais au niveau du conteneur du champ, qui est typiquement une table dans une base de données, un fichier dans un data lake, une API, etc. On représente à ce niveau les étapes qui permettent d’alimenter le jeu de données dans son ensemble, typiquement à partir d’autres jeux de données (on retrouve à ce niveau d’autres artefacts, tels que des rapports, des tableaux de bord, des modèles ML voire des algorithmes)

    Enfin, le niveau application permet de documenter le lineage de façon macroscopique, en s’attachant aux éléments logiques de haut niveau dans le système d’informations. Le terme application est ici utilisé de façon générique pour désigner un regroupement fonctionnel de plusieurs jeux de données.

    On pourrait bien sûr imaginer d’autres niveaux supérieurs (regrouper par exemple les applications dans des domaines métiers), mais complexifier davantage relève plus de la cartographie des flux que du lineage…

    Enfin, chaque niveau s’imbrique dans le niveau supérieur, avec pour conséquence que le lineage du niveau supérieur peut être déduit de celui du niveau inférieur (si je connais le lineage de tous les champs d’un dataset, alors je peux déduire le lineage de ce dataset).

    Nous espérons que cette décomposition du data lineage vous permettra de mieux l’appréhender dans votre organisation. Dans un prochain article, nous partagerons notre approche pour que chaque métier puisse tirer un maximum de valeur du Lineage grâce à notre matrice typologie / granularité / métier.

     

    Pour en savoir plus sur les bonnes pratiques du Data Lineage, téléchargez dès maintenant notre eBook : Tout ce que vous avez toujours voulu savoir sur le Data Lineage !

      data-lineage-white-paper-mockup-fr
      Télécharger
      Qu’est-ce que le Data Lineage ?

      Qu’est-ce que le Data Lineage ?

      par | Sep 13, 2021 | Data Catalog, Metadata Management, Réglementations Data

      Vos actifs data doivent être accessibles et exploitables à tout moment, sans aucune interruption. Pour y parvenir, il faut disposer d’une connaissance parfaite de vos données, de leur origine et des différents processus d’exploitation mis en place par votre organisation. Cette connaissance découle du Data Lineage. Explications !

      Après la ressource humaine, la donnée s’est imposée comme l’actif le plus précieux des entreprises. La data doit être préservée et valorisée car elle recèle toute l’intelligence d’une organisation. Elle constitue le ciment entre l’entreprise, ses clients et ses partenaires. 

      Mais, de ce rôle clé qu’elle occupe dans le quotidien d’une entreprise, découle d’importantes responsabilités pour ceux qui l’exploitent. Comprendre sans être intrusif, connaître sans espionner, l’équation est complexe.

      Aussi, de l’entrée en application de BCBS-239 jusqu’à la RGPD, la démarche du législateur vis-à-vis de la donnée consiste à créer les conditions de la transparence pour préserver, autant que possible, le respect de la vie privée et faire en sorte qu’aucune data ne puisse jamais être exploitée au détriment d’un client. 

      C’est dans ce contexte d’exigence absolue qu’intervient le Data Lineage. Derrière cet anglicisme (que l’on peut traduire par lignage de données) se cache un concept essentiel : la traçabilité de la donnée. Une traçabilité qui s’entend sur l’ensemble de son cycle de vie, de sa collecte jusqu’à son exploitation, son stockage et sa préservation dans le temps.

       

      Data Lineage : Mode d’emploi

      La raison d’être du Data Lineage, c’est d’assurer une traçabilité absolue de vos données. Cette traçabilité ne se limite pas à connaître la source d’une information. Cela va même beaucoup plus loin ! 

      Pour bien comprendre la nature des informations de lineage, je vous propose de passer par une petite analogie.

       

      Imaginons que vous diniez dans un restaurant gastronomique. Le menu comporte des plats aux noms fleuris, composés de nombreux ingrédients plus ou moins exotiques, et dont certains vous sont étrangers. Quand le serveur vous apporte votre assiette, vous goûtez, appréciez, et vous interrogez sur l’origine de ce que vous mangez.

      Selon votre prisme, vous n’attendez pas la même réponse.

      Gourmet, vous allez chercher à savoir comment les différents ingrédients ont été transformés et assemblés pour aboutir au produit fini. Vous chercherez à connaître les différentes étapes de la préparation, la technique de cuisson, sa durée, les condiments qui l’agrémentent, l’assaisonnement, etc. Bref, vous vous intéressez aux aspects les plus techniques de la préparation finale: la recette. Et vous aurez probablement également une certaine curiosité pour l’origine des matières premières

      Contrôleur, vous vous focaliserez plutôt sur la chaîne complète d’approvisionnement et de transformation: identité des fournisseurs, lieux et conditions d’élevage ou de culture des produits bruts, transport, conditionnement, abattage, découpe et préparation, respect de la chaîne du froid, etc. Vous voudrez également vous assurer que cette chaîne d’approvisionnement est conforme aux différents labels ou appellations que le restaurateur met en exergue (origine des ingrédients, bio, “fait maison”, AOC, AOP, etc.).

      D’autres pourront privilégier les dimensions historique et culturelle – de quel terroir ou tradition le plat est-il dérivé ou inspiré? Quand et par qui a-t-il été créé initialement? 

      D’autres encore (plus rares, j’en conviens) s’intérrogeront sur l’origine phylogénétique de la race de veau préparée par le chef…

      Bref, en matière de gastronomie, la question de la provenance n’attend pas une réponse unique et homogène. Et il en est de même en matière de données.

      En effet, grâce au Data Lineage, vous disposerez d’un outil de suivi en temps réel de la data.

      Une fois collectée, celle-ci fait l’objet d’un suivi constant afin de :

      • détecter et suivre les erreurs éventuelles dans vos processus de traitement des données,
      • piloter et monitorer en continu tous les changements de processus en minorant les risques de dégradation des donnés,
      • gérer les migrations de données,
      • disposer d’une vision à 360° sur vos métadonnées.

      Le Data Lineage agit comme une aide au sein de votre entreprise pour vous assurer que vos données émanent d’une source fiable et maîtrisée, que les transformations qu’elles ont pu subir sont connues, suivies et légitimes et qu’elles sont disponibles au bon endroit, au bon moment et pour le bon utilisateur. 

      Agissant comme un outil de contrôle, le data lineage a pour mission principale de valider l’exactitude et la cohérence de vos données. Comment ? En permettant à vos collaborateurs de mener des recherches sur l’ensemble du cycle de vie de la donnée, en amont comme en aval, de sa source jusqu’à sa destination finale pour détecter et isoler toute anomalie et la corriger.

       

      Les quatre principaux avantages du Data Lineage

       

      Le premier avantage issu du déploiement d’un Data Lineage est lié au respect des contingences réglementaires. Parce qu’il contribue à recenser et cartographier l’ensemble des processus de production et d’exploitation de la donnée, le lignage de données contribue à limiter votre exposition au risque de non-conformité des données à caractère personnel. 

      Le Data lineage facilite par ailleurs la gouvernance des données car il offre à votre entreprise et à ses collaborateurs un référentiel complet décrivant les flux de données et des métadonnées. Une connaissance indispensable pour concevoir une architecture de données 100% opérationnelle. 

      Le lignage des données facilite également l’automatisation de la documentation de vos flux de production de données. Aussi, si vous envisagez de donner une place prépondérante à la data dans votre stratégie de développement, le Data Lineage vous permettra de gagner un temps considérable dans le déploiement de projets. 

      Enfin, le dernier grand bénéfice à tirer du lignage de données concerne vos collaborateurs eux-mêmes. Avec des données dont l’origine, la qualité et la fiabilité sont garanties par le Data Lineage, ils peuvent alors s’appuyer pleinement sur vos flux et appuyer leurs actions, au quotidien, sur cet actif indispensable. 

      Gagner du temps, garantir la conformité de vos données aux grands principes issus de la RGPD, fluidifier l’action de vos équipes tout en inscrivant votre entreprise dans une nouvelle dimension, fonder sur une stratégie data sans concession… N’attendez plus, lancez-vous !

      WhereHows : la solution de data discovery et lineage de LinkedIn

      WhereHows : la solution de data discovery et lineage de LinkedIn

      par | Avr 20, 2020 | Inspiration Data, Metadata Management

      Dans un monde où le paysage des données se développe rapidement et où les SI sont de plus en plus complexes, les organisations de tous les secteurs ont compris l’importance de faciliter la découverte, la compréhension et la confiance dans leurs données.

      Leurs armes ? Les métadonnées.

      Que votre entreprise soit dans le secteur du streaming comme Spotify ou Netflix, dans le secteur du VTC comme Uber ou Lyft, ou même dans celui de la location saisonnière comme Airbnb, il est essentiel que les équipes data soient équipées des bons outils et bonnes solutions leur permettant d’innover et de produire de la valeur avec leurs données.

      Dans cet article, nous nous concentrerons sur WhereHows, un projet open source dirigé par l’équipe data de LinkedIn. Ce projet a mené à la création d’un répertoire central pour les personnes, processus et connaissances data de l’entreprise. Avec plus de 50 000 jeux de données, 14 000 commentaires et 35 millions de jobs et d’informations sur le lineage, il est clair que la solution de data discovery de LinkedIn est un succès !

       

      Les chiffres clés de Linkedin

      Fondée par Reid Hoffman, Allen Blue, Konstantin Guericke, Eric Ly et Jean-Luc Vaillant en 2003 en Californie, la firme démarre son aventure assez lentement. En 2007, elle est enfin devenue rentable et, en 2011, elle comptait plus de 100 millions de membres dans le monde entier.

      En 2020, Linkedin a connu une croissance significative:

      • Plus de 660 millions de membres LinkedIn dans le monde, dont 206 millions d’utilisateurs actifs en Europe,
      • Plus de 80 millions d’utilisateurs sur Linkedin Slideshare,
      • Plus de 9 milliards d’impressions de contenu,
      • 30 millions d’entreprises enregistrées dans le monde entier.

      LinkedIn est devenu un réseau social professionnel incontournable pour les recruteurs, les spécialistes du marketing et les commerciaux. Alors, comment le Géant du web gère-t-il toutes ses informations ?

      Le début de WhereHows

      Comme la plupart des entreprises ayant un écosystème BI mature, Linkedin a commencé avec une équipe data warehouse, chargée d’intégrer les sources de données considérées comme les plus importantes. Cependant, le nombre de jeux de données et d’informations collectées data ne cessaient d’augmenter ! L’équipe de la firme a finit par se sentir très vite dépassée par la quantité colossale de données à gérer chaque jour.

      Certaines questions revenaient inlassablement :

          • Qui est le propriétaire de ce flux de données ?
          • Comment ces données sont-elles arrivées ici ?
          • Où se trouvent les données ?
          • Quelles sont les données utilisées ?

      Linkedin a donc décidé de développer une plateforme de métadonnées connectée à tous leurs systèmes d’information. La solution veut simplifier la collecte et l’affichage des métadonnées dans le but de faciliter la découverte de données. Bienvenue WhereHows !

      La plateforme WhereHows en bref

      Linkedin-WhereHows-1

      WhereHows s’intègre à tous les environnements data et en extrait les métadonnées.

      Ensuite, il fait apparaître ces informations via deux interfaces différentes :

      1. Une application web qui permet la navigation, la recherche, la visualisation du lineage, les discussions et la collaboration,
      2. Un API qui permet l’automatisation d’autres processus de données et d’applications.

      Cette plateforme permet à Linkedin de résoudre les problèmes liés au data lineage, la connaissance des propriétaires d’un jeu de données, et à la découverte des schémas, entre autres. Elle détecte les schémas en se basant sur du machine learning et l’association entre le business glossary et leurs jeux de données.

      Le Géant du Web a également créé une communauté basée sur la participation et la collaboration, ce qui leur permet de maintenir la documentation de leurs données en encourageant les discussions entre propriétaires de jeux de données.

      Il y a trois composants principaux de WhereHows:

       

      1. Un référentiel de données qui stocke toutes les métadonnées,
      2. Un serveur web qui fait apparaître les données via l’API ou l’interface utilisateur,
      3. Un serveur backend qui récupère les métadonnées d’autres sources d’information.
      Linkedin-WhereHows-2

      Quelles sont les métadonnées collectées par WhereHows ? 

      La puissance de WhereHows provient des métadonnées qu’il collecte dans l’écosystème de données de Linkedin.

      Il collecte les métadonnées suivantes:

      • Métadonnées opérationnelles, telles que les jobs, les flux, etc.
      • Informations sur le lineage, qui permettent de relier les jeux de données entre elles sur les jobs,
      • Informations cataloguées telles que l’emplacement d’un jeu de données, sa structure, sa propriété, sa date de création, etc.

       

      Comment LinkedIn utilise ses métadonnées

      WhereHows utilise un modèle universel qui permet aux équipes data de mieux exploiter la valeur de leurs données ; par exemple, en effectuant une recherche à travers la plateforme WhereHow en fonction des métadonnées indexées.

      De plus, le data lineage fournit les informations qui les relient entre elles et permettent aux équipes data de remonter ces informations en amont et en aval. Avec un écosystème data complètement intégré dans WhereHows, Linkedin arrive à suivre le flux d’une donnée du début à la fin !

      Comment LinkedIn collecte ses métadonnées

      La méthode utilisée pour collecter les métadonnées dépend de la source. Par exemple, les jeux de données Hadoop ont des “scraper jobs” qui permettent de scanner les fichiers HDFS, de lire les métadonnées, puis de les stocker à nouveau dans WhereHow.

      Pour les “task planners” tels que Azkaban, ils connectent leur data warehouse backend pour obtenir les métadonnées, les agréger, les transformer au format dont ils ont besoin, et ensuite les charger dans WhereHows.
      Pour les informations du data lineage, ils analysent le log du MapReduce et le log d’exécution d’un planificateur, puis combinent ces informations pour finalement obtenir le lineage.

       

      Quelle est la prochaine étape pour WhereHows ?

      Aujourd’hui, WhereHows est activement utilisé chez Linkedin, non seulement comme un warehouse de métadonnées, mais aussi pour l’automatisation d’autres projets data telle que l’automatisation de la suppression de données personnelles. En 2016, ils se sont intégrés aux systèmes ci-dessous:

      linkedin-wherehows-systems

      À l’avenir, les équipes data de Linkedin espèrent élargir leur couverture de métadonnées en intégrant davantage de systèmes tels que Kafka ou Samza. Elles prévoient également de s’intégrer à des systèmes de gestion du cycle de vie des données et d’approvisionnement comme Nuage ou Goblin pour enrichir les métadonnées. WhereHows n’a pas dit son dernier mot !

      Sources: 

      Vous voulez en savoir plus sur les solutions de data discovery ?

      Téléchargez notre livre blanc : « Le Data Discovery vu par les Géants du Web »

      Dans ce livre blanc, nous faisons un focus sur le contexte et la mise en œuvre des solutions de data discovery développées par les grandes entreprises du web, dont certaines font partie du célèbre «Big Five» ou «GAFAM» (Google, Apple, Facebook, Amazon, Microsoft).

      data-discovery-mockup-FR-no-shadow
      télécharger le livre blanc