Présentation du Data Catalog Fédéré

Feature Note

L’essor des principes du data mesh a révolutionné le data management, mettant en avant un modèle décentralisé et spécifique aux domaines, traitant les données comme un produit. Cette approche garantit que la propriété, la responsabilité et la gestion des données sont assurées par les équipes les plus expertes dans leur domaine.

Pour accompagner cette transition, nous avons déjà mis en œuvre des fonctionnalités de gestion des data products dans Zeenea, enabling our users to easily create, maintain, and consume enterprise data products. We are proud to introduce our federated data catalog capabilities to support these decentralized efforts further.

Cette feature note explore comment le Catalogue de Données Fédéré de Zeenea permet à votre organisation de décentraliser la gestion des métadonnées et de faire évoluer votre architecture data.

Qu’est-ce qu’un Data Catalog Fédéré ?

Zeenea permet à votre organisation de décentraliser la gestion des métadonnées en construisant un catalogue de données fédéré. Cela vous permet de répartir la curation et la responsabilité de gestion des métadonnées entre les domaines, en créant plusieurs catalogues au sein de votre plateforme.

L’autonomie dans la gestion des métadonnées permet une prise de décision plus rapide, une meilleure qualité des données et une utilisation plus efficace des ressources. Dans un catalogue fédéré, votre organisation peut donner aux domaines une autonomie en matière de modélisation, de crawling des sources de données, de curation, ainsi que dans la gestion des utilisateurs, des permissions et du partage d’informations.

De plus, vous pouvez faire évoluer le data catalog fédéré vers une Enterprise Data Marketplace (EDM), une solution semblable au e-commerce où les producteurs de données publient leurs produits et où les consommateurs de données explorent, comprennent et acquièrent ces produits publiés. L’EDM renforce la décentralisation des données, transformant les actifs de données en data products partageables et découvrables, favorisant ainsi la collaboration interdomaines.

Comment ça marche ?

Zeenea propose une plateforme unique qui prend en charge les cas d’usage du catalogue de données fédéré et de l’EDM. Toutes les métadonnées sont gérées dans un graphe de connaissances (knowledge graph) unique, qui peut être divisé entre différents domaines en créant plusieurs catalogues sur la même plateforme. Par conséquent, aucune intégration technique ou mapping de données n’est nécessaire.

Vous pouvez associer des connexions spécifiques et des permissions utilisateur à chacun de ces catalogues, de sorte que chaque domaine soit responsable de la curation de ses actifs et puisse contrôler leur visibilité au sein du reste de la fédération.

Zeenea Studio sert d’outil back-end pour la gestion et la curation des métadonnées dans le catalogue fédéré ou l’EDM. Zeenea Explorer fournit une interface intuitive pour permettre aux utilisateurs d’explorer et d’accéder aux data products à travers les domaines.

Une fois l’option de catalogue fédéré activée, votre data catalog par défaut devient un conteneur partagé au niveau de l’organisation où tous les utilisateurs partagent des objets de tous types à travers les domaines. Ce catalogue commun peut ensuite être utilisé pour définir une classification standard entre les domaines ou même pour cataloguer des objets physiques non censés être possédés par un domaine spécifique.

Dans ce cadre, le catalogue commun contient également le glossaire métier pour partager un langage commun à l’échelle de l’organisation.

Construire un catalogue fédéré

La construction d’un catalogue fédéré consiste principalement à décliner les concepts génériques de Zeenea en sous-sections de votre plateforme (permissions utilisateurs, connexions, etc.). Zeenea fournit toujours un seul catalogue, qui est le catalogue commun. Le catalogue fédéré vous permet de créer des catalogues supplémentaires via l’interface d’administration.

Un catalogue est comme un conteneur pour vos objets (datasets, data products et autres entrées de métadonnées), similaire à un dossier dans un système de fichiers : même si chaque objet fait partie du graphe global de la plateforme, il appartient à un seul catalogue, et vous pouvez définir des permissions de lecture ou d’écriture pour les utilisateurs de chaque catalogue. Cela signifie que les objets ne sont pas copiés ou synchronisés entre les catalogues.

Définition des domaines (scope)

La définition du scope de ces catalogues doit être abordée de la même manière que la définition des domaines dans un data mesh, car elle sert le même objectif. Cependant, même si le data mesh définit un objectif idéal, le contexte et les contraintes de votre organisation peuvent rendre cet objectif difficile à atteindre. Le catalogue fédéré de Zeenea offre beaucoup de flexibilité pour s’adapter à n’importe quelle topologie d’organisation.

Le concept de domaines est largement documenté, et la division des domaines est souvent stable, qu’elle soit structurée selon les chaînes de valeur, les principaux processus métier ou les capacités opérationnelles de votre organisation.

Une fois que vous avez défini le scope de vos premiers catalogues, vous pouvez définir les permissions et l’accès des utilisateurs via des groupes.

Gestion des Groupes : notre nouveau système de permissions

Notre nouveau système de gestion des permissions, Groupes, offre un contrôle granulaire basé sur les rôles, permettant à votre organisation d’adapter l’accès aux besoins de chaque domaine tout en maintenant une supervision centralisée. Dans un catalogue fédéré, les Groupes fonctionnent principalement comme dans une plateforme à catalogue unique. La différence est que vous pouvez définir différents niveaux de permission par catalogue au sein du même groupe. Ce système permet également d’assigner différents groupes à un même utilisateur et offre beaucoup plus de souplesse dans l’ajustement des permissions des utilisateurs en les ajoutant/supprimant de groupes spécifiques.

Par exemple, vous pourriez attribuer au Groupe A des permissions de lecture/écriture pour le Catalogue 1, tandis que le Groupe B n’aura que des permissions de lecture. Les utilisateurs appartenant à plusieurs groupes héritent des permissions de tous leurs groupes assignés.

L’affectation des utilisateurs à différents Groupes peut être réalisée à l’aide de l’API SCIM.

Dès que vous disposez de groupes et d’utilisateurs appropriés pour la curation de vos catalogues, vous pouvez commencer à les alimenter.

Alimentation des catalogues

In the federated catalog:

Chaque connexion doit appartenir à un seul catalogue.
Les connexions sont, par défaut, rattachées au catalogue commun, mais vous pouvez les configurer pour un catalogue spécifique.
L’association des connexions à des catalogues spécifiques garantit que les équipes appropriées gèrent les sources de données et les métadonnées, contribuant ainsi à l’efficacité globale.

La liste dans la section Administration vous permet d’identifier à quel catalogue appartient chaque connexion. Ensuite, dans Zeenea Studio, vous pouvez sélectionner des objets à importer en sélectionnant une connexion.

Définition du métamodèle

La conception des catalogues et la modélisation restent des fonctionnalités globales dans le catalogue fédéré pour garantir la cohérence entre les domaines. Par conséquent, la section Métamodèle dans Zeenea Studio définit les types d’objets, les propriétés, les responsabilités et les modèles pour l’ensemble de la fédération.

Nous travaillons actuellement sur de nouvelles capacités de métamodélisation. Tout en conservant un métamodèle central pour la fédération, celles-ci vous permettront de personnaliser des sections spécifiques et de définir des options de visibilité au niveau du catalogue.

Exploiter le catalogue fédéré

Documentation dans Zeenea Studio

Le travail de stewardship dans Zeenea Studio reste inchangé : éditer les noms, descriptions, propriétés, etc. Comme mentionné plus haut, le Studio est l’outil back-office pour un catalogue spécifique. Les utilisateurs ayant accès à plusieurs catalogues peuvent passer de l’un à l’autre en utilisant le sélecteur de catalogues dans l’en-tête du Studio.

Gestion du Glossaire Métier

Le glossaire métier vous permet de partager un langage commun à l’échelle de l’organisation. Ainsi, le catalogue commun contient tous les objets du glossaire, ce qui signifie deux choses : tous les objets du glossaire sont publics pour tous les utilisateurs dans Zeenea Explorer, et vous aurez besoin de la permission « Glossaire » dans le catalogue commun pour créer ou modifier des objets de glossaire dans Zeenea Studio.

Comme dans une plateforme à catalogue unique, vous pouvez concevoir le métamodèle de votre glossaire (relations parent/enfant, implémentations, modèles). Puisque le glossaire appartient au catalogue commun, les dépositaires peuvent associer leurs objets aux définitions métiers issues de leurs catalogues.

Exploring the Business Glossary - Zeenea Explorer

Suivi de la complétion et de l’utilisation

Dans la section Analyse, vous pouvez suivre le niveau de complétion des objets de votre catalogue, surveiller la progression de la curation des métadonnées et mesurer la fréquence d’accès à différents data products à travers les domaines.

Monitoring completion & usage - Zeenea Studio

Publication dans le marketplace

Zeenea vous permet également de configurer un marketplace au niveau de l’organisation en créant un graphe de connaissances fédéré. En effet, les curateurs peuvent donner à tous les utilisateurs de la fédération, via le Studio, accès à un objet spécifique, même s’ils n’ont pas de droit de lecture sur le catalogue auquel cet objet appartient.

En partageant un objet dans l’EDM, ils permettent aux dépositaires d’autres catalogues de créer des liens entre cet objet et d’autres dans leur catalogue (par exemple, pour la construction de lignages). Les objets partagés seront également consultables par tout utilisateur dans l’Explorer.

L’EDM supporte la décentralization du metadata management et brise les silos de données. Elle transforme votre catalogue fédéré en un asset organisationnel en faisant des données une ressource partageable et découvrable qui favorise la collaboration entre les équipes, les domaines et les métiers.

Publishing to another catalog - Zeenea Studio

Recherche dans le Catalogue de Données Fédéré

Dans le catalogue fédéré, les utilisateurs peuvent rechercher et explorer le patrimoine de données de toute l’organisation via une interface unique : Zeenea Explorer. En fonction de vos groupes d’utilisateurs et des droits d’accès aux catalogues associés, vous pouvez effectuer des recherches parmi tous vos objets et ceux partagés dans l’EDM, au même endroit.

Grâce à un badge dans les résultats de recherche, vous pouvez identifier à quel catalogue appartient chaque objet. Vous pouvez également filtrer les objets par catalogue(s) pour affiner votre recherche en sélectionnant ceux qui vous intéressent.

Les Thèmes sont également disponibles dans le catalogue de données fédéré. Chaque dépositaire de catalogue est responsable de la définition des Thèmes pour son périmètre. Par conséquent, les Thèmes offrent un moyen de déterminer des points d’entrée pour explorer et rechercher à l’intérieur d’un catalogue unique.

Le Thème « Enterprise Data Marketplace » est une exception. Ce Thème intégré est disponible pour tous les Explorers, Groupes et objets partagés dans la fédération, quel que soit leur catalogue.

Searching in the federated data catalog - Zeenea Explorer

Prêt(e) à construire votre catalogue de données fédéré ?

Le Catalogue de Données Fédéré de Zeenea représente l’avenir de la gestion décentralisée des données dans votre organisation. Commencez à construire votre catalogue fédéré dès aujourd’hui et libérez l’accès, la découverte et la collaboration autour de vos datas. Pour plus d’informations ou pour démarrer, contactez votre Customer Success Manager ou notre équipe commerciale.

✉️ Product Newsletter