Au cours de la dernière décennie, les data catalogs ont émergé en tant que piliers dans l’écosystème data. Cependant, de nombreux fournisseurs ne répondent pas aux attentes – avec en cause des délais prolongés, des projets complexes et coûteux, des modèles bureaucratiques de gouvernance des données, des taux d’adoption faibles et une création de valeur limitée. Cette problématique va au-delà des projets de gestion des métadonnées, reflétant un échec plus général au niveau de la gestion des données.
La situation actuelle révèle une déconnexion entre la compétence technique et la connaissance métier, un manque de collaboration entre producteurs et consommateurs de données, des problèmes persistants de latence et de qualité des données, et une scalabilité insatisfaite des sources de données et des cas d’usage. Malgré d’importants investissements en personnel et en technologie, les entreprises se retrouvent à faire face à une réalité brutale : l’incapacité à répondre aux besoins métier.
La bonne nouvelle, cependant, est que cette situation peut être inversée via l’adoption d’une Enterprise Data Marketplace (EDM) et en tirant parti des investissements existants.
Présentation de l’Enterprise Data Marketplace
Une EDM n’est pas une solution universelle, mais plutôt transformative. Elle oblige les entreprises à revoir leur approche du data management en introduisant une nouvelle entité – les Data Products. Un Data Mesh robuste, tel que préconisé par Zhamak Dehghani dans son article, devient impératif, l’EDM servant de couche expérientielle au sein du Data Mesh.
Cependant, le paysage a évolué avec une nouvelle génération d’EDM – une plateforme de partage de données intégrée à un Data Catalog fédéré :
EDM = Plateforme de Partage de Données + Data Catalog Puissant
C’est précisément ce que Zeenea accomplit et prévoit d’améliorer davantage, avec notre définition d’une EDM :
Une Enterprise Data Marketplace est une solution offrant une expérience similaire au e-commerce, où les producteurs de données publient leurs Data Products et les consommateurs de données explorent, comprennent et acquièrent ces Data Products publiés.
La marketplace fonctionne sur le catalogue de données, facilitant le partage et l’échange des données des domaines les plus précieuses, packagées en tant que Data Products.
Pourquoi compléter votre Data Catalog avec une Enterprise Data Marketplace ?
Nous avons compilé 5 raisons principales d’enrichir votre Data Catalog avec à une Enterprise Data Marketplace.
Raison n°1 : Rationaliser le Processus de Création de Valeur
En confiant aux domaines la responsabilité de créer des Data Products, vous libérez la valeur des connaissances détenues par les métiers et favorisez une collaboration plus fluide avec les data engineers, data scientists et les équipes IT. Alignés sur des objectifs métier partagés, la conception, la création et la maintenance des Data Products prêts à l’emploi s’appuient sur une mentalité de Product Design Thinking.
Dans ce cadre, les équipes s’organisent de manière autonome, rationalisant les cérémonies pour une livraison incrémentale des Data Products, apportant de la fluidité au processus de création. Comme les Data Products intègrent des métadonnées fraîches pour guider les consommateurs de données dans leur utilisation, une EDM assume un rôle crucial dans la définition et l’exploration des métadonnées liées aux Data Products – servant essentiellement d’Experience Plane au sein de l’approche Data Mesh.
En respectant les subtilités spécifiques au domaine, il y a une réduction notable à la fois du volume et du type de métadonnées, aux côtés d’un processus de curation plus efficace. Dans de tels cas, une EDM robuste, ancrée sur un catalogue de données puissant comme Zeenea, émerge comme le moteur central du Data Mesh. L’EDM facilite non seulement la conception d’ontologies spécifiques au domaine, mais elle dispose également de capacités de collecte automatisée à partir de sources de données onprem et sur le Cloud. De plus, elle permet la fédération de data catalogs pour mettre en œuvre diverses topologies de Data Mesh et offre aux utilisateurs finaux une expérience de shopping des données aussi intuitive qu’un site d’e-commerce.
Raison n°2 : Rationaliser les Investissements Existants
En utilisant une EDM (aux côtés d’un Data Catalog puissant), les investissements existants dans les plateformes de données modernes et dans les ressources humaines peuvent être considérablement optimisés. Éliminer les pipelines de données complexes, où les données n’ont souvent pas besoin d’être déplacées, entraîne des économies substantielles. De même, réduire les réunions de synchronisation complexes, nombreuses et inutiles avec des équipes pluridisciplinaires conduit à des économies de temps considérables.
Par conséquent, une approche ciblée est conservée via l’organe de gouvernance fédéré, se concentrant uniquement sur les activités liées au Data Mesh. Cette stratégie ciblée optimise l’allocation des ressources et accélère la création de Data Products délégués et incrémentaux, réduisant le time-to-value.
Pour garantir des résultats mesurables, la mesure des performances des Data Products avec des KPI précis devient primordiale – cette mesure proactive améliore la prise de décision et contribue à la livraison de résultats tangibles.
Raison n°3 : Booster l’Adoption vs. un Simple Data Catalog
Une EDM, couplée à un Data Catalog puissant, joue un rôle crucial dans l’adoption par les utilisateurs dans l’entreprise. Au niveau du domaine, la marketplace aide à concevoir et à collecter des métadonnées spécifiques au domaine facilement compréhensibles par les utilisateurs métier du domaine. Cela occulte le besoin d’une « couche commune », une embûche typique dans l’adoption de Data Catalogs. Au niveau du Mesh, elle offre des moyens de consommer efficacement les Data Products, fournissant des informations sur la localisation, la version, la qualité, l’état, la provenance, la plateforme, le schéma, etc. Un métamodèle dynamique spécifique au domaine, associé à des capacités de recherche et de découverte puissantes, font de l’EDM un élément déterminant.
La valeur ajoutée d’une EDM réside dans la fourniture de droits de provisionnement et d’accès, intégrant des systèmes de ticketing, des plates-formes dédiées à l’application des politiques de données, et des fonctionnalités des fournisseurs de plateformes de données modernes – un concept appelé Gouvernance des Données Informatiques.
Raison n°4 : Clarifier les Responsabilités et Mesurer la Valeur Créée
Appliquer les principes de product management aux Data Products et attribuer la propriété aux domaines apportent de la clarté en termes de responsabilités. Chaque domaine devient responsable de la conception, de la production et de la gestion du cycle de vie de ses Data Products. Cette approche ciblée garantit que les rôles et les attentes sont bien définis.
L’EDM ouvre ensuite les Data Products à l’ensemble de l’organisation, établissant des normes auxquelles les domaines doivent adhérer. Cette exposition contribue à maintenir la cohérence et garantit que les Data Products sont alignés sur les objectifs organisationnels et les normes de qualité.
Dans le cadre de l’EDM, les entreprises établissent des KPI tangibles pour surveiller la performance économique des Data Products. Cette approche proactive permet aux organisations d’évaluer l’efficacité de leurs stratégies data. De plus, elle donne aux consommateurs de données la possibilité de contribuer au processus d’évaluation grâce à des évaluations participatives, favorisant un environnement collaboratif et inclusif pour la rétroaction et l’amélioration.
Raison n°5 : Appliquer les Principes du Développement Logiciel Lean à la Stratégie Data
La création de Data Products suit un paradigme similaire aux principes de Développement Logiciel Lean qui ont révolutionné la transformation digitale. Adopter des principes tels que l’élimination du gaspillage, l’amplification de l’apprentissage, la prise de décision tardive, la livraison rapide et la construction de la qualité est essentiel à l’approche Data Mesh.
Dans ce contexte, l’EDM agit comme une plateforme collaborative pour les équipes engagées dans la création de Data Products. Elle facilite :
- Les fonctionnalités de Data Discovery : Offrant une curation technique automatique des types de données, des informations de lignage et des schémas, permettant la création rapide de produits ad hoc.
- La collecte de métadonnées spécifiques au Data Mesh : L’EDM intègre des capacités de curation automatique de métadonnées spécifiquement conçues pour le Data Mesh, à condition que le Data Catalog dispose de capacités de fédération
- Couverture à 360° des informations sur les Data Products : Assurant une couverture complète des informations liées aux Data Products, englobant leur conception et leurs aspects de livraison.
En conclusion, la collaboration entre une Enterprise Data Marketplace et un Data Catalog améliore non seulement l’écosystème global des données, mais apporte également des avantages tangibles en optimisant les investissements, en réduisant les complexités inutiles et en améliorant l’efficacité du processus de création de valeur des données.
