Data Mesh
Le Data Mesh, imaginé en 2019 par Zhamak Dehghani, est un nouveau paradigme pour la conception et la gestion des architectures de données au sein des organisations. Il préconise une approche décentralisée du data management, distribuant la propriété, l’accès et la gouvernance des données via des domaines.
La transition vers un modèle décentralisé de la gestion des données
Le data management centralisé et monolithique, concentré autour d’un data lake ou d’un data warehouse, créé un gigantesque goulot d’étranglement qui inhibe l’innovation et réduit voire annihile la capacité des équipes data à répondre aux sollicitations de plus en plus pressantes des métiers. En réponse, l’industrie adopte progressivement une gestion décentralisée des données, notamment à travers le data mesh et ses quatre principes fondamentaux :
Domain-oriented decentralized data ownership and architecture
Data as a product
Self-serve data infrastructure as a platform
Federated computational governance
85%
des organisations reconnaissent la pertinence du Data Mesh.
(BARC 2023)
54%
des organisations prévoient ou sont en train d’implémenter un Data Mesh.
(BARC 2023)
70%
des organisations ont ou sont en train d’exploiter des Data Products.
(Groupe Eckerson 2024)
Principaux facteurs favorisant l’essor du data mesh
La pression économique
La pression économiqueLes équipes dirigeantes subissent une pression croissante pour justifier leurs investissements dans l’infrastructure et la gestion des données, alors que la mesure d’un ROI tangible reste un challenge malgré les ressources substantielles qui sont allouées par les entreprises.
La compétitivité et impact de l’IA
La compétitivité et impact de l’IALa crainte d’une perte de compétitivité pousse à exploiter rapidement les opportunités offertes par l’IA, notamment via l’émergence de modèles d’IA de plus en plus accessibles. Cependant, l’évolutivité des applications d’IA nécessite des données de haute qualité, sécurisées et conformes, ajoutant ainsi une pression sur les équipes de centralisées de data management.
La flexibilité de mise en œuvre
La flexibilité de mise en œuvreLe data mesh décrit des principes adaptables plutôt que des architectures ou des technologies rigides, permettant ainsi une multitude d’approches pour sa mise en œuvre.
L’approbation et l’enthousiasme
L’approbation et l’enthousiasmeFondé sur des bases théoriques et empiriques solides, le data mesh bénéficie d’un soutien et d’un enthousiasme généralisés parmi les équipes data et chez les décideurs, facilitant ainsi son adoption et limitant la résistance au changement.
L’accessibilité et la rentabilité
L’accessibilité et la rentabilitéLa mise en œuvre des principes du data mesh nécessite la réaffectation des ressources existantes plutôt que des investissements substantiels, ce qui en fait un cadre accessible et rentable pour transformer progressivement les pratiques de data management, adaptable à chaque contexte organisationnel.
Zeenea supporte le data mesh en tant que système de supervision
L’innovation principale de Zeenea repose sur un knowledge graph évolutif, une structure qui la distingue des outils existants de gestion des métadonnées et des data catalogs traditionnels. Bien que nous reconnaissons qu’il n’existe pas de technologie unique pour implémenter un data mesh, nous avons décidé de faire évoluer notre Data Discovery Platform afin de proposer un système unique – permettant de couvrir à la fois le besoin d’une marketplace transversale, et celui d’un catalogue de données privatif pour chaque domaine.
Des data catalogs privatifs et fédérés par domaine
Dans Zeenea Data Discovery Platform, chaque domaine est responsable d’un sous-ensemble du graphe, un Data Catalog privatif, d’où il peut potentiellement : modéliser les données selon ses besoins, suivre les règles de gouvernance partagées, alimenter le catalogue, gérer ses utilisateurs et permissions, identifier les objets qu’il souhaite partager avec d’autres domaines – et contrôler quelles informations seront partagées. Ceci est le cœur de notre technologie unique de fédération de catalogues de données.
Une marketplace pour partager les données les plus précieuses entre domaines
Nos catalogues fédérés s’interconnectent de manière transparente, se transformant en une marketplace interne à l’organisation. C’est ce que nous appelons l’Enterprise Data Marketplace, un autre sous-ensemble du graphe, contenant non seulement des data products mais également des objets destinés à être partagés depuis les domaines – définitions métier, tableaux de bord, modèles ML, etc. La marketplace est un composant essentiel pour garantir l’exploitation du data mesh à grande échelle – il permet aux consommateurs de données d’avoir une solution simple pour rechercher et accéder aux data products de différents domaines.
Le miroir du mesh au niveau de la gestion des métadonnées
Avec cette structure de graphe fédéré, la plateforme de Zeenea reflète le mesh au niveau des métadonnées – un miroir qui peut être continuellement adapté pour refléter l’évolution de la topologie du data mesh et de l’architecture de la plateforme de données lorsqu’elle est déployée dans toute l’organisation. Structurée comme une fédération évolutive de graphes interconnectés, la plateforme Zeenea constitue donc la base idéale pour construire le système de supervision du data mesh et soutenir son déploiement à long terme.
Le Guide Pratique du Data Mesh
En savoir plus sur le Data Mesh
