Im letzten Jahrzehnt haben sich Datenkataloge als tragende Säulen im Datenökosystem herauskristallisiert. Viele Anbieter erfüllen jedoch nicht die Erwartungen, was zu langen Verzögerungen, komplexen und teuren Projekten, bürokratischen Data-Governance-Modellen, niedrigen Akzeptanzquoten und begrenzter Wertschöpfung führt. Diese Problematik geht über Projekte zur Verwaltung von Metadaten hinaus und spiegelt ein allgemeineres Versagen auf der Ebene der Datenverwaltung wider.
Angesichts dieser Lücken ist ein neues Konzept auf dem Vormarsch, nämlich das des organisationsinternen Marktplatzes, den wir bei Zeenea als Enterprise Data Marketplace (EDM) bezeichnen.
In dieser Artikelreihe finden Sie Auszüge aus unserem Praxisleitfaden Data Mesh, in dem wir den Nutzen interner Data Marketplaces für die Produktion und die Nutzung von Data Products erläutern und erklären, wie ein EDM die Nutzung eines Data Mesh in großem Maßstab unterstützt und wie diese mit einer Datenkataloglösung Hand in Hand gehen:
- Die Nutzung von Datenprodukten mit Metadaten erleichtern
- Einen unternehmensweiten Marketplace einrichten
- Den Marketplace über domänenspezifische Datenkataloge mit Inhalten versorgen
—
Die Strukturierung des Datenmanagements nach Domänen und Datenprodukten ist eine organisatorische Transformation, die die betriebliche Realität der meisten Unternehmen nicht verändert: Daten sind in großen Mengen und aus vielen Quellen verfügbar, verändern sich schnell und ihre Kontrolle ist komplex.
Data Catalogs haben traditionell die Aufgabe, alle verfügbaren Daten zu inventarisieren und eine Reihe von Metadaten zu verwalten, um die Kontrolle über die Daten zu behalten und Governance-Praktiken zu etablieren.
Das Data Mesh beseitigt diese Komplexität nicht: Es ermöglicht jedoch die Unterscheidung bestimmter Daten, die als Data Products verwaltet werden und die über die Domäne hinaus, zu der sie gehören, geteilt und verwendet werden sollen. Aber jede Domäne ist auch für die Verwaltung ihrer internen Daten zuständig, die sie für die Entwicklung von Datenprodukten verwendet – ihrer privaten Daten sozusagen.
Metadaten-Management im Kontext eines internen Marktplatzes, der von domänenspezifischen Datenkatalogen mit Inhalten versorgt wird
Im Data Mesh wird ein Data Catalog nicht überflüssig, ganz im Gegenteil: Jede Domäne sollte über einen Katalog verfügen, der es ihr ermöglicht, ihre privaten Daten effizient zu verwalten, die Governance innerhalb der Domäne zu unterstützen und die Entwicklung robuster Datenprodukte zu beschleunigen, die einen Mehrwert bieten. Die Verwaltung von Metadaten erfolgt also auf zwei Ebenen:
- Auf Domänenebene – in Form eines Katalogs, mit dem das Datenuniversum der Domäne dokumentiert und organisiert werden kann. Da der Data Catalog ein privater Baustein ist, müssen nicht alle Domänen die gleiche Lösung verwenden.
- Auf Mesh-Ebene – in Form eines Marktplatzes, auf dem die von allen Domänen gemeinsam genutzten Data Products erfasst werden. Dieser Marktplatz wird naturgemäß von allen Domänen gemeinsam genutzt.
Mit einer dediziert Marketplace-Komponente sieht die allgemeine Architektur der Metadatenverwaltung wie folgt aus:
In dieser Architektur hat jede Domäne ihren eigenen Katalog – dieser kann auf einer individuellen Lösung beruhen oder auch nicht, sollte aber für jede Domäne eine eigene Instanz zur Verfügung stellen, damit sie ihre Daten auf die für sie effektivste Weise organisieren kann und die Fallstricke einer universellen Metadatenorganisation vermieden werden.
Der Marketplace ist eine dedizierte Komponente, die eine hohe Benutzerfreundlichkeit bietet und auf der jede Domäne die Metadaten (oder sogar die Daten) ihrer Data Products bereitstellt. Dieser Ansatz erfordert eine enge Integration der verschiedenen Module:
- Die privaten Kataloge müssen mit dem Marketplace integriert werden – um den Aufwand für die Erstellung bestimmter Metadaten nicht zu verdoppeln – dies betrifft insbesondere die Lineage, aber auch das Data Dictionary (Schema) oder die fachspezifischen Definitionen, die in beiden Systemen vorhanden sein müssen.
- Private Kataloge müssen grundsätzlich miteinander integriert werden – um bestimmte Informationen gemeinsam zu nutzen/synchronisieren, in erster Linie das Business Glossary, aber auch bestimmte Repositorys.
Vergleich der Fähigkeiten von Data Catalog und EDM
Wenn man sich die Funktionen eines Enterprise Data Marketplaces und eines Data Catalogs ansieht, stellt man fest, dass diese Fähigkeiten sehr ähnlich sind:
Im Endeffekt gibt es auf rein funktionaler Ebene keine großen Unterschiede zwischen ihren Fähigkeiten. Folgende Aspekte unterscheiden einen modernen Data Catalog jedoch von einem EDM:
- Der Umfang – der Data Catalog soll alle Daten abdecken, während der Marketplace sich auf Objekte beschränkt, die von Domänen gemeinsam genutzt werden (Data Products und andere Datenprodukte der Domäne).
- Das Benutzererlebnis – der Data Catalog ist oft ein relativ komplexes Tool, das die Governance-Prozesse global unterstützen soll – er konzentriert sich besonders auf Data-Stewardship-Workflows. Der Marketplace hingegen bietet typischerweise eine sehr einfache Benutzeroberfläche, die sich stark an E-Commerce-Plattformen orientiert, und bietet ein nutzungszentriertes Erlebnis – das Data Shopping.
Praxisleitfaden Data Mesh: Ein unternehmensweites Data Mesh einrichten und überwachen
Dieser Leitfaden von Guillaume Bodet, Mitbegründer und CPTO von Zeenea, vermittelt Ihnen einen praktischen Ansatz zur Implementierung eines Data Mesh in Ihrer Organisation und hilft Ihnen:
✅ Ihren Data-Mesh-Ansatz mit einem fokussierten Pilotprojekt zu starten,
✅ effektive Methoden kennenzulernen, um Ihr Data Mesh zu skalieren,
✅ die entscheidende Rolle eines internen Data Marketplaces zu verstehen, um die Nutzung von Datenprodukten zu erleichtern
✅ zu verstehen, was Zeenea als robustes, unternehmensweites Data-Mesh-Monitoring-System auszeichnet.
