Im letzten Jahrzehnt haben sich Datenkataloge als tragende Säulen im Datenökosystem herauskristallisiert. Viele Anbieter erfüllen jedoch nicht die Erwartungen, was zu langen Verzögerungen, komplexen und teuren Projekten, bürokratischen Data-Governance-Modellen, niedrigen Akzeptanzquoten und begrenzter Wertschöpfung führt. Diese Problematik geht über Projekte zur Verwaltung von Metadaten hinaus und spiegelt ein allgemeineres Versagen auf der Ebene der Datenverwaltung wider.
Angesichts dieser Lücken ist ein neues Konzept auf dem Vormarsch, nämlich das des organisationsinternen Marktplatzes, den wir bei Zeenea als Enterprise Data Marketplace (EDM) bezeichnen.
In dieser Artikelreihe finden Sie Auszüge aus unserem Praxisleitfaden Data Mesh, in dem wir den Nutzen interner Data Marketplaces für die Produktion und die Nutzung von Data Products erläutern und erklären, wie ein EDM die Nutzung eines Data Mesh in großem Maßstab unterstützt und wie diese mit einer Datenkataloglösung Hand in Hand gehen:
- Die Nutzung von Datenprodukten mit Metadaten erleichtern
- Einen unternehmensweiten Marketplace einrichten
- Den Marketplace über domänenspezifische Datenkataloge mit Inhalten versorgen
—
Bevor wir uns dem Konzept des internen Data Marketplaces zuwenden, lassen Sie uns einen Moment auf das Konzept des Data Products zurückkommen, das unserer Meinung nach den Eckpfeiler des Data Mesh und den ersten Schritt zur Transformation des Datenmanagements darstellt.
Austausch und Nutzung von Datenprodukten mithilfe von Metadaten
Wie bereits in unserer letzten Artikelreihe zum Data Mesh erwähnt, ist ein Data Product ein verwalteter, wiederverwendbarer und skalierbarer Datensatz, der Garantien für die Datenqualität und die Einhaltung gesetzlicher Vorschriften und interner Regeln bietet. Beachten Sie, dass diese Definition recht restriktiv ist – sie schließt andere Produkttypen wie Algorithmen, Machine-Learning-Modelle (ML-Modelle) oder Dashboards aus.
Natürlich ist es wünschenswert, dass diese Dinge auch als Produkte verwaltet werden, sie sind aber keine Data Products. Sie stellen andere Arten von Produkten dar, die man ganz allgemein als Analytics Products bezeichnen könnte, wobei Data Products eine der Unterkategorien sind.
In der Praxis besteht ein operatives Datenprodukt aus zwei Dingen:
-
1. Daten – die physisch auf einer zentralisierten oder nicht zentralisierten Datenplattform gespeichert sind, die die Adressierung, Interoperabilität und den sicheren Zugriff auf die Daten gewährleistet. -
2. Metadaten – die alle Informationen liefern, die für die Weitergabe und Nutzung der Daten erforderlich sind.
Metadaten stellen sicher, dass die Konsumenten über alle Informationen verfügen, die sie für die Verwendung des Produkts benötigen.
Sie decken typischerweise die folgenden Aspekte ab:
In der Logik des Data Mesh werden diese Metadaten vom Produktteam verwaltet und im gleichen Lebenszyklus wie die Daten und Pipelines eingesetzt. Hier bleibt eine grundlegende Frage: Wo sollen die Metadaten bereitgestellt werden?
Einen Data Marketplace zur Bereitstellung von Metadaten nutzen
Die meisten Unternehmen verfügen bereits über ein System zur Verwaltung von Metadaten, meist in Form eines Datenkatalogs.
Doch Data Catalogs in ihrer heutigen Form haben entscheidende Nachteile:
Nicht alle von ihnen unterstützen den Begriff des Datenprodukts – er muss mehr oder weniger mit anderen Begriffen emuliert werden.
Ihre Anwendung ist komplex – sie wurden entwickelt, um eine große Anzahl von Assets mit teilweise sehr feiner Granularität zu katalogisieren, und leiden sehr oft an einer mangelnden Akzeptanz jenseits der zentralisierten Datenmanagement-Teams.
Sie verlangen meist eine starre und einheitliche Datenorganisation, die zentral entschieden und entworfen wird – das spiegelt selten die Vielfalt der verschiedenen Domänen oder die organisatorischen Entwicklungen wider, die mit der Ausbreitung des Data Mesh einhergehen.
Ihre Suchfähigkeiten sind oft begrenzt, insbesondere in Bezug auf die Data Discovery – oft muss man erst wissen, was man sucht, um es finden zu können.
Das Erlebnis, die sie bieten, lässt manchmal die Einfachheit vermissen, nach der sich die Nutzer sehnen – ich suche mit ein paar Schlüsselwörtern, identifiziere das richtige Datenprodukt und löse dann den operativen Prozess aus, um Zugriff zu beantragen oder die Daten zu erhalten.
In unserem nächsten Artikel erfahren Sie mehr über die verschiedenen Möglichkeiten, einen internen Data Marketplace einzurichten, und warum das für die Nutzung des Data Mesh von entscheidender Bedeutung ist.
Praxisleitfaden Data Mesh: Ein unternehmensweites Data Mesh einrichten und überwachen
Dieser Leitfaden von Guillaume Bodet, Mitbegründer und CPTO von Zeenea, vermittelt Ihnen einen praktischen Ansatz zur Implementierung eines Data Mesh in Ihrer Organisation und hilft Ihnen:
✅ Ihren Data-Mesh-Ansatz mit einem fokussierten Pilotprojekt zu starten,
✅ effektive Methoden kennenzulernen, um Ihr Data Mesh zu skalieren,
✅ die entscheidende Rolle eines internen Data Marketplaces zu verstehen, um die Nutzung von Datenprodukten zu erleichtern
✅ zu verstehen, was Zeenea als robustes, unternehmensweites Data-Mesh-Monitoring-System auszeichnet.
