In den letzten zehn Jahren haben sich Datenkataloge zu einer wichtigen Säule des Datenökosystems entwickelt. Viele Anbieter erfüllen jedoch nicht die Erwartungen, was zu langen Verzögerungen, komplexen und teuren Projekten, bürokratischen Data-Governance-Modellen, niedrigen Akzeptanzquoten und begrenzter Wertschöpfung führt. Dieses Problem erstreckt sich über die Projekte zur Verwaltung von Metadaten hinaus und steht für ein allgemeineres Versagen bei der Datenverwaltung.
Die aktuelle Situation zeigt eine Trennung zwischen technischer Kompetenz und geschäftlichem Fachwissen, einen Mangel an Zusammenarbeit zwischen Datenproduzenten und Datenkonsumenten, anhaltende Probleme mit der Latenz und der Datenqualität sowie eine unbefriedigende Skalierbarkeit von Datenquellen und Anwendungsfällen. Trotz großer Investitionen in Personal und Technologie sehen sich die Unternehmen einer brutalen Realität gegenüber: der Unfähigkeit, die geschäftlichen Anforderungen zu erfüllen.
Die gute Nachricht ist jedoch, dass diese Situation durch die Einführung eines Enterprise Data Marketplace (EDM) und die Nutzung bereits getätigter Investitionen geändert werden kann.
Überblick über den Enterprise Data Marketplace
Ein EDM ist keine universelle Lösung, kann aber zahlreiche Veränderungen bewirken. Er zwingt das Unternehmen, seine Herangehensweise an das Datenmanagement zu überdenken und eine neue Einheit – die Datenprodukte – einzuführen. Ein robustes Data Mesh, wie von Zhamak Dehghani in seinem Artikel empfohlen, wird zwingend erforderlich, wobei der EDM als erfahrungsorientierte Ebene innerhalb des Data Mesh dient.
Das Angebot hat sich jedoch mit einer neuen Generation von EDMs – Plattformen für den Datenaustausch, die in einen föderierten Data Catalog integriert sind – weiterentwickelt:
EDM = Plattform für den Datenaustausch + leistungsstarker Data Catalog
Genau das will Zeenea mit seiner Definition des Begriffs EDM erzielen und weiter verbessern:
Ein Enterprise Data Marketplace ist eine Lösung, die eine dem E-Commerce ähnliche Erfahrung bietet. Die Datenproduzenten veröffentlichen ihre Datenprodukte und die Datenkonsumenten durchsuchen, verstehen und erwerben diese veröffentlichten Datenprodukte.
Ein Enterprise Data Marketplace arbeitet auf Basis des Datenkatalogs und erleichtert die gemeinsame Nutzung von Daten aus den wichtigsten Domänen als Datenprodukte.
Warum sollten Sie Ihren Datenkatalog um einen Enterprise Data Marketplace ergänzen?
Wir haben fünf Gründe zusammengestellt, warum Sie Ihren Datenkatalog um einen Enterprise Data Marketplace erweitern sollten.
Grund Nr. 1: Rationalisierung des Wertschöpfungsprozesses
Indem Sie den Geschäftsbereichen die Verantwortung für die Erstellung von Datenprodukten übertragen, setzen Sie den Wert des Wissens frei, über das die Geschäftsbereiche verfügen und fördern eine reibungslosere Zusammenarbeit mit Data Engineers, Data Scientists und IT-Teams. Design, Erstellung und Wartung gebrauchsfertiger Datenprodukte sind auf gemeinsame Geschäftsziele ausgerichtet und basieren auf einer Mentalität des Product Design Thinking.
Innerhalb dieses Rahmens organisieren sich die Teams selbst, rationalisieren die Aktivitäten für eine schrittweise Lieferung von Datenprodukten und gestalten den Erstellungsprozess reibungsloser. Da Data Products neue Metadaten enthalten, um die Datenkonsumenten bei ihrer Nutzung anzuleiten, spielt ein EDM eine entscheidende Rolle bei der Definition und Erforschung der Metadaten, die mit Data Products verbunden sind – und dient im Wesentlichen als Experience Plane innerhalb des Data-Mesh-Ansatzes.
Wenn die speziellen Feinheiten der jeweiligen Domäne beachtet werden, führt dies zu einer deutlichen Reduzierung sowohl der Menge als auch der Art der Metadaten und zu einem effizienteren Kuratierungsprozess. In solchen Fällen wird ein robuster EDM, der auf einem leistungsstarken Datenkatalog wie Zeenea basiert, zum zentralen Motor des Data Mesh. Der EDM erleichtert nicht nur das Design von domänenspezifischen Ontologien, sondern bietet auch die Möglichkeit der automatischen Sammlung von Daten aus Onprem- und Cloud-Datenquellen. Darüber hinaus ermöglicht er den Zusammenschluss von Datenkatalogen, um verschiedene Data-Mesh-Topologien zu implementieren, und bietet Endbenutzern ein Data-Shopping-Erlebnis, das so intuitiv wie eine E-Commerce-Website ist.
Grund Nr. 2: Rationalisierung bereits getätigter Investitionen
Durch den Einsatz eines EDM (zusammen mit einem leistungsstarken Data Catalog) können bereits getätigte Investitionen in moderne Datenplattformen und Personalressourcen erheblich optimiert werden. Die Eliminierung komplexer Datenpipelines, sodass die Daten oft nicht verschoben werden müssen, führt zu erheblichen Einsparungen. Ebenso führt die Reduzierung von komplexen, zahlreichen und unnötigen Synchronisationsbesprechungen mit multidisziplinären Teams zu erheblichen Zeiteinsparungen.
Auf diese Weise wird ein zielgerichteter Ansatz über das föderierte Governance-Organ beibehalten, der sich nur auf die Aktivitäten im Zusammenhang mit dem Data Mesh konzentriert. Diese gezielte Strategie optimiert die Ressourcenzuweisung und beschleunigt die Erstellung delegierter und inkrementeller Datenprodukte, wodurch der Zeitaufwand für die Wertschöpfung verringert wird.
Um messbare Ergebnisse zu gewährleisten, ist die Messung der Leistung von Datenprodukten mit präzisen KPIs von entscheidender Bedeutung – diese proaktive Maßnahme erleichtert das Treffen von Entscheidungen und trägt zu greifbaren Ergebnissen bei.
Grund Nr. 3: Steigerung der Akzeptanz im Vergleich zu einem einfachen Data Catalog
In Kombination mit einem leistungsstarken Datenkatalog spielt ein EDM eine entscheidende Rolle bei der Nutzerakzeptanz im Unternehmen. Auf Domänenebene hilft der Marketplace beim Entwurf und der Sammlung von bereichsspezifischen Metadaten, die für die Fachanwender des Geschäftsbereichs leicht verständlich sind. Das verbirgt die Notwendigkeit einer „gemeinsamen Schicht“, einer typischen Hürde bei der Einführung von Datenkatalogen. Auf der Mesh-Ebene bietet diese Schicht die Möglichkeiten, Datenprodukte effizient zu konsumieren, indem sie Informationen über Standort, Version, Qualität, Status, Herkunft, Plattform, Schema usw. liefert. Ein dynamisches, domänenspezifisches Metamodell, kombiniert mit leistungsstarken Such- und Discovery-Funktionen, machen den EDM zu einem entscheidenden Element.
Der Mehrwert eines EDM liegt in der Vergabe von Bereitstellungs- und Zugriffsrechten, der Integration von Ticketing-Systemen, Plattformen zur Durchsetzung von Datenrichtlinien und den Funktionen moderner Datenplattformen – ein Konzept, das als IT Data Governance bezeichnet wird.
Grund Nr. 4: Klärung der Verantwortlichkeiten und Messung des geschaffenen Mehrwerts
Die Anwendung der Prinzipien des Produktmanagements auf Datenprodukte und die Zuweisung von Eigentumsrechten für einzelne Domänen schaffen Klarheit in Bezug auf die Verantwortlichkeiten. Jede Domäne ist für das Design, die Produktion und die Verwaltung des Lebenszyklus ihrer Datenprodukte verantwortlich. Dieser zielgerichtete Ansatz stellt sicher, dass die Rollen und Erwartungen klar definiert sind.
Der EDM öffnet dann die Data Products für die gesamte Organisation und legt Standards fest, an die sich die Domänen halten müssen. Diese Öffnung trägt zur Aufrechterhaltung der Konsistenz bei und stellt sicher, dass die Data Products mit den organisatorischen Zielen und Qualitätsstandards in Einklang gebracht werden.
Im Rahmen des EDM legen die Unternehmen konkrete KPIs fest, um die wirtschaftliche Leistung der Datenprodukte zu überwachen. Mit einem solchen proaktiven Ansatz gelingt es Organisationen, die Effektivität ihrer Datenstrategien zu bewerten. Darüber hinaus gibt sie den Datenkonsumenten die Möglichkeit, durch partizipative Bewertungen zum Bewertungsprozess beizutragen, was eine kooperative und integrative Umgebung für Feedback und Verbesserungen fördert.
Grund Nr. 5: Anwendung der Prinzipien des Lean Software Development auf die Datenstrategie
Die Erstellung von Data Products folgt einem Paradigma, das den Prinzipien der Lean-Softwareentwicklung ähnelt, welche die digitale Transformation revolutioniert haben. Die Übernahme von Prinzipien, wie die Vermeidung von Verschwendung, die Verstärkung des Lernens, späte Entscheidungen, die schnelle Lieferung und der Aufbau von Qualität ist für den Data-Mesh-Ansatz von entscheidender Bedeutung.
In diesem Zusammenhang fungiert der EDM als Plattform für die Zusammenarbeit der Teams, die an der Erstellung von Datenprodukten beteiligt sind. Er erleichtert:
- Die Funktionen der Data Discovery: Durch eine automatische technische Kuratierung von Datentypen, Lineage-Informationen und Schemata, die eine schnelle Erstellung von Ad-hoc-Produkten ermöglicht.
- Die Sammlung von Metadaten, die für das Data Mesh spezifisch sind: Der EDM umfasst Funktionen zur automatischen Kuratierung von Metadaten, die speziell für das Data Mesh entwickelt wurden, vorausgesetzt, dass der Data Catalog über Funktionen zur Föderation verfügt.
- 360°-Abdeckung von Informationen über Data Products: Gewährleistung einer vollständigen Abdeckung der Informationen über Datenprodukte, einschließlich ihres Designs und Aspekten ihrer Lieferung.
Zusammenfassend lässt sich sagen, dass die Zusammenarbeit zwischen einem Enterprise Data Marketplace und einem Data Catalog nicht nur das gesamte Datenökosystem verbessert, sondern auch greifbare Vorteile bringt, da Investitionen optimiert, unnötige Komplexität reduziert und die Effizienz des Datenwertschöpfungsprozesses verbessert wird.
