Ist Ihnen die Qualität Ihrer Daten wichtig? Dann wird es Ihnen wahrscheinlich weiterhelfen, mehr über die Normalisierung von Daten zu erfahren! Bei der Datennormalisierung werden Daten umgewandelt, ohne sie zu verfälschen, um ihre Effizienz zu verbessern und sie in einen vordefinierten und eingeschränkten Satz von Werten einzupassen.

Entdecken Sie die Bedeutung dieser Technik, die für datengetriebene Unternehmen unverzichtbar geworden ist.

Für jedes Unternehmen, das datengestützt arbeiten möchte, um seine Produktivität, Effizienz oder die Relevanz seines Angebots oder seiner Aussagen auf seinem Markt zu verbessern, ist die Repräsentativität der Daten eine entscheidende Frage. Ihre Herausforderung: Sorgen Sie dafür, dass Sie möglichst viele Informationen aus Ihren Daten gewinnen können. Dazu müssen Sie alles tun, um die Verzerrung der Informationen zu begrenzen. Das ist die Aufgabe der Datennormalisierung, die auch als Data Normalization bezeichnet wird.

Der Prozess der Normalisierung von Daten wird in der Statistik, der Datenwissenschaft und dem Machine Learning häufig verwendet, um die Werte verschiedener Variablen innerhalb eines bestimmten Intervalls zu skalieren. Das primäre Ziel der Normalisierung ist es, Daten miteinander vergleichbar und für Analyse- und Modellierungsalgorithmen leichter interpretierbar zu machen.

Warum ist die Normalisierung von Daten für Unternehmen wichtig?

In vielen Fällen können die Daten sehr unterschiedlich skaliert sein, d. h. einige Variablen können viel größere oder kleinere Werte haben als andere. Dies kann für bestimmte statistische Verfahren oder Machine-Learning-Algorithmen problematisch sein, da sie empfindlich auf die Skalierung der Daten reagieren. Durch die Normalisierung kann dieses Problem gelöst werden, da die Werte der Variablen so angepasst werden, dass sie in einem bestimmten Intervall liegen, oft zwischen 0 und 1, oder um den Mittelwert mit einer bestimmten Standardabweichung.

Welche Vorteile sind mit der Normalisierung von Daten verbunden?

Die Datennormalisierung verbessert die Qualität, Leistung und Interpretierbarkeit von statistischen Analysen und Machine-Learning-Modellen, indem sie Probleme mit der Skalierung von Variablen beseitigt und einen fairen Vergleich zwischen verschiedenen Datenmerkmalen ermöglicht. In der Praxis führt dies zu konkreten Vorteilen:

Maximale Vergleichbarkeit: Normalisierte Daten werden auf die gleiche Skala gebracht und ermöglichen so einen leichteren Vergleich und eine bessere Interpretation verschiedener Variablen.

Optimierung des maschinellen Lernens: Die Normalisierung erleichtert die schnellere Konvergenz von Machine-Learning-Algorithmen, indem sie die Skala der Variablen verkleinert und so hilft, schneller zuverlässige und konsolidierte Ergebnisse zu erhalten.

Verbesserte Stabilität der Modelle: Die Normalisierung verringert die Auswirkungen von Extremwerten (Ausreißern) und macht die Modelle stabiler und widerstandsfähiger gegen Datenschwankungen.

Verbesserung der Interpretierbarkeit: Die Datennormalisierung erleichtert die Interpretation der Koeffizienten und macht die Analyse verständlicher.

Welche Methoden werden für die Normalisierung der Daten verwendet?

Es gibt mehrere Methoden zur Normalisierung von Daten, aber zwei stechen aus der Masse heraus, angefangen bei der Min-Max-Scaling-Methode. Sie beruht auf dem Prinzip, dass die Werte einer Variablen so skaliert werden, dass sie in einem bestimmten Bereich liegen, in der Regel zwischen 0 und 1. Diese Technik ist besonders nützlich, wenn Sie die lineare Beziehung zwischen den Originalwerten beibehalten möchten.

Eine andere Methode, die sogenannte Z-Score-Normalisierung, ist eine Technik, die eher dem Gebot der Standardisierung entspricht. Sie transformiert die Werte einer Variablen so, dass sie einen Mittelwert von 0 und eine Standardabweichung von 1 haben. Anders als bei der Min-Max-Normalisierung gibt es bei der Standardisierung keine spezifische Ober- oder Untergrenze für die transformierten Werte. Diese Technik wird empfohlen, wenn die Variablen stark unterschiedliche Skalen haben, da sie die Daten um den Wert Null zentriert und anhand der Standardabweichung skaliert.

Im Hinblick auf die Normalisierung von Daten können auch andere Methoden in Betracht gezogen werden, die jedoch seltener eingesetzt werden. Merken Sie sich jedoch die Normalisierung durch Dezimalstellen (Decimal Scaling) oder die Normalisierung durch Einheitsvektoren (Unit Vector Scaling).

Bei der Normalisierung durch Dezimalstellen wird jeder Wert einer Variablen durch eine Zehnerpotenz entsprechend der Anzahl der signifikanten Stellen dividiert. Dadurch wird das Komma nach links verschoben, sodass die höchstwertige Stelle links von der Dezimalstelle steht. Diese Technik passt die Werte so an, dass sie in einem kleineren Intervall liegen, und vereinfacht dadurch die Berechnungen.

Die Normalisierung durch Einheitsvektoren wird im Bereich des maschinellen Lernens verwendet. Dabei wird jeder Wert eines Datenvektors durch die euklidische Norm des Vektors geteilt wird, wodurch der Vektor in einen Einheitsvektor (mit der Länge 1) umgewandelt wird. Diese Technik wird häufig in Algorithmen verwendet, die Abstände oder Ähnlichkeiten zwischen Vektoren berechnen.

Was ist der Unterschied zwischen der Normalisierung und der Standardisierung von Daten?

Die Normalisierung von Daten (Data Normalization) und die Standardisierung von Daten (Data Standardization) befassen sich beide mit der Herausforderung der Repräsentativität von Daten, jedoch aus unterschiedlichen Perspektiven. Obwohl es sich in beiden Fällen um Techniken zur Skalierung von Daten handelt, unterscheiden sie sich in der Art und Weise, wie sie die Werte von Variablen umwandeln.

Die Standardisierung transformiert die Werte einer Variablen so, dass sie einen Mittelwert von 0 und eine Standardabweichung von 1 haben. Im Gegensatz zur Normalisierung wird bei der Standardisierung kein bestimmter Bereich für die transformierten Werte festgelegt. Die Standardisierung ist nützlich, wenn die Variablen stark unterschiedliche Skalen haben, und sie ermöglicht es, die Daten um den Wert Null zu zentrieren und in Bezug auf die Standardabweichung zu skalieren, was die Interpretation der Koeffizienten in einigen Modellen erleichtern kann. Abhängig von der Art Ihrer Daten und den Erkenntnissen, die Sie aus ihnen gewinnen möchten, ist mal eine Datennormalisierung, mal eine Datenstandardisierung erforderlich.

Um sich von der Konkurrenz abzuheben, Innovationen voranzutreiben und immer stärker personalisierte Produkte und Dienstleistungen anzubieten, sind Ihre Daten von entscheidender Bedeutung. Es ist jedoch Vorsicht geboten: Jeden Tag können neue kleine Störungen die Qualität Ihrer Daten beeinträchtigen. Unvollständige oder fehlerhafte Daten, Sicherheitsprobleme, versteckte Daten, Redundanzen, Inkonsistenzen oder Ungenauigkeiten – die Liste ist lang.

Lernen Sie hier die häufigsten Fehler bezüglich der Data Quality kennen und erfahren Sie, wie Sie diese ein für alle Mal vermeiden können!

Die Risiken, die mit einer schlechten Datenqualität verbunden sind

Man kann es nicht oft genug wiederholen: Bei Daten geht es nicht um die verfügbare Menge, sondern um ihre Qualität. Das Data Quality Management (DQM) ist eine anspruchsvolle Disziplin, die auf einer ständigen Hinterfragung der Datenprozesse beruht, aber auch auf einer kontinuierlichen Beobachtung der Art der Informationen, die Ihren Datenbestand ausmachen. Eine schlechte Datenqualität kann sich direkt in geringeren Umsätzen und höheren Betriebskosten niederschlagen, was finanzielle Verluste für Ihr Unternehmen zur Folge haben kann.

Wenn die Datenqualität beeinträchtigt ist, können Analysen, Vorhersagen, Prognosen und sogar Entscheidungen verfälscht werden. Und je größer die Menge an beeinträchtigten Daten ist, desto größer ist auch die Diskrepanz zwischen der Realität und Ihrem Bild der Realität. Die Gewährleistung der Datenqualität erfordert zunächst ein gutes Verständnis für die Fehler, welche sich auf die Qualität der Daten auswirken können.

Die größten Fehler bezüglich der Datenqualität

Die Gewährleistung der Datenqualität ist eine zentrale Herausforderung für jedes Unternehmen, das seine Entwicklungsstrategie auf Daten stützt. Um zielgerichtete Aktionen durchzuführen, muss man Aufgaben richtig priorisieren und darf sich nicht verzetteln. Beim Data Quality Management geht es darum, alle fehlerhaften Informationen zu identifizieren, die Ihre Entscheidung verzerren könnten. Diese fehlerhaften Daten lassen sich in vier Kategorien einteilen.

Redundante Daten

Redundante Daten und Datendubletten werden häufig verwechselt. Dennoch sind sie unterschiedlich. Wenn Daten als Dubletten vorhanden sind, bedeutet dies, dass dieselbe Information in derselben Datenbank oder Datei mehrfach vorhanden ist. Von redundanten Daten spricht man, wenn ein und dieselbe Information in verschiedenen Dateien vorkommt. Redundante Daten sind daher heimtückischer, da sie oft schwerer zu erkennen ist. Man geht davon aus, dass die Datenqualität sich bei mehr als 5 % redundanten Daten zu verschlechtern beginnt. CRM-Tools erzeugen zum Beispiel häufig redundante Daten, da die Nutzer manchmal Kontakte hinzufügen, ohne vorab zu prüfen, ob diese bereits in der Datenbank vorhanden sind.

Versteckte Daten

Im Alltag generiert Ihr Unternehmen eine immer größere Menge an Daten. Sehr oft nutzen Sie nur einen begrenzten Teil der verfügbaren Informationsmenge. Der Rest der Daten, die bei Ihrer Tätigkeit anfallen, wird verstreut und in Datensilos verwässert. Diese Daten bleiben dann dauerhaft ungenutzt. Beispielsweise wird die Einkaufhistorie eines Kunden nicht immer den Kundenservice-Teams zur Verfügung gestellt. Diese Informationen würden es jedoch ermöglichen, das Profil des Kunden besser zu erfassen und somit relevantere Antworten auf seine spezifischen Anfragen zu geben oder durch passende Vorschläge sogar Upselling oder Cross-Selling zu betreiben.

Inkonsistente Daten

Sind Patrick Schmid und Patrick Schmitt wirklich zwei verschiedene Kunden? Das zu erkennen ist nicht immer einfach. Inkonsistente Daten beeinträchtigen die Datenqualität erheblich. Sie können auch durch ein anderes bekanntes Phänomen entstehen: das der Redundanz. Dieses Phänomen tritt auf, wenn Sie neben Ihren eigenen Daten mit mehreren Quellen (insbesondere mit Daten von Drittanbietern) arbeiten. Es kommt zu Abweichungen im Datenformat, in der Einheit oder auch in der Rechtschreibung – all diese Inkonsistenzen müssen im Rahmen eines Data Quality Prozesses aufgespürt werden.

Fehlerhafte Daten

Es mag offensichtlich erscheinen, aber fehlerhafte Daten sind das größte Übel für die Datenqualität. Wenn die Kundendaten falsch sind, sind die vorgeschlagenen personalisierten Kundenerfahrungen nicht relevant. Wenn z. B. die mit Ihren Lagerbeständen verbundenen Daten fehlerhaft sind, kann es zu Lieferschwierigkeiten oder explodierenden Lagerkosten kommen. Falsche Kontaktdaten, fehlende oder leere Informationen – Sie müssen wirklich alles tun, um fehlerhafte Daten auszumerzen.

Wie können Probleme bei der Datenqualität gelöst werden?

Der gesunde Menschenverstand führt zwar häufig zu einem guten Datenqualitätsmanagement, kann es aber alleine nicht garantieren.

Um sich der Herausforderung zu stellen und Ihre Probleme mit der Datenqualität zu lösen, benötigen Sie ein Tool für das Data Quality Management. Um die richtige Lösung zu wählen, müssen Sie jedoch zunächst eine sorgfältige Katalogisierung Ihrer Datenbestände erstellen, um die tatsächliche Nutzung in Ihrem Unternehmen zu ermitteln und die tatsächliche Qualität Ihrer Daten zu bewerten. Der Einsatz einer Data Quality Management-Lösung, einer Data Governance, die Schulung und Sensibilisierung Ihrer Teams für den richtigen Umgang mit Daten … all das sind unverzichtbare Säulen, um die Zahl der Fehler im Zusammenhang mit der Datenqualität zu begrenzen!

Wenn Sie mehr über das Data Quality Management als Disziplin erfahren möchten, laden Sie gerne unser kostenloses eBook „Der Leitfaden zum Data Quality Management“ herunterladen 

Entscheidungen ohne fundierte Grundlage zu treffen und sich auf Ihre Intuition zu verlassen, ist keine Option mehr, wenn Ihre Mitbewerber sich bereits beschäftigen, wie sich mit der Nutzung von Daten befassen. Sie müssen den nächsten Schritt machen. Mithilfe der Data Ingestion können Sie schneller und effizienter auf Daten zugreifen, da diese an einer zentralen Stelle gespeichert werden. Überblick.

Angesichts des enormen Wettbewerbs und der Digitalisierung Ihres Unternehmens befindet sich Ihr Betrieb in einem Wettlauf gegen die Zeit. Ein Wettlauf, in dem Sie nicht unbedingt gegen Ihre direkten Mitbewerber antreten, sondern vielmehr ein Wettlauf zwischen Ihrem Unternehmen und Ihren Kunden. Die Herausforderung: die Konsumtrends und Bedürfnisse Ihrer Zielgruppen immer schneller zu erkennen, um die Erwartungen vorherzusehen. Der Erste zu sein, der einen bestimmten Bedarf befriedigt, vor allen anderen auf einem aufstrebenden Markt Fuß zu fassen … diese strategischen Notwendigkeiten können mithilfe von Data Ingestion beantwortet werden.

Diese Praxis trägt dazu bei, ein genaueres Wissen über Ihre Kunden oder Ihren Markt aufzubauen, da sie die Auswertung zunehmend heterogener Daten ermöglicht, mit deren Hilfe Sie selbst schwache Signale identifizieren können, um Trends schnell, aber vor allem effizient, zu erkennen.

Data Ingestion verstehen

Das Prinzip der Data Ingestion beruht auf der Idee, verschiedene Datenquellen an einer Stelle zu zentralisieren. Es liegt in der Natur der Sache, dass diese unterschiedlichen Daten sorgfältig bereinigt und Dubletten entfernt werden müssen, damit sie in einer Zielumgebung zusammengeführt und dann verarbeitet und genutzt werden können. Unabhängig davon, ob Ihre Daten aus einem Data Lake, aus Kundendateien, SaaS-Anwendungen oder einer beliebigen anderen Quelle stammen, können sie an einem Zielort zusammengefasst werden, um sie abzugleichen und so das Verständnis für einen Markt, ein Ökosystem oder eine Zielgruppe zu verbessern.

Der Begriff Abgleich fasst den Zweck der Data Ingestion perfekt zusammen. Das Prinzip besteht darin, das in verschiedenen Arten von Datenbanken enthaltene Wissen zu kombinieren, um den größtmöglichen Nutzen daraus zu ziehen.

Was sind die wichtigsten Vorteile der Data Ingestion?

Wenn Sie sich für ein Data-Ingestion-Projekt entscheiden, können Sie verschiedene Vorteile daraus ziehen. Zunächst einmal gewinnen Sie unweigerlich an Reaktionsfähigkeit und Flexibilität. Tools für die Data Ingestion sind nicht nur in der Lage, sehr große Datenmengen, sondern auch eine Vielzahl von Datentypen, einschließlich unstrukturierter Daten, zu verwalten und zu verarbeiten.

Die Data Ingestion verspricht auch eine Reduzierung der Komplexität.

Durch die Fähigkeit, unterschiedliche Datenquellen miteinander in Einklang zu bringen, erleichtert die Data Ingestion die Prozesse der Datenextraktion und der Umstrukturierung in vordefinierte Formate erheblich, um die Daten leichter nutzbar zu machen.

Die Informationen, zu denen Ihnen die Data Ingestion Zugang verschafft, können dann in fortgeschrittenen Analysetools nutzbar gemacht werden. Das Ziel: Den Nutzen dieser umfassenden Kenntnisse über Ihre Kunden oder Ihren Markt zu maximieren, um damit Business-Intelligence-Tools zu füttern. So können Sie leichter eine neue strategische Ausrichtung festlegen, die sich auf ein echtes Datenprojekt stützt, das an Tiefe gewinnt und es Ihnen ermöglicht, Ihr Unternehmen „datengetrieben“ zu entwickeln. Die Data Ingestion trägt dazu bei, Ihren Mitarbeitern den Zugang zu den Daten zu vereinfachen.

Eine ausgeprägtere Datenkultur bedeutet auch schnellere und fundiertere Entscheidungen und damit einen Wettbewerbsvorteil bei der Festlegung erfolgreicherer taktischer und strategischer Schwerpunkte.

Welche Herausforderungen gilt es bei der Data Ingestion zu meistern?

Eine Disziplin wie die Data Ingestion bleibt anspruchsvoll, und um ihr volles Potenzial zu entfalten, muss eine Reihe von Bedingungen erfüllt werden. So ist zu beachten, dass der Eingang sehr großer Datenmengen Probleme bezüglich der Datenqualität aufwerfen kann, was nicht nur die Aussagekraft der Analysen verschlechtert, sondern auch die Bearbeitungszeiten verlängert. Außerdem erhöht die Vielfalt der Datenquellen rein technisch die Anfälligkeit für Schwachstellen. Diese beiden großen Herausforderungen ziehen eine dritte Schwierigkeit nach sich, der man sich bewusst sein muss, bevor man ein solches Projekt startet.

Eine höhere Komplexität und Risikoexposition bergen rein technisch das Risiko höherer Verarbeitungskosten. Um ein erfolgreiches Data-Ingestion-Projekt durchzuführen, muss man sich dieser Risiken bewusst sein, um sich vor ihnen zu schützen …

Wie führt man ein Data Ingestion-Projekt zum Erfolg?

Der erste Tipp für den effektiven Start eines Data-Ingestion-Projekts lautet Antizipation. Die Fähigkeit, Risiken und Schwierigkeiten zu antizipieren, hängt von der richtigen Abbildung Ihrer Datenbestände ab.

Der andere Hebel, den es zu betätigen gilt, ist die Automatisierung.

Die Datenmengen, die im Rahmen der Data Ingestion verarbeitet werden, sind so groß, dass manuelle Operationen auf ein Minimum beschränkt werden müssen. Die Automatisierung der Datenverarbeitung hat darüber hinaus den Vorteil, dass Ihre Datenstruktur einheitlicher wird.

Um die Erfolgsaussichten Ihres Data-Ingestion-Projekts zu maximieren, können Sie letztlich auch eine Data Ingestion in Echtzeit in Betracht ziehen. Dieses Verfahren wird auch als Streaming Data Ingestion bezeichnet und eignet sich besonders, wenn Sie Ihr Wissen über einen Markt kontinuierlich aktualisieren möchten. Ein solcher Dateneingang in Echtzeit liefert eine wichtige Antwort auf die Herausforderung, Entscheidungen in Echtzeit zu treffen.

Datenqualität, besser bekannt unter dem englischen Begriff Data Quality, bezieht sich auf die Fähigkeit eines Unternehmens, seine Daten dauerhaft und im Laufe der Zeit zu erhalten. Zum Thema Datenqualität hört man von Fachleuten immer wieder, dass deren Verbesserung die Lösung für alle geschäftlichen Probleme ist und daher oberste Priorität haben sollte.

Die Realität sieht unserer Meinung nach jedoch anders aus: Datenqualität sollte nur als ein Mittel unter vielen betrachtet werden, um die Unsicherheit beim Erreichen der Unternehmensziele zu verringern.

In dieser Serie erfahren Sie alles, was Sie über Datenqualitätsmanagement (DQM) wissen müssen:

1. Die neun Dimensionen der Datenqualität
2. Die Herausforderungen und Risiken der Datenqualität
3. Die wichtigsten Funktionen eines DQM-Tools
4. Der Beitrag des Datenkatalogs zum DQM

Ein Datenkatalog ist kein DQM-Tool

Ein Datenkatalog sollte nicht als vollwertiges QM-Werkzeug betrachtet werden, so wie wir es in diesem Artikel beschrieben haben.

Zunächst einmal ist eines der Kernprinzipien der Datenqualität, dass die Kontrollen idealerweise direkt im Quellsystem stattfinden sollten. Wenn diese Prüfungen nur im Datenkatalog – und nicht direkt an der Quelle und in den Transformation-Pipelines – durchgeführt werden, erhöht dies die Gesamtkosten.

Zweitens muss ein Datenkatalog so umfassend und so wenig intrusiv wie möglich sein, um eine schnelle Einführung im Unternehmen zu gewährleisten. Dies ist nicht vereinbar mit der Komplexität der Datentransformationen und der Vielzahl an Werkzeugen, die zur Durchführung dieser Transformationen verwendet werden. 

Letztlich muss ein Datenkatalog ein einfach zu verstehendes und benutzerfreundliches Tool bleiben, wie in Artikel 3 unserer Data Democracy beschrieben.

Der Beitrag des Datenkatalogs zum DQM

Der Datenkatalog ist zwar kein DQM-Tool, trägt aber dennoch wesentlich dazu bei, und zwar auf folgende Art und Weise:

• Mithilfe des Datenkatalogs können Datennutzer Metadaten leicht verstehen, um Interpretationen der Daten zu vermeiden. Bezogen auf DQM spiegelt diese grundlegende Funktion die Dimension der Klarheit wider;

• Ein Datenkatalog ermöglicht eine zentrale Sicht auf alle im Unternehmen verfügbaren Daten. Informationen zur Datenqualität sind also Metadaten wie alle anderen auch, die den Benutzern zur Verfügung gestellt werden müssen. Sie sollten leicht zu interpretieren und abrufbar sein und die Dimensionen Genauigkeit, Konsistenz, Validität, Einzigartigkeit, Vollständigkeit und Aktualität widerspiegeln.

• Ein Datenkatalog hat die Funktion, Daten zurückzuverfolgen (Data Lineage), was der Dimension der Nachvollziehbarkeit entspricht;

• Ein Datenkatalog ermöglicht in der Regel den direkten Zugriff auf die Datenquelle, was die Dimension der Verfügbarkeit widerspiegelt.

Die Strategie zur Implementierung von DQM

Die folgende Tabelle zeigt im Detail, wie Datenqualität in den verschiedenen auf dem Markt existierenden Lösungen berücksichtigt wird:

Wie bereits beschrieben, sollten standardmäßig so viele Qualitätstests und -überprüfungen wie möglich direkt im Quellsystem durchgeführt werden. Die Integration von Qualitätstests in einen Data Catalog kann zwar die Benutzererfahrung verbessern, ist aber aufgrund seiner Beschränkungen – die Data Quality ist nicht in die Transformationen integriert – nicht unbedingt erforderlich. 

Wenn die Systeme jedoch komplexer werden und man beispielsweise die Daten mehrerer uneinheitlicher Systeme, die nicht die gleichen funktionalen Regeln implementiert haben, konsolidieren möchte, wird ein spezialisiertes Data-Quality-Tool unerlässlich.

Die Implementierungsstrategie wird von den Use Cases und den Zielen des Unternehmens abhängen. Grundsätzlich ist es jedoch sinnvoll, DQM inkrementell einzuführen:

1. Sicherstellen, dass das Quellsystem die relevanten Qualitätsregeln beinhaltet;
2. Einen Datenkatalog einführen, um die Qualität in Bezug auf die Dimensionen Genauigkeit, Nachvollziehbarkeit und/ oder Verfügbarkeit zu verbessern;
3. Data Quality mit einem spezialisierten Tool in die Datentransformationen integrieren und gleichzeitig diese Informationen über API automatisch in den Data Catalog zurückführen.

Fazit

Datenqualität bezieht sich auf die Fähigkeit eines Unternehmens, seine Daten dauerhaft und im Laufe der Zeit zu erhalten. Bei Zeenea definieren wir sie anhand von neun der sechzig Dimensionen, die DAMA International identifiziert hat: Vollständigkeit, Genauigkeit, Validität, Einzigartigkeit, Konsistenz, Aktualität, Nachvollziehbarkeit, Klarheit und Verfügbarkeit erfüllen.

Als Data-Catalog-Anbieter lehnen wir die Vorstellung ab, dass der Datenkatalog ein vollwertiges QM-Instrument ist. Es handelt sich lediglich um eine von mehreren Möglichkeiten, zur Verbesserung der Datenqualität beizutragen – insbesondere in den Dimensionen Klarheit, Verfügbarkeit und Rückverfolgbarkeit

Datenqualität, besser bekannt unter dem englischen Begriff Data Quality, bezieht sich auf die Fähigkeit eines Unternehmens, seine Daten dauerhaft und im Laufe der Zeit zu erhalten. Zum Thema Datenqualität hört man von Fachleuten immer wieder, dass deren Verbesserung die Lösung für alle geschäftlichen Probleme ist und daher oberste Priorität haben sollte.

Die Realität sieht unserer Meinung nach jedoch anders aus: Datenqualität sollte nur als ein Mittel unter vielen betrachtet werden, um die Unsicherheit beim Erreichen der Unternehmensziele zu verringern.

In dieser Serie erfahren Sie alles, was Sie über Datenqualitätsmanagement (DQM) wissen müssen:

1. Die neun Dimensionen der Datenqualität
2. Die Herausforderungen und Risiken der Datenqualität
3. Die wichtigsten Funktionen eines DQM-Tools
4. Der Beitrag des Datenkatalogs zum DQM

Im Folgenden möchten wir die auf dem Markt angebotenen DQM-Lösungen genauer untersuchen und so die Herausforderungen dieser Disziplin noch besser verstehen.

Wie geht man vor, um Qualitätsprobleme zu erkennen und zu beheben? Was bieten die marktüblichen Tools an Funktionen zur Verbesserung der Datenqualität?

Ohne zu sehr ins Detail zu gehen, möchten wir Ihnen die Qualitäten eines DQM-Tools anhand der wichtigsten Bewertungskriterien des Magic Quadrant for Data Quality Solutions von Gartner veranschaulichen.

Konnektivität

Ein DQM-Tool muss in der Lage sein, Qualitätsregeln für alle Daten im Unternehmen abzurufen und anzuwenden (interne, externe, On-Prem-, Cloud-, relationale, nicht-relationale Daten usw.). Das Tool muss sich also mit allen wichtigen Daten des Unternehmens verbinden können, um Qualitätsregeln anzuwenden.

Profiling, Messung und Visualisierung von Daten

Um Qualitätsprobleme zu beheben, muss man sie erst einmal erkennen können. Data Profiling ermöglicht es Business-Anwendern und IT-Abteilungen, sich einen Überblick über die Datenqualität zu verschaffen, um Probleme zu erkennen und zu verstehen.

Das Tool muss daher in der Lage sein, die im Abschnitt Die neun Dimensionen der Datenqualität beschriebenen Schritte durchzuführen: Qualitätsprobleme anhand der für das Unternehmen wichtigsten Dimensionen identifizieren.

Monitoring

Das Tool muss in der Lage sein, die Entwicklung der Datenqualität zu überwachen und die Verantwortlichen ab bestimmten Schwellenwerten zu alarmieren.

Standardisierung und Bereinigung von Daten

Es kommt zwangsläufig der Zeitpunkt, an dem die Daten bereinigt werden müssen. Hier sind Funktionen zur Datenbereinigung nötig, um Standards oder Geschäftsregeln zur Änderung von Daten (Format, Werte oder Layout) anzuwenden.

Matching und die Zusammenführung von Daten

Duplikate innerhalb von oder zwischen Datensätzen müssen identifiziert und entfernt werden.

Validierung von Adressen

Unvollständige oder fehlerhafte Adressen müssen standardisiert werden.

Pflege und Anreicherung von Daten

Dies sind die Fähigkeiten eines DQM-Tools, Daten aus externen Quellen zu integrieren, um die Vollständigkeit zu verbessern – und damit den Wert der Daten zu steigern.

Entwicklung und Umsetzung von Geschäftsregeln

Das DQM-Tool muss Geschäftsregeln erstellen, einsetzen und verwalten können, die dann zur Validierung von Daten verwendet werden.

Lösung von Problemen

Das DQM-Tool sollte es Fachbereichen und IT ermöglichen, Datenqualitätsprobleme zuzuordnen, zu lösen und zu überwachen.

Metadaten-Management

Das Tool muss in der Lage sein, alle Metadaten im Zusammenhang mit dem Datenqualitätsprozess zu erfassen und abzugleichen.

Zusammenarbeit

Schließlich muss sich die Lösung an die verschiedenen Rollen im Unternehmen anpassen, insbesondere an nicht-technische Fachanwender.

Datenqualität, besser bekannt unter dem englischen Begriff Data Quality, bezieht sich auf die Fähigkeit eines Unternehmens, seine Daten dauerhaft und im Laufe der Zeit zu erhalten. Zum Thema Datenqualität hört man von Fachleuten immer wieder, dass deren Verbesserung die Lösung für alle geschäftlichen Probleme ist und daher oberste Priorität haben sollte.

Die Realität sieht unserer Meinung nach jedoch anders aus: Datenqualität sollte nur als ein Mittel unter vielen betrachtet werden, um die Unsicherheit beim Erreichen der Unternehmensziele zu verringern.

In dieser Serie erfahren Sie alles, was Sie über Datenqualitätsmanagement (DQM) wissen müssen:

1. Die neun Dimensionen der Datenqualität
2. Die Herausforderungen und Risiken der Datenqualität
3. Die wichtigsten Funktionen eines DQM-Tools
4. Der Beitrag des Datenkatalogs zum DQM

Unternehmen und die Herausforderung der Datenqualität

Initiativen zur Verbesserung der Datenqualität werden von Unternehmen traditionell eingeführt, um Compliance-Anforderungen zu erfüllen und Risiken zu verringern. Sie sollen außerdem eine zuverlässige Entscheidungsfindung sicherstellen.

Leider gibt es viele Reibungspunkte, die das Erreichen dieser Ziele zur Verbesserung der Datenqualität verhindern können. Hier einige Beispiele:

• Das exponentielle Wachstum von Datenvolumen, -geschwindigkeit und -vielfalt macht das Umfeld komplex und unsicher;
• Teams werden zunehmend dezentralisiert, wobei jedes Team seinen eigenen Kompetenzbereich hat;
• IT- und Datenteams sind überlastet und haben keine Zeit, sich mit dem Thema Data Quality zu befassen;
• Dieselben Teams drücken sich gerne vor diesen oft als undankbar empfundenen Aufgaben;
• Die Prozesse zur Aggregation von Daten sind komplex und langwierig;
• Es kann schwierig sein, Daten zwischen verschiedenen Quellen zu standardisieren;
• Die Prüfung von Änderungen zwischen Systemen ist komplex;
• Governance-Richtlinien sind schwer zu implementieren.

Auf der anderen Seite bieten sich aber auch zahlreiche Chancen. Die Sicherstellung qualitativ hochwertiger Daten ermöglicht es Unternehmen, Innovationen mithilfe von Künstlicher Intelligenz zu fördern und so ein individuelles Kundenerlebnis zu schaffen. Allerdings müssen sie auch über genügend qualitativ hochwertige Daten verfügen.

Gartner prognostiziert, dass bis 2022 85 % der KI-Projekte aufgrund von Verzerrungen in den Daten, Algorithmen oder den Teams, die sie verwalten, falsche Ergebnisse liefern.

Senkung von Risiken durch Verbesserung der Datenqualität

Schlechte Datenqualität sollte als Risiko betrachtet werden, und Software zur Verbesserung der Qualität als mögliche Behandlungsmethode, um das Risikoniveau zu senken.

Der Prozess der Behebungs eines Qualitätsproblems:

Ausgehend von der vorherigen Annahme müsste dann jedes Qualitätsproblem in mehreren Phasen angegangen werden:

1. Identifizierung der Risiken: In dieser Phase werden diejenigen Risiken gesucht, erkannt und beschrieben, die dem Unternehmen daran hindern können, seine Ziele zu erreichen – und zwar insbesondere aufgrund mangelnder Datenqualität.

2. Risikoanalyse: Ziel dieser Phase ist es, die Natur des Risikos und dessen Ausprägungen zu verstehen. Sie umfasst Wahrscheinlichkeitsfaktoren für Ereignisse und deren Folgen, die Art und das Ausmaß dieser Folgen, die Wirksamkeit der vorhandenen Kontrollmittel usw.

Hier soll also herausgefunden werden, was die schlechte Qualität der Marketingdaten verursacht hat. Als Beispiele könnten genannt werden:

• Eine schlechte User Experience auf dem Quellsystem, die zu Eingabefehlern führt;
• Eine fehlende Überprüfung der Vollständigkeit, Genauigkeit, Validität, Eindeutigkeit, Konsistenz oder Aktualität der Daten;
• Ein Mangel an einfachen Mitteln, um die Nachvollziehbarkeit, Klarheit und Verfügbarkeit der Daten zu gewährleisten;
• Das Fehlen von Governance-Prozessen und die fehlende Einbeziehung der Business-Teams.

3. Risikobewertung: In dieser Phase geht es darum, die Ergebnisse der Risikoanalyse mit den festgelegten Risikokriterien zu vergleichen. Hier soll festgestellt werden, ob für die Entscheidungsfindung weitere Maßnahmen erforderlich sind – sollen die vorhandenen Mittel beibehalten werden, welche Optionen zur Behebung gibt es, müssen weitere Analysen durchgeführt werden usw.

Konzentrieren wir uns auf die neun Dimensionen der Datenqualität und versuchen wir, die Auswirkungen schlechter Qualität auf jede von ihnen für Arthurs Ziel mithilfe einer Risikomatrix zu bewerten:

Die Bewertungen für Wahrscheinlichkeit und Auswirkung müssen mit den Hauptbeteiligten vorgenommen werden, d. h. mit den Mitarbeitern auf operativer Ebene, die mit den betreffenden Daten am besten vertraut sind.

4. Behebung des Risikos: In der Phase der Behebung werden Optionen und Maßnahmen zur Verringerung des Risikos bestimmt. Dies beinhaltet auch eine Beurteilung der Wirksamkeit der durchgeführten Maßnahmen, und festzustellen, ob das Restrisiko akzeptabel ist oder nicht und – im letzteren Fall – eventuell eine weitere Behandlung in Betracht zu ziehen.

Die Verbesserung der Datenqualität ist kein Selbstläufer:

• Ihre Kosten müssen im Hinblick auf die Ziele des Unternehmens bewertet werden;
• Die Maßnahmen zur Behebung von Risiken müssen anhand jeder der Qualitätsdimensionen bewertet werden.

Datenqualität, besser bekannt unter dem englischen Begriff Data Quality, bezieht sich auf die Fähigkeit eines Unternehmens, seine Daten dauerhaft und im Laufe der Zeit zu erhalten. Zum Thema Datenqualität hört man von Fachleuten immer wieder, dass deren Verbesserung die Lösung für alle geschäftlichen Probleme ist und daher oberste Priorität haben sollte.

Die Realität sieht unserer Meinung nach jedoch anders aus: Datenqualität sollte nur als ein Mittel unter vielen betrachtet werden, um die Unsicherheit beim Erreichen der Unternehmensziele zu verringern.

In dieser Serie erfahren Sie alles, was Sie über Datenqualitätsmanagement (DQM) wissen müssen:

1. Die neun Dimensionen der Datenqualität
2. Die Herausforderungen und Risiken der Datenqualität
3. Die wichtigsten Funktionen eines DQM-Tools
4. Der Beitrag des Datenkatalogs zum DQM

Was ist Datenqualität?

Wenn Sie einen Data Analyst oder einen Data Engineer fragen, was Datenqualität ist, werden Sie höchstwahrscheinlich unterschiedliche Antworten erhalten – sogar innerhalb eines Unternehmens. Einige werden zum Beispiel von der Einzigartigkeit der Daten sprechen, während andere die Standardisierung als Kriterium nennen. Vielleicht haben Sie selbst Ihre eigene Interpretation.

Qualität wird laut der Norm DIN EN ISO 9000:2015 als „Grad, in dem ein Satz inhärenter Merkmale eines Objekts Anforderungen erfüllt“ definiert.

DAMA International (The Global Data Management Community) – ein internationaler Verband, der die geschäftlichen und technischen Fachleute für Datenmanagement vereint – leitet diese Definition im Datenkontext ab: Datenqualität ist der Grad, in dem die Dimensionen der Daten die Anforderungen erfüllen“

Der dimensionale Ansatz zur Datenqualität

Operativ schlägt sich die Datenqualität in den sogenannten Dimensionen der Datenqualität nieder, wobei sich jede Dimension auf einen bestimmten Aspekt der Qualität bezieht. Die vier am häufigsten verwendeten Dimensionen sind in der Regel Vollständigkeit, Genauigkeit, Validität und Verfügbarkeit – auf die wir weiter unten näher eingehen werden. 

In der Literatur findet man eine große Anzahl verschiedener Dimensionen und Kriterien, mit denen die Datenqualität beschrieben werden kann. Man muss sich jedoch darüber im Klaren sein, dass es heute keinen Konsens darüber gibt, welche diese Dimensionen sind. DAMA definiert bspw. sechzig Dimensionen – während die meisten DQM-Softwareanbieter in der Regel fünf oder sechs Dimensionen vorschlagen.

Die neun Dimensionen der Datenqualität

Wir bei Zeenea glauben, dass der ideale Kompromiss in neun Dimensionen der Datenqualität besteht: Vollständigkeit, Genauigkeit, Validität, Einzigartigkeit, Konsistenz, Aktualität, Nachvollziehbarkeit, Klarheit und Verfügbarkeit.

Wir möchten Ihnen die neun Dimensionen und die verschiedenen Konzepte, die in diesem eBook behandelt werden, anhand eines einfachen Beispiels veranschaulichen.

Arthur ist dafür verantwortlich, Marketingkampagnen an seine Kunden und Interessenten zu senden, um die neuen Angebote seines Unternehmens vorzustellen. Dabei stößt er auf eine Reihe von Problemen:

• Arthur sendet manchmal mehrere Mitteilungen an dieselben Personen, 
• Die in seinem CRM angegebenen E-Mails sind oft ungültig,
• Interessenten und Kunden erhalten nicht immer den richtigen Inhalt,
• Einige Informationen über Interessenten sind veraltet,
• Briefe, die an wichtige Kunden geschickt wurden, kommen zurück,
• Kunden werden in E-Mails mit der falschen Anrede angesprochen,
• Es gibt zwei Adressen für Kunden und Interessenten, und es ist unklar, wofür sie stehen,
• Es ist nicht immer klar, woher die Daten, die er nutzt, stammen oder wie er auf ihre Quellen zugreifen kann.

Die folgenden Daten stehen Arthur für seinen Auftrag zur Verfügung. Wir werden sie verwenden, um jede der neun DQ-Dimensionen zu veranschaulichen:

1. Vollständigkeit

Sind die Daten vollständig? Fehlen irgendwelche Informationen? Ziel dieser Dimension ist es, leere oder fehlende Daten zu identifizieren.

In unserem Beispiel hat Arthur festgestellt, dass eine der E-Mail-Adressen nicht ausgefüllt ist:

Zur Behebung des Problems könnte er versuchen, herauszufinden, ob andere Systeme diese Informationen enthalten. Arthur könnte auch die zuständigen Kollegen bitten, die fehlenden E-Mail-Adressen manuell auszufüllen.

2. Genauigkeit

Stimmen die vorliegenden Werte mit den tatsächlichen Daten überein, d. h. mit denen, die in der realen Welt vorliegen?

Arthur hat festgestellt, dass Briefe an wichtige Kunden zurückkommen, weil die Postadressen nicht korrekt sind. Man stellt tatsächlich fest, dass eine der Adressen nicht dem Adressformat der realen Welt entspricht:

Es könnte für Arthur interessant sein, sich nach Diensten zur Überprüfung von Postadressen umzuschauen.

3. Validität

Entspricht der Datensatz der Syntax seiner Definition? Mit dieser Dimension soll sichergestellt werden, dass die Daten einem bestimmten Modell oder einer bestimmten Regel entsprechen.

Arthur hat festgestellt, dass er regelmäßig Rückläufer für ungültige E-Mails erhält. Außerdem erhalten einige Interessenten und Kunden nicht den richtigen Inhalt, da sie nicht richtig qualifiziert sind. Man stellt fest, dass die E-Mail-Adresse annalincoln@apple das falsche Format hat und der Kundentyp Csutomer nicht korrekt ist.

Zur Lösung des Problems kann er bspw. veranlassen, dass die Client Type-Werte immer Teil einer Liste von Referenzwerten sein müssen (Customer oder Prospect) und dass die E-Mail-Adresse einem bestimmten Format entspricht.

4. Konsistenz

Sind verschiedene Werte in einem Datensatz in Bezug auf eine Regel konform? Es gilt sicherzustellen, dass die Daten zwischen mehreren Spalten übereinstimmen.

Einige der männlichen Kunden beschweren sich über E-Mails, in denen sie fälschlicherweise als Frau bezeichnet werden. Bei Lino Rodrigez gibt es tatsächlich einen Widerspruch zwischen den Spalten Gender und Title.

To solve these types of problems, it is possible to create a logical rule that ensures that when the id Gender is Male, the title should be Mr.5.

5. Aktualität

Ist der Zeitraum zwischen Erstellung der Daten und ihrer Nutzung angemessen? Es soll sichergestellt werden, dass die Daten innerhalb eines im Verhältnis zu ihrer Erstellung angemessenen Zeitraums verwendet werden.

Arthur hat festgestellt, dass einige Informationen über potenzielle Kunden veraltet und nicht mehr aktuell sind. Für seine Tätigkeit und sein Unternehmen sollten CRM-Daten, die älter als sechs Monate sind, nicht verwendet werden

Das Problem könnte durch eine Regel behoben werden, die zu alte Daten identifiziert und ausschließt. Eine andere Alternative wäre, die gleichen Informationen aus einem anderen System abzurufen, das frischere Daten enthält.

6. Einzigartigkeit

Gibt es Datensätze, die mehr als einmal vorhanden sind? Damit soll sichergestellt werden, dass die Daten nicht doppelt genutzt werden.

Arthur stellt fest, dass er die gleichen Mitteilungen mehrmals an die gleichen Personen gesendet hat. Die Kundin Lisa Smith kommt doppelt in der Datei vor:

In diesem vereinfachten Beispiel sind die duplizierten Daten genau dieselben. Mit fortgeschritteneren Algorithmen wie bspw. Jaro, Jaro-Winkler oder Levenshtein lassen sich die duplizierten Daten feiner gruppieren.

7. Klarheit

Ist es für Datennutzer einfach, die Metadaten zu verstehen? Ziel ist es, die Bedeutung der Daten zu erfassen und Interpretationen zu vermeiden.

Arthur hatte Zweifel an den beiden vorhandenen Adressen, da es nicht klar ist, worauf sie sich beziehen. Die Namen Street Address 1 und Street Address 2 sind interpretationsbedürftig und sollten nach Möglichkeit geändert werden. Das Umbenennen innerhalb einer Datenbank ist oft ein komplizierter Vorgang und sollte zumindest mit einer Beschreibung ordnungsgemäß dokumentiert werden:

8. Nachvollziehbarkeit

Ist es möglich, Daten zurückzuverfolgen? Ziel ist es, auf die Ursprünge der Daten zuzugreifen sowie auf die Transformationen, die sie möglicherweise durchlaufen haben.

Arthur ist sich nicht ganz sicher, woher seine Daten kommen und wie er auf die Quelldaten zugreifen kann. Dies könnte ihm jedoch sehr nützlich sein, insbesondere um sicherzustellen, dass Probleme tatsächlich an der Quelle behoben werden. Er müsste also wissen, dass die Daten, die er in seinem Marketing-Tool verwendet, aus den Daten im Data Warehouse seines Unternehmens stammen, die wiederum aus dem CRM-Tool kommen.

9. Verfügbarkeit

Wie können die Daten von den Nutzern eingesehen oder abgerufen werden? Ziel ist es, den Zugang zu den Daten zu erleichtern.

Arthur überlegt sich, wie er einfach auf die Quelldaten zugreifen könnte. Wenn wir das vorherige Schema wieder aufgreifen, hätte er gerne einen einfachen und schnellen Zugriff auf Daten aus dem Data Warehouse und/ oder dem CRM-Tool. In einigen Fällen müsste Arthur eine Anfrage stellen, bevor er direkt auf diese Informationen zugreifen kann.