Ein Enterprise Data Warehouse (EDW) ist ein zentrales Repository für strukturierte, analysebereite Daten, die aus Systemen eines gesamten Unternehmens stammen. Es wird prognostiziert, dass der wachsende EDW-Markt bis 2035 die Marke von 53 Milliarden USD übertreffen wird und dauerhaft Bestand haben wird. Ein EDW ist jedoch nur so wertvoll wie die Daten, mit denen es gespeist wird. Sie können stark in Cloud-Infrastruktur, Modellierungstools und Dashboards für Business Intelligence (BI) investieren. Wenn die zugrunde liegenden Daten jedoch veraltet oder unvollständig sind, erbt jede nachgelagerte Entscheidung diese Mängel. Die Architektur, die Governance-Kontrollen und die Datenbewegungsschicht, die Sie um ein EDW aufbauen, bestimmen seinen Wert für das Unternehmen.

Im Folgenden erklären wir, was ein Enterprise Data Warehouse ist, was ein gut aufgebautes Data Warehouse ausmacht und wie Sie Datenbewegung als primäres Anliegen betrachten sollten.

Das Wichtigste auf einen Blick

• Ein modernes EDW bedient Workloads für Business Intelligence, Finanzberichte und maschinelles Lernen aus einem einzigen, verwalteten Repository mit strukturierten, analysebereiten Daten.

• Governance-Kontrollen, einschließlich rollenbasiertem Zugriff, Maskierung auf Spaltenebene, Audit-Protokollierung und Datenherkunft, bestimmen, ob Teams dem Warehouse vertrauen und es nutzen.

• An der Datenbewegungsschicht scheitern viele EDW-Projekte, und native Quell-Konnektoren halten Pipelines ohne fortlaufenden Wartungsaufwand am Laufen.

Was ist ein Enterprise Data Warehouse?

Ein Enterprise Data Warehouse (EDW) ist ein zentrales Daten-Repository, das Business Intelligence, Finanzberichte und zunehmend auch Feature-Speicher und Trainingsdatensätze für Modelle für das maschinelle Lernen unterstützt.

Ursprünglich wurden EDWs für das Berichtswesen entwickelt. Inzwischen sind sie zur regulierten Grundlage geworden, auf die sich Systeme für künstliche Intelligenz (KI) stützen, was die Anforderungen an Datenqualität, Konsistenz und Aktualität erhöht.

Wie funktioniert ein Enterprise Data Warehouse?

Grob gesagt erfasst ein EDW Daten aus dem gesamten Unternehmen, standardisiert sie und macht sie nutzbar. Dieser Prozess gliedert sich in der Regel in drei Phasen.

So funktioniert ein Enterprise Data Warehouse.

Erfassen

Daten fließen aus Quellsystemen wie Zahlungsplattformen, Customer Relationship Management (CRM)-Systemen, Enterprise Resource Planning (ERP)-Systemen und Produktdatenbanken in eine einzige Ebene. Zu diesem Zeitpunkt sind sie noch roh: Schemata variieren, Zeitstempel können in Konflikt stehen und fehlende Werte sind inkonsistent.

Modell

Hier werden die Rohdaten nutzbar. Teams bereinigen, verknüpfen und formen Rohdaten mit Transformationstools (häufig dbt) zu zuverlässigen Datensätzen um.

Zwei gängige Modellierungsansätze sind:

• Sternschema: Eine zentrale Faktentabelle (z. B. Bestellungen), die mit Dimensionstabellen (Kundinnen und Kunden, Produkte, Daten) verknüpft ist. Es ist einfach, schnell abzufragen und wird häufig für die Berichterstattung verwendet.

• Snowflake-Schema: Eine stärker normalisierte Version des Sternschemas, bei der Dimensionen in kleinere zusammenhängende Tabellen aufgeteilt werden. Dies reduziert Redundanzen, kann aber Abfragen erschweren.

Bereitstellen

Saubere, modellierte Daten werden dann nachgelagerten Nutzern und Nutzerinnen zur Verfügung gestellt. Analysten und Analystinnen fragen sie mithilfe der Structured Query Language (SQL) ab, Dashboards werden automatisch aktualisiert und Geschäftsteams verlassen sich auf konsistente Kennzahlen.

Auf welcher Architektur läuft ein modernes Enterprise Data Warehouse?

Die meisten modernen EDWs sind cloudbasiert und bauen auf einem zentralen Prinzip auf: der Trennung von Rechenleistung und Speicher. Dies ermöglicht es Teams, die Rechenleistung unabhängig vom Datenvolumen zu skalieren.

Eine weitere große Veränderung ist der Übergang von Extrahieren, Transformieren, Laden (ETL) zu Extrahieren, Laden, Transformieren (ELT). Anstatt Daten vor dem Laden zu transformieren, lädt ELT zunächst Rohdaten in das Data Warehouse und transformiert sie dort mittels SQL. Dies erleichtert die Anpassung von Pipelines an sich ändernde Geschäftsanforderungen.

Gut konzipierte EDWs weisen zudem einige Gemeinsamkeiten auf:

• Isolierte Rechenleistung für Nebenläufigkeit: Verschiedene Workloads, von der Finanzberichterstattung bis zur Datenwissenschaft, laufen gleichzeitig, ohne um Ressourcen zu konkurrieren.

• Mehrschichtige Datenarchitektur: Eine klare Trennung zwischen Rohdaten, Zwischentransformationen und produktionsreifen Modellen sorgt für Nachverfolgbarkeit und einfachere Fehlerbehebung.

• Unterstützung mehrerer Anwendungsfälle: Eine einzige Plattform kann BI, Analysen, maschinelles Lernen und geschäftliche Anwendungsfälle ohne Duplizierung abdecken.

Was macht ein Enterprise Data Warehouse zuverlässig?

Ein EDW ist nur dann wertvoll, wenn die Leute ihm vertrauen. Governance- und Sicherheitskontrollen können Streitigkeiten über Kennzahlen verhindern, Compliance-Risiken verringern und sensible Daten davor schützen, in die falschen Hände zu geraten.

So machen Governance- und Sicherheitskontrollen ein Enterprise Data Warehouse unternehmenstauglich:

• Rollenbasierte Zugriffskontrolle (RBAC): Berechtigungen werden nach Rolle vergeben, was sicherstellt, dass die Nutzer/innen nur die Daten sehen, die sie benötigen.

• Maskierung auf Spaltenebene: Sensible Felder wie Steueridentifikationsnummern, Gehaltsangaben oder sensible Kundendaten werden basierend auf dem Nutzerzugriff ausgeblendet oder in Token umgewandelt.

• Audit-Logging: Jede Abfrage kann nachverfolgt werden, was für die Compliance wichtig ist (z. B. mit Service Organization Control 2 oder PCI DSS, je nach Datentyp). Wenn eine Kennzahl angefochten wird, können Sie anhand von Audit-Logs genau nachvollziehen, auf welcher Version der Daten ein Bericht erstellt wurde.

• Datenherkunft: Teams können jede Kennzahl bis zu ihrer Quelle zurückverfolgen, was die Fehlerbehebung wesentlich effizienter macht.

• Konsistente Kennzahlendefinitionen: Eine gemeinsame semantische Ebene verhindert, dass verschiedene Teams dieselbe Kennzahl auf unterschiedliche Weise berechnen.

Wie prüfen Sie die Bereitschaft eines Enterprise-Data-Warehouse vor der Modernisierung?

Viele EDW-Modernisierungsprojekte scheitern, weil die Teams zu schnell vorgehen, ohne ihren aktuellen Status zu verstehen. Eine strukturierte Prüfung hilft dabei, dies zu vermeiden.

Auf Folgendes sollten Sie sich konzentrieren:

• Inventarisieren Sie Ihre Datenquellen und Inhaber: Identifizieren Sie jedes System, das Daten in Ihr aktuelles Warehouse oder in manuelle Berichte einspeist, wem es gehört und wie zuverlässig es ist.

• Erfassen Sie Ihre aktuellen Hindernisse: Suchen Sie nach manuellen Arbeitslasten, anfälligen Pipelines und wiederkehrenden Ausfällen.

• Bewerten Sie Datenqualität und -herkunft: Prüfen Sie auf doppelte Datensätze, fehlende Fremdschlüssel (Datenbankspalten, die mit Spalten in anderen Tabellen verknüpft sind), Felder mit inkonsistenten Formaten und Transformationen, die nur in einem nicht dokumentierten SQL-Skript existieren oder die jemand im Kopf hat, anstatt sie im System abzubilden.

• Bestätigen Sie Plattformanforderungen: Legen Sie fest, welche Parallelität von Abfragen Sie benötigen, wie hoch Ihr erwartetes Datenvolumen ist und ob Sie Aktualisierungen in Echtzeit oder nahezu in Echtzeit benötigen.

• Priorisieren Sie Ausgangspunkte mit hoher Wirkung: Identifizieren Sie die Reporting-Workflows mit dem höchsten geschäftlichen Nutzen und den saubersten Quelldaten und richten Sie Ihre Entwicklung zunächst darauf aus.

Wie entscheidet die Datenbewegung über den Erfolg eines Enterprise Data Warehouse?

Die Datenbewegung bestimmt oft den Erfolg eines Enterprise Data Warehouse. Die Entwicklung benutzerdefinierter ETL-Konnektoren ist häufig komplexer und fehleranfälliger, als Teams erwarten. Die Datenbewegungsschicht entscheidet darüber, ob Ihr EDW tatsächlich nutzbar ist.

Zu den häufigen Fehlerquellen gehören:

• API-Änderungen, die Integrationen ohne Vorwarnung unterbrechen

• Ablaufende Anmeldeinformationen und Authentifizierungsaktualisierungen

• Unerwartete Ratenbegrenzungen während Spitzennutzungszeiten

• Pipelines, die ausfallen, ohne dass jemand benachrichtigt wird

Diese Probleme können dazu führen, dass Dashboards mit veralteten oder falschen Daten gefüllt werden, was das Vertrauen im gesamten Unternehmen untergräbt.

Wenn es sich um eine hochwertige Datenquelle wie Zahlungen handelt, sind die Auswirkungen noch größer. Inkonsistente Daten können Finanz-, Betriebs- und Produktteams gleichzeitig beeinträchtigen.

Stripe ist oft eine hochwertige, hochvolumige Datenquelle für Organisationen, die es für Zahlungen, Abonnements, Rückerstattungen, Anfechtungen und Auszahlungen nutzen. Die Stripe Data Pipeline wickelt dies direkt als No-Code-Konnektor ab.

Wie genau, zeigen wir Ihnen im Folgenden:

• Unterstützte Ziele: Snowflake, Amazon Redshift, Databricks und mehr.

• Sicherheitslage: Die Stripe Data Pipeline erfordert keinen ETL-Dienst von Drittanbietern, was die Gefährdung von Daten reduziert, die Finanztransaktionen und Kundeninformationen enthalten.

• Wartungsaufwand: Es muss kein benutzerdefinierter Konnektor erstellt oder gewartet werden. Wenn sich die API von Stripe ändert, passt sich die Pipeline auf der Seite von Stripe an, nicht auf Ihrer.