Un enterprise data warehouse (EDW) è un repository centralizzato di dati strutturati e pronti per l'analisi estratti dai sistemi di un'intera organizzazione. Con una previsione di superare i $ 53 miliardi entro il 2035, il mercato in crescita degli EDW è qui per restare. Tuttavia, un EDW è prezioso tanto quanto i dati che lo alimentano. Puoi investire molto in infrastrutture cloud, strumenti di modellazione e dashboard di business intelligence (BI), ma se i dati sottostanti sono obsoleti o incompleti, ogni decisione a valle eredita tali difetti. L'architettura, i controlli di governance e il livello di spostamento dei dati che crei attorno a un EDW ne determinano il valore per l'attività.

Di seguito, spieghiamo cos'è un enterprise data warehouse, cosa rende ben costruito un data warehouse e come considerare lo spostamento dei dati una preoccupazione principale.

In evidenza

• Un EDW moderno serve i carichi di lavoro di business intelligence, report finanziari e machine learning da un unico repository governato di dati strutturati e pronti per l'analisi.

• I controlli di governance, tra cui l'accesso basato sui ruoli, il mascheramento a livello di colonna, i log di controllo e il lignaggio dei dati, determinano se i team si fidano del warehouse e lo utilizzano.

• Il livello di spostamento dei dati è quello in cui molti progetti EDW falliscono e i connettori di origine nativi mantengono le pipeline in esecuzione senza alcun onere di manutenzione costante.

Che cos'è un enterprise data warehouse?

Un enterprise data warehouse (EDW) è un repository di dati centralizzato che alimenta la business intelligence, i report finanziari e, sempre più spesso, gli archivi di funzionalità e i set di dati di addestramento alla base dei modelli di machine learning.

In origine, gli EDW erano stati creati per i report. Ora sono diventati la base governata da cui dipendono i sistemi di intelligenza artificiale (IA), il che alza l'asticella della qualità, della coerenza e dell'aggiornamento dei dati.

Come funziona un enterprise data warehouse?

Ad alto livello, un EDW acquisisce i dati da tutta l'attività, li standardizza e li rende utilizzabili. Questo processo si divide in genere in tre fasi.

Ecco come funziona un enterprise data warehouse.

Inserimento

I dati fluiscono dai sistemi di origine, come piattaforme di pagamento, sistemi di gestione delle relazioni con i clienti (CRM), sistemi di pianificazione delle risorse aziendali (ERP) e database di prodotti, in un unico livello. A questo punto, sono ancora grezzi: gli schemi variano, i timestamp potrebbero entrare in conflitto e i valori mancanti sono incoerenti.

Modello

È qui che i dati grezzi diventano utili. I team puliscono, uniscono e rimodellano i dati grezzi in set di dati affidabili utilizzando strumenti di trasformazione (comunemente dbt).

Due approcci di modellazione comuni sono:

• Schema a stella: una tabella dei fatti centrale (come gli ordini) collegata alle tabelle delle dimensioni (clienti, prodotti, date). È semplice, veloce da interrogare ed è ampiamente utilizzato per i report.

• Schema Snowflake: una versione più normalizzata dello schema a stella, in cui le dimensioni sono suddivise in tabelle correlate più piccole. Riduce la ridondanza, ma può rendere le query più complesse.

Distribuzione

I dati puliti e modellati vengono quindi resi disponibili agli utenti a valle. Gli analisti li interrogano utilizzando un linguaggio di query strutturato (SQL), le dashboard si aggiornano automaticamente e i team aziendali si affidano a metriche coerenti.

Su quale architettura viene eseguito un moderno enterprise data warehouse?

La maggior parte dei moderni EDW sono basati su cloud e creati su un principio centrale: separare l'elaborazione dall'archiviazione. Ciò consente ai team di scalare la potenza di elaborazione indipendentemente dal volume dei dati.

Un altro cambiamento importante è il passaggio da estrazione, trasformazione, caricamento (ETL) a estrazione, caricamento, trasformazione (ELT). Invece di trasformare i dati prima di caricarli, ELT prima carica i dati grezzi nel warehouse e li trasforma lì utilizzando SQL. Questo rende le pipeline più facili da adattare in base all'evoluzione delle esigenze dell'attività.

Gli EDW ben progettati condividono anche alcune qualità:

• Elaborazione isolata per la concorrenza: carichi di lavoro diversi, dai report finanziari alla data science, vengono eseguiti contemporaneamente senza competere per le risorse.

• Architettura dei dati a livelli: la chiara separazione tra dati grezzi, trasformazioni intermedie e modelli pronti per la produzione garantisce tracciabilità e semplifica il debug.

• Supporto per molteplici casi d'uso: una singola piattaforma può servire casi d'uso aziendali, di BI, di analisi e di machine learning senza duplicazioni.

Cosa rende affidabile un enterprise data warehouse?

Un EDW è prezioso solo se le persone si fidano. La governance e i controlli di sicurezza possono prevenire controversie sulle metriche, ridurre il rischio di compliance e impedire che i dati sensibili finiscano nelle mani sbagliate.

Ecco in che modo la governance e i controlli di sicurezza rendono un enterprise data warehouse pronto per l'azienda:

• Controllo degli accessi basato sui ruoli (RBAC): le autorizzazioni vengono assegnate in base al ruolo, per garantire che gli utenti vedano solo i dati di cui hanno bisogno.

• Mascheramento a livello di colonna: i campi sensibili, come numeri di identificazione fiscale, cifre salariali o dati sensibili dei clienti, vengono nascosti o tokenizzati in base all'accesso dell'utente.

• Log di controllo: ogni query può essere tracciata, il che è importante per la compliance (ad esempio con Service Organization Control 2 o PCI DSS, a seconda dei tipi di dati). Quando viene contestata una metrica, i log di controllo consentono di risalire esattamente alla versione dei dati su cui si basa un report.

• Lignaggio dei dati: i termini consentono di far risalire qualsiasi metrica alla sua origine, rendendo il debug molto più efficiente.

• Definizioni coerenti delle metriche: un livello semantico condiviso impedisce a diversi team di calcolare la stessa metrica in modi diversi.

Come valutare la preparazione di un enterprise data warehouse prima di modernizzarlo

Molti progetti di modernizzazione degli EDW falliscono perché i team procedono troppo velocemente senza comprendere lo stato attuale. Un audit strutturato aiuta a evitare questo problema.

Ecco su quali aspetti concentrarsi:

• Fai un inventario delle origini dati e dei proprietari: identifica ogni sistema che fornisce dati al tuo attuale warehouse o sistema di reportistica manuale, chi ne è il proprietario e qual è il suo livello di affidabilità.

• Mappa gli ostacoli attuali: cerca i carichi di lavoro manuali, le pipeline fragili e i guasti ricorrenti.

• Valuta la qualità e la derivazione dei dati: verifica la presenza di record duplicati, chiavi esterne mancanti (colonne del database collegate a colonne di altre tabelle), campi con formati incoerenti e trasformazioni che esistono solo in uno script SQL non documentato o di cui qualcuno tiene traccia mentalmente anziché nel sistema.

• Conferma i requisiti della piattaforma: stabilisci quale livello di concorrenza delle query ti serve, il volume di dati previsto e se hai bisogno di aggiornamenti in tempo reale o quasi in tempo reale.

• Dai la priorità ai punti di partenza ad alto impatto: identifica i flussi di lavoro di reportistica con il valore più alto per l'attività e i dati di origine più puliti, e procedi prima con lo sviluppo di questi.

In che modo lo spostamento dei dati determina il successo di un enterprise data warehouse?

Lo spostamento dei dati spesso determina il successo di un enterprise data warehouse. La creazione di connettori ETL personalizzati è spesso più complessa e fragile di quanto i team si aspettino. Il livello di spostamento dei dati determina se l'EDW è effettivamente utilizzabile.

I punti di errore più comuni includono:

• Modifiche all'API che interrompono le integrazioni senza preavviso

• Credenziali in scadenza e aggiornamenti dell'autenticazione

• Limiti di frequenza imprevisti durante i picchi di utilizzo

• Pipeline che si interrompono senza avvisare nessuno

Questi problemi possono lasciare le dashboard popolate con dati obsoleti o errati, minando la fiducia in tutta l'attività.

Se si tratta di una fonte di dati di alto valore, come i pagamenti, l'impatto è ancora maggiore. Dati incoerenti possono influire contemporaneamente sui team finanziari, operativi e di prodotto.

Spesso Stripe è una fonte di dati ad alto volume e di alto valore per le organizzazioni che la usano per pagamenti, abbonamenti, rimborsi, contestazioni e bonifici. Stripe Data Pipeline gestisce tutto questo direttamente come un connettore no-code.

Ecco in che modo avviene:

• Destinazioni supportate: Snowflake, Amazon Redshift, Databricks e altro ancora.

• Posizione di sicurezza: Stripe Data Pipeline non richiede un servizio ETL di terze parti, riducendo l'esposizione a dati che includono transazioni finanziarie e informazioni sui clienti.

• Onere di manutenzione: non c'è alcun connettore personalizzato da creare o gestire. Quando l'API di Stripe cambia, la pipeline si adatta lato Stripe, non lato tuo.