Una data pipeline è un sistema automatizzato che sposta i dati dai sistemi di origine a una destinazione per l'analisi. Risolve un problema comune per le attività basate sui dati: come elaborare e analizzare le informazioni utili sparse in molti sistemi diversi. La pipeline può spostare i dati in modo affidabile e ripetuto.

Di seguito spiegheremo cos'è una data pipeline, come funziona, in che modo differiscono gli approcci batch e in streaming e in che modo i dati di pagamento si inseriscono nella configurazione di una pipeline.

In evidenza

• Una data pipeline sostituisce le esportazioni manuali e le procedure ad hoc che si interrompono sotto pressione.

• La scelta tra le pipeline batch e in streaming dipende da quanto devono essere recenti i dati. I carichi di lavoro finanziari e analitici in genere funzionano agevolmente con un'elaborazione batch.

• I dati di pagamento richiedono un'attenzione particolare nella configurazione di una pipeline. Una sincronizzazione nativa dal tuo fornitore di servizi di pagamento migliora sicurezza e affidabilità.

Cos'è una data pipeline?

Una data pipeline è una sequenza automatizzata di passaggi che estrae i dati da una o più fonti, li trasforma facoltativamente e li carica in una destinazione in cui possono essere analizzati o usati per eseguire operazioni. La destinazione è in genere un data warehouse, un data lake o uno storage nel cloud.

Perché le data pipeline sono importanti per il reporting e il processo decisionale?

Il valore di una data pipeline sta in ciò che diventa possibile quando i tuoi dati si trovano in un luogo in cui puoi utilizzarli. Le data pipeline offrono i seguenti vantaggi:

• Silos di dati ridotti: quando i dati sono suddivisi su più sistemi, ad esempio i dati sui ricavi risiedono presso il fornitore di servizi di pagamento, i dati sui clienti risiedono nel sistema di gestione delle relazioni con i clienti (CRM) e i dati sull'assistenza risiedono nell'help desk, non è facile rispondere a domande che superano tali confini. Una pipeline che centralizza tali fonti rende possibile l'analisi interfunzionale.

• Definizioni coerenti: le pipeline applicano una struttura. Se ogni team attinge alle stesse tabelle del data warehouse, che vengono calcolate allo stesso modo, metriche come i ricavi mensili ricorrenti (RMR) vengono definite in modo coerente nei vari report e non si discute su chi abbia i numeri corretti.

• Procedure ripetibili e verificabili: le pipeline producono risultati comparabili giorno dopo giorno. Questa ripetibilità rende possibile monitorare le metriche nel tempo e indagare sulle anomalie quando si presentano.

• Cicli di reporting più rapidi: i team finanziari che in precedenza trascorrevano giorni a estrarre e riconciliare i dati possono abbreviare notevolmente il ciclo quando i dati sono già nel data warehouse, ripuliti e strutturati.

Quali sono i componenti principali di una data pipeline?

Molte pipeline, indipendentemente dalla complessità, sono costituite dagli stessi blocchi costitutivi. Questi sono i componenti importanti:

• Fonti: da dove hanno origine i dati, inclusi database, interfacce di programmazione delle applicazioni (API) software-as-a-service (SaaS), flussi di eventi e file flat. Maggiore è il numero di fonti da cui attinge una pipeline, più importante diventa monitorare lo schema e l'affidabilità di ciascuna e la frequenza con cui la fonte cambia.

• Inserimento: il meccanismo per estrarre dati dalle fonti e inserirli nella pipeline. Potrebbe trattarsi di query di database pianificate, un abbonamento a un flusso webhook o un connettore di terze parti. L'inserimento è spesso il punto in cui le pipeline si interrompono (ad es. le API cambiano, le credenziali scadono, le fonti si guastano), quindi i livelli di inserimento validi sono creati per rilevare i guasti e ripristinarli.

• Trasformazioni: il passaggio che rimodella i dati grezzi in una forma utile dal punto di vista analitico. Ad esempio, le trasformazioni puliscono i record e rimuovono i duplicati, uniscono dati da più fonti, calcolano campi derivati o applicano uno schema coerente a sistemi che non ne condividono uno nativamente.

• Orchestrazione: il livello che gestisce dipendenze e pianificazione. Se la Tabella B dipende dal caricamento completo della Tabella A, il livello di orchestrazione deve esserne al corrente e applicare l'ordine. Strumenti come Apache Airflow, Prefect e data build tool (dbt) sono in grado di gestire questo tipo di gestione delle dipendenze.

• Destinazioni: dove finiscono i dati elaborati. Si tratta comunemente di un data warehouse su cloud come Snowflake o Redshift, o di uno storage su cloud come S3 o Google Cloud Storage (GCS). La scelta della destinazione determina il tipo di analisi possibile a valle.

In che modo differiscono le pipeline batch e in streaming?

Per il trasferimento dei dati, sia lo streaming sia il batching hanno usi legittimi. La scelta giusta dipende da quanto vecchi possono essere i tuoi dati prima che causino un problema reale.

Pipeline batch

Queste spostano i dati in base a una pianificazione (ad es. ogni ora, ogni notte, ogni settimana). Sono particolarmente adatte a carichi di lavoro in cui la latenza non è importante, come il reporting finanziario mensile, l'analisi di coorte settimanale dei clienti e le sincronizzazioni notturne in un data warehouse. L'elaborazione batch è generalmente più semplice da creare e gestire. E per molti casi d'uso di analisi, è esattamente ciò che serve.

Pipeline in streaming

Queste elaborano i dati continuamente, non appena si verificano gli eventi, con latenza misurata in secondi o millisecondi anziché in ore. Sono concepite per i casi d'uso in cui l'azione su dati vecchi ha costi reali, come il rilevamento delle frodi, il monitoraggio dell'inventario in tempo reale e le dashboard in tempo reale.

Prima di scegliere questo percorso per il trasferimento dei dati, valuta la capacità del tuo team. L'infrastruttura di streaming è più costosa e più difficile da sottoporre a debug. Se il tuo team dati è piccolo, il sovraccarico di una pipeline in streaming potrebbe superare i vantaggi a livello di latenza.

In che modo data pipeline, ETL ed ELT sono correlati tra loro?

Sebbene una data pipeline sia un sistema automatizzato che sposta dati da una fonte a una destinazione, i processi estrazione, trasformazione e caricamento (ETL) ed estrazione, caricamento e trasformazione (ELT) sono due modelli che strutturano tale movimento. Ecco come funzionano.

ETL

ETL significa che i dati vengono trasformati prima di essere caricati nella destinazione. La trasformazione avviene in un livello intermedio in modo che solo l'output pulito e sagomato raggiunga il data warehouse. Questo era il modello dominante quando lo storage era costoso e i data warehouse non erano particolarmente adatti alla gestione di dati grezzi su larga scala.

ELT

Con l'ELT, gli ultimi passaggi vengono invertiti. I dati grezzi vengono estratti e caricati nel data warehouse, e la trasformazione avviene lì mediante Structured Query Language (SQL) o uno strumento come dbt. I moderni data warehouse nel cloud sono sufficientemente economici per archiviare dati grezzi e sufficientemente potenti per trasformarli in fase di interrogazione o come job programmato. ELT è diventato il modello più comune per i carichi di lavoro di analisi, in parte perché preserva i dati grezzi per la rielaborazione e rende le trasformazioni più facili da verificare, sottoporre a versioning e modificare.

Non tutte le pipeline rientrano nettamente nell'una o nell'altra categoria. Alcune spostano i dati quasi senza alcuna trasformazione; sincronizzano i log degli eventi grezzi da un'API a uno storage nel cloud per una successiva elaborazione. La terminologia è utile come abbreviazione dell'intento dell'architettura piuttosto che come una tassonomia precisa.

In che modo un fornitore di servizi di pagamento si inserisce in una configurazione di data pipeline?

I dati di pagamento tendono a essere tra i più preziosi e complicati nel data warehouse di un'azienda. I team seguono generalmente la stessa progressione quando cercano di gestirli.

Esportazioni di valori separati da virgola (CSV)

Molti team iniziano con le esportazioni CSV. Scaricano i report, li puliscono e li caricano nel data warehouse. Ma le esportazioni si interrompono, gli schemi cambiano o qualcuno dimentica di eseguire la procedura. E di conseguenza i dati storici spesso mancano o sono incoerenti.

Connettori ETL di terze parti

Successivamente, si rivolgono a strumenti che estraggono i dati da un'API di pagamento e li caricano in un data warehouse in modo programmato. Sono ragionevolmente affidabili, ma introducono un fornitore in un flusso di dati sensibili. Se un team ha dati finanziari che passano attraverso un sistema di terze parti aggiuntivo, ciò espanderà la sua superficie di attacco, creerà considerazioni sulla compliance e produrrà dati che potrebbero essere leggermente diversi da quelli in possesso del suo fornitore di servizi di pagamento.

Sincronizzazione nativa tramite Stripe Data Pipeline

Stripe Data Pipeline abilita una sincronizzazione diretta con Stripe che sposta i dati in un data warehouse o in una destinazione di archiviazione nel cloud senza un connettore di terze parti. La configurazione richiede solo pochi clic, non c'è codice da scrivere e la pipeline include dati storici dall'account Stripe di un utente. Include anche report sintetizzati selezionati e set di dati curati, come riepiloghi finanziari strutturati e tabelle pronte per l'analisi per analizzare RMR, frode e altro ancora. Questi vengono generati dai sistemi stessi di Stripe e non possono essere replicati da un connettore generico.