Le attività probabilmente si troveranno ad affrontare un problema legato ai dati nel momento in cui decidono di espandersi. Le transazioni, i record dei clienti e gli eventi che generano ricavi si accumulano più velocemente di quanto qualsiasi team possa elaborare manualmente. L'elaborazione automatica dei dati raccoglie, convalida, trasforma e istrada i dati senza richiedere alcun intervento manuale per estrarre le esportazioni, riformattare i fogli di calcolo o monitorare le pipeline. C'è una domanda significativa per il processo decisionale basato sui dati e l'automazione, con questo settore che dovrebbe crescere a un tasso di crescita annuale composto superiore al 30% tra il 2023 e il 2027.

Di seguito spieghiamo cos'è l'elaborazione automatica dei dati, i principali modelli di elaborazione e come capire se le pipeline sono affidabili.

In evidenza

• L'elaborazione automatica dei dati raccoglie, convalida, trasforma e archivia i dati con un intervento umano minimo, sostituendo i flussi di lavoro manuali che non consentono di espandersi.

• L'elaborazione in batch, l'elaborazione di flussi e l'elaborazione distribuita soddisfano ciascuna esigenze diverse di latenza e volume. In genere i team utilizzano più di un approccio nei vari stack.

• Un fornitore di servizi di pagamento che sincronizza i dati direttamente con un data warehouse o con uno spazio di archiviazione sul cloud offre una completezza, un aggiornamento e un'affidabilità dei dati che i connettori di terze parti spesso non sono in grado di eguagliare.

Cos'è l'elaborazione automatica dei dati?

Per elaborazione automatica dei dati si intende l'utilizzo di sistemi per gestire attività relative ai dati, come raccolta, convalida, trasformazione e archiviazione, con il minimo intervento umano. L'input può essere un flusso di eventi di pagamento, un batch di transazioni categorizzate o un feed continuo di log delle applicazioni. L'output può fluire in una tabella pulita all'interno di un data warehouse, in un report popolato automaticamente o in record arricchiti pronti per l'analisi a valle.

Quali problemi risolve l'elaborazione automatica dei dati?

L'elaborazione automatica dei dati affronta una serie specifica di modalità di errore per la gestione dei numeri su larga scala. Ecco i principali problemi risolti dall'elaborazione automatica dei dati:

• Sforzo manuale: gli esseri umani sono in grado di prendere decisioni ponderate, ma non di eseguire lo stesso processo di trasformazione su 50.000 righe ogni mattina senza commettere errori.

• Incoerenza dei dati: quando gli stessi dati vengono elaborati da persone diverse utilizzando metodi diversi, si ottengono risultati diversi. L'automazione impone una procedura unica e coerente.

• Cicli di report lenti: se i dati impiegano 48 ore per spostarsi dall'origine alla Dashboard, il tuo team prenderà sempre decisioni basate su informazioni non aggiornate. Le pipeline automatizzate riducono questo ritardo a ore o minuti.

• Pipeline fragili: gli script creati manualmente possono interrompersi quando un'origine dati modifica il proprio schema. L'automazione ad hoc è più duratura.

• Esposizione in termini di sicurezza: ogni fase manuale in un processo relativo ai dati rappresenta un momento in cui le informazioni sensibili possono trapelare. L'automazione riduce il rischio derivante dalla presenza di troppi gestori di dati.

Come funziona l'elaborazione automatica dei dati?

Le pipeline di dati automatiche in genere passano attraverso le stesse fasi.

Raccolta

Questa è la fase in cui i dati entrano nella pipeline, sia che ciò implichi il polling programmato di un'interfaccia di programmazione delle applicazioni (API), il consumo di un flusso di eventi man mano che vengono generati, la lettura da un database o l'acquisizione di file rilasciati nello spazio di archiviazione sul cloud. Il meccanismo di riscossione determinerà la latenza.

Convalida e pulizia

In questa fase, la pipeline verifica che i dati in entrata corrispondano alle aspettative, assicurandosi che i campi obbligatori siano presenti, che i valori siano nel formato corretto e che i duplicati vengano rimossi. In questo modo i dati errati vengono intercettati prima che corrompano gli output a valle.

Trasformazione e arricchimento

È qui che i dati grezzi vengono convertiti in un formato utile per attività come l'analisi dell'abbandono e i report mensili. Ciò potrebbe significare unire record provenienti da più fonti, calcolare campi derivati, convertire valute o ristrutturare i dati in base allo schema di un data warehouse. Di solito è qui che risiede la maggior parte della complessità dell'elaborazione.

Caricamento

In questa fase, i dati elaborati passano alla loro destinazione: un bucket di archiviazione sul cloud, uno strumento per la creazione di report o un data warehouse come BigQuery, Snowflake o Redshift. A seconda dell'architettura della pipeline, l'operazione può avvenire in batch di grandi dimensioni o come un flusso di scritture più piccole.

Quali sono le tipologie principali di elaborazione automatica dei dati?

Il giusto modello di elaborazione dipende dalla velocità con cui hai bisogno dei dati e dalla quantità che ne sposti. In genere, alla fine i team ne utilizzano più di uno.

Questi sono i tipi principali di elaborazione automatica dei dati.

Elaborazione in batch

L'elaborazione in batch gestisce i dati in blocchi programmati, che possono essere orari, notturni o settimanali. È il modello più vecchio e ancora il più comune per i carichi di lavoro in cui non sono richieste informazioni in tempo reale, come i report finanziari di fine mese, l'analisi di coorte settimanale e i processi notturni di estrazione, trasformazione e caricamento (ETL). È più economica da eseguire e più facile da analizzare rispetto allo streaming.

Elaborazione dello streaming

L'elaborazione dello streaming gestisce i dati man mano che vengono generati e questo significa che la latenza si riduce a secondi o millisecondi. Ciò è necessario per il rilevamento delle frodi prima del completamento di una transazione, oppure per le dashboard in tempo reale. Tuttavia, le pipeline in streaming sono più difficili da creare, testare e gestire rispetto a quelle in batch.

Elaborazione distribuita

L'elaborazione distribuita è una scelta architetturale che si applica sia alle pipeline in batch che in streaming su larga scala. Quando i volumi di dati superano ciò che una singola macchina può gestire, i framework distribuiti suddividono il lavoro su più nodi in parallelo. La maggior parte dei team non ne ha bisogno finché non lavora con set di dati molto grandi.

Come fai a sapere se la tua elaborazione automatica dei dati funziona?

Un'automazione che produce un output errato è peggiore di una procedura manuale. Ecco come assicurarti che l'elaborazione automatica dei dati funzioni:

• Aggiornamento: i dati arrivano in base alla pianificazione? Una pipeline che avrebbe dovuto essere eseguita alle 6:00 del mattino ma non lo è stata dovrebbe avvisare qualcuno prima che il divario incida su una decisione aziendale.

• Completezza: sono arrivati tutti i record previsti? Un carico di transazioni giornaliero che produce 500 righe quando di solito ne produce 50.000 è un segnale che si è verificata un'interruzione a monte.

• Precisione: i valori nell'output corrispondono alle aspettative? Implementa controlli statistici che segnalano quando le medie o i totali si discostano in modo evidente dalle norme storiche.

• Tracciabilità: puoi rintracciare da dove proviene un elemento di dati specifico e quali trasformazioni ha subito? Quando un numero nella Dashboard sembra errato, la tracciabilità è ciò che ti consente di diagnosticare la causa principale.

In che modo Stripe Data Pipeline supporta l'elaborazione automatica dei dati?

Stripe Data Pipeline è il connettore nativo di Stripe per lo spostamento dei dati Stripe direttamente nel data warehouse o nello spazio di archiviazione sul cloud. Tali dati includono transazioni, bonifici, contestazioni, clienti, rimborsi e set di dati aggiuntivi. Non richiede codice: puoi collegare la destinazione e configurare i dati da sincronizzare, mentre al resto penserà la pipeline.

Ecco i motivi principali per utilizzare la pipeline nativa di Stripe per i dati Stripe anziché instradarli tramite un intermediario:

• Completezza dei dati: Stripe Data Pipeline include i dati storici risalenti alla creazione dell'account, invece che dal momento in cui viene attivato il connettore. Include anche report finanziari predefiniti e set di dati curati che i connettori di terze parti non mostrano.

• Affidabilità: poiché la pipeline è creata e gestita da Stripe, le modifiche allo schema apportate al modello di dati sottostante non interromperanno la connessione. I connettori di terze parti devono decodificare l'API di Stripe e stare al passo con i cambiamenti.

• Ridotta esposizione in termini di sicurezza: con uno strumento ETL di terze parti, i tuoi dati Stripe passano attraverso l'infrastruttura di un altro fornitore. Si tratta di un'altra serie di credenziali da gestire, di un'altra serie di termini da valutare e di un altro potenziale punto di errore.