I team responsabili dei dati trascorrono molto tempo a spostare e pulire i dati, controllando se la pipeline della notte precedente è stata eseguita e correggendo le dashboard. L'automazione nell'analisi dei dati sostituisce questi passaggi ripetibili e basati su regole del ciclo di vita dell'analisi con sistemi che li gestiscono in modo coerente e su larga scala. Riguarda qualsiasi ambito, dallo spostamento e dalla pulizia dei dati, alla trasformazione, agli aggiornamenti dei report e al monitoraggio. L'automazione dell'analisi dei dati può ridurre i tempi di reportistica dell'80% e far risparmiare tempo e denaro alle attività.

Di seguito, spiegheremo cosa significa l'automazione dell'analisi, quali parti del flusso di lavoro automatizzare per prime e quali accorgimenti adottare prima di espandersi.

In evidenza

• L'automazione offre il suo valore quando viene applicata in primo luogo all'importazione e allo spostamento dei dati, poiché nessuna procedura a valle funziona in modo affidabile finché i dati di origine non arrivano in modo coerente.

• Tra le cause più comuni di errore dell'automazione dell'analisi in produzione ci sono i guasti silenziosi, le modifiche allo schema e la deviazione della governance.

• I fornitori di servizi di pagamento con strumenti di pipeline di dati appositamente studiati che automatizzano il livello di importazione dei dati delle transazioni, offrono ai team una solida base per l'analisi a valle.

Cosa significa l'automazione nell'analisi dei dati?

L'automazione nell'analisi dei dati sostituisce i passaggi ripetibili e basati su regole del ciclo di vita dell'analisi con sistemi che li eseguono in modo coerente. Invece che tramite analisti che esportano manualmente file, puliscono dati, aggiornano dashboard o controllano le pipeline, le procedure vengono eseguite automaticamente in base a tempistiche e configurazioni definite.

In pratica, l'automazione copre solitamente l'importazione, la pulizia e la trasformazione dei dati, oltre all'aggiornamento e al monitoraggio dei report.

Cosa si dovrebbe automatizzare per primo in un flusso di lavoro di analisi?

Inizia automatizzando il lavoro frequente e soggetto a errori. Per i team di analisi, questo lavoro tende a rientrare nelle seguenti cinque aree:

Inserimento e spostamento dei dati

Esportare manualmente i valori separati da virgola (CSV) dai sistemi di origine e caricarli in un warehouse è lento, fragile e difficile da scalare. L'inserimento automatizzato sposta i dati in base a una pianificazione prevedibile in modo che i nuovi record arrivino senza che qualcuno debba gestire il processo.

Pulizia e convalida dei dati

I dati non elaborati sono raramente pronti per l'analisi. I controlli di convalida automatizzati rilevano i problemi in anticipo; ad esempio, confermando che i valori dei ricavi siano positivi, che gli ID cliente corrispondano nelle varie tabelle e che i campi obbligatori non siano nulli. Rilevare problemi come questi durante l'inserimento impedisce agli analisti di creare modelli su dati errati.

Trasformazioni e modellazione

La logica di query strutturata (SQL) che trasforma i dati non elaborati in modelli pronti per l'analisi può essere provvista di controllo delle versioni e pianificata. Assicura che gli analisti lavorino sulle stesse definizioni invece che su fogli di calcolo ad hoc in cui i risultati dipendono da chi ha eseguito il calcolo.

Aggiornamenti pianificati di report e Dashboard

Le Dashboard collegate direttamente alle tabelle del warehouse possono aggiornarsi automaticamente invece di basarsi su report esportati manualmente. La pianificazione degli aggiornamenti deve corrispondere alla cadenza dei dati sottostanti. È oraria per le metriche aziendali e solitamente notturna per i report aziendali.

Rilevamento di anomalie e monitoraggio

I sistemi di monitoraggio automatizzati osservano modifiche insolite nelle metriche o errori nella pipeline e avvisano il team quando qualcosa richiede attenzione. Una volta che le pipeline vengono eseguite in modo affidabile, questo livello di monitoraggio è il punto in cui l'automazione inizia a generare profitti.

Come funziona l'automazione nell'analisi dei dati?

Una funzionalità di pianificazione avvia un'attività, questa viene eseguita a fronte di una configurazione definita e l'output viene scritto da qualche parte affinché il passaggio successivo venga ripreso. Per funzionare correttamente, le pipeline di analisi di produzione in genere contengono tre livelli:

• Importazione: i connettori si autenticano nei sistemi di origine, eseguono il pull di record nuovi o aggiornati e li caricano in un data warehouse basato su cloud come BigQuery, Snowflake o Redshift. I dati vengono in genere recuperati in modo incrementale utilizzando i timestamp o i cursori, in modo che si spostino solo i nuovi dati ad ogni esecuzione.

• Trasformazione: gli strumenti di trasformazione compilano i modelli SQL che rimodellano le tabelle non elaborate in set di dati pronti per l'analisi. Le dipendenze tra i modelli vengono gestite in automatico in modo che, se un modello dipende da un altro, il modello a monte viene eseguito per primo. I test convalidano l'output e segnalano eventuali problemi prima che i dati raggiungano le dashboard o i sistemi a valle.

• Orchestrazione: l'orchestrazione coordina la pipeline. Invece di eseguire l'importazione e le trasformazioni in modo indipendente, garantisce che ogni passaggio avvii il passaggio successivo nell'ordine corretto, per poi avvisare il team in caso di errore.

Quali sono i vantaggi di automatizzare la pipeline di analisi?

L'automazione fa risparmiare tempo e cambia il modo in cui operano i team responsabili dei dati. Di seguito sono riportati alcuni dei vantaggi principali:

Riallocazione del tempo

Quando le attività ripetitive vengono eseguite automaticamente, gli analisti impiegano meno tempo a preparare i dati e più tempo a interpretarli. La preparazione dei dati occupa costantemente la maggior parte delle ore lavorative di un team responsabile dei dati: a volte il 60-80% del suo tempo viene impiegato per la preparazione e la pulizia dei dati.

Coerenza

I modelli automatizzati eseguono ogni volta la stessa logica. Le definizioni delle metriche sono documentate nel codice e questo semplifica la spiegazione del motivo per cui le cifre cambiano, oltre a prevenire le discrepanze causate dai calcoli manuali.

Aggiornamento dei dati

Le esportazioni manuali avvengono solitamente una volta al giorno. Le pipeline automatizzate possono aggiornare i dati quasi in tempo reale e far emergere rapidamente i problemi quando si presentano.

Scalabilità

Con l'aumentare del volume dei dati, le procedure manuali si interrompono. Le pipeline automatizzate sono in grado di gestire set di dati più grandi e aggiornamenti più frequenti senza la necessità di un carico di lavoro proporzionale da parte degli analisti.

Fiducia organizzativa

Dashboard affidabili e costantemente aggiornate riducono la necessità per gli stakeholder di gestire i propri fogli di calcolo. Nel tempo, i team convergono su un'unica origine attendibile, condivisa e gestita, che rappresenta spesso il maggiore impatto a lungo termine dell'automazione.

Cosa si dovrebbe prendere in considerazione prima di automatizzare l'analisi dei dati?

L'automazione moltiplica l'affidabilità e gli errori. Una pipeline imperfetta può distribuire dati errati con la stessa efficienza dei dati corretti. In generale, le modalità di errore rientrano in alcuni modelli coerenti:

• Errori invisibili: se un processo automatizzato non riesce senza avvisare nessuno, le Dashboard possono visualizzare dati obsoleti per giorni. Ogni passaggio della pipeline necessita di una gestione chiara degli errori, inclusi tentativi ripetuti, avvisi e un titolare definito responsabile della risposta.

• Modifiche allo schema: i sistemi di origine cambiano. Quando le colonne cambiano o i tipi di dati cambiano, le pipeline che si basano su schemi fissi possono interrompersi. Il monitoraggio delle modifiche allo schema e la creazione di contratti per i dati chiari tra produttori e consumatori aiutano a ridurre i rischi.

• Scostamento della governance: man mano che l'automazione all'interno di un'azienda cresce, diventa più difficile monitorare dove vengono definite le metriche e quale versione è autorevole. I cataloghi di dati e la documentazione sulla derivazione diventano importanti quando i team mantengono decine di modelli automatizzati.

• Modifiche dei ruoli all'interno del team dati: l'automazione cambia il modo in cui lavorano i team dati. Gli ingegneri dei dati dedicano più tempo alla creazione e alla manutenzione delle pipeline, mentre gli analisti si concentrano maggiormente sulla modellazione e sull'interpretazione. Entrambe le funzioni si basano su pratiche di ingegneria del software come il controllo delle versioni e la revisione del codice.

Quali sono le best practice per l'implementazione dell'automazione dell'analisi?

Ci sono dei principi di base che rendono più efficaci i progetti di automazione. Adottare sin dall'inizio degli accorgimenti fa risparmiare lavoro in seguito.

Ecco alcune best practice per implementare l'automazione dell'analisi:

• Automatizzare in modo incrementale: inizia da un livello (di solito l'importazione) e rendilo affidabile prima di automatizzare il successivo. Cercare di automatizzare fin da subito l'intera gamma di tecnologie di analisi produce quasi sempre sistemi fragili.

• Standardizzare per prime le definizioni delle metriche: prima di pianificare un modello, verifica che la logica dell'attività alla base sia documentata e accettata dalle persone che utilizzeranno l'output. L'automazione di un calcolo su cui nessuno è d'accordo genera solo confusione.

• Creare l'osservabilità all'interno delle pipeline: le pipeline di produzione necessitano di registri, avvisi e controlli di qualità dei dati. In mancanza di questi, i malfunzionamenti passano spesso inosservati finché qualcuno non rileva dei numeri errati in una dashboard.

• Controllare tutte le versioni: la configurazione della pipeline, la logica di trasformazione e le definizioni degli schemi devono essere sottoposte al controllo delle versioni. In caso di interruzione, il team deve sapere esattamente cosa è cambiato e poter annullare l'operazione.

• Documentare la derivazione e la titolarità: ogni set di dati o report automatizzato deve mostrare chiaramente la provenienza dei dati, il modo in cui sono stati trasformati e il responsabile che li gestisce. Questa documentazione è indispensabile quando i sistemi crescono o i team cambiano.

In che modo Stripe Data Pipeline può esserti utile

Una delle attività di importazione più noiose è lo spostamento dei dati dei pagamenti nel magazzino, per potersi integrare con il resto dei dati dell'attività. Stripe Data Pipeline risolve proprio questo problema.

• Cosa sincronizza: le transazioni, le contestazioni, i clienti, i bonifici e gli altri oggetti Stripe vengono inviati direttamente nel tuo magazzino all'interno di uno schema strutturato pensato per l'analisi e la reportistica.

• Cosa sostituisce: invece di scrivere la logica di paginazione dell'API, gestire carichi incrementali e i limiti di frequenza, il livello di importazione dei dati Stripe è gestito automaticamente.

• In che punto si inserisce nella gamma di tecnologie: Data Pipeline copre l'importazione specifica per i dati Stripe e si integra con la stessa infrastruttura di magazzino in cui viene già eseguito il resto della tua pipeline automatizzata.

Stripe Data Pipeline sposta e struttura i dati, ma non sostituisce il resto della tua gamma di tecnologie per l'analisi. Puoi continuare a creare trasformazioni, modelli e dashboard in aggiunta ai dati del magazzino.

Scopri di più su come Stripe Data Pipeline può aiutarti a centralizzare i tuoi dati per ottenere informazioni più dettagliate sulla tua attività, o inizia oggi stesso.