L'acquisizione dei dati è il primo passaggio in ogni pipeline di dati. Si riferisce al processo di raccolta dei dati dai sistemi di origine e al loro spostamento in un warehouse, in un lake o in una piattaforma di analisi in cui possono essere interrogati.

Quando l'acquisizione dei dati non va a buon fine, si ottengono dashboard non aggiornate, riconciliazioni non funzionanti e modelli di machine learning addestrati su dati incompleti. Ancora peggio, i dati non corretti possono influire sui profitti. Oltre il 25% delle organizzazioni ha segnalato una perdita annua di 5 milioni di USD o più a causa della scarsa qualità dei dati.

Di seguito esamineremo più da vicino cos'è l'acquisizione dei dati, i principali modelli di acquisizione dei dati, i casi d'uso che guidano la maggior parte degli investimenti in pipeline e le sfide che i team devono affrontare.

In evidenza

• L'acquisizione dei dati sposta i dati dai sistemi di origine in una destinazione in cui possono essere salvati e interrogati. Il modello scelto da un'attività determina quanto sono aggiornati tali dati.

• Un'acquisizione affidabile dipende da due fattori: la completezza (ovvero, la presenza di tutti i record che dovrebbero esserci) e la tempestività (ovvero, i dati arrivano prima che una persona ne abbia bisogno).

• Un fornitore di servizi di pagamento moderno può sincronizzare i dati direttamente verso destinazioni come Snowflake, Redshift e Amazon S3. Questo offre alle attività l'accesso alla cronologia delle transazioni completa, senza ingegnerizzazione personalizzata o fornitori di connettori di terze parti.

L'acquisizione dei dati è il processo di estrazione dei dati dai sistemi di origine e il loro caricamento in una destinazione in cui possono essere salvati, interrogati e utilizzati. Alimenta i dati in warehouse, data lake e piattaforme di analisi.

In un contesto di pagamenti, l'acquisizione dei dati può comportare la raccolta di dati da fonti disparate, inclusi i sistemi per soluzioni point of sale (soluzioni POS), i siti web di e-commerce e i gateway di pagamento.

Quali sono i principali tipi di acquisizione dei dati?

Il livello di aggiornamento necessario per i tuoi dati, e quanto i dati obsoleti possano invecchiare prima di diventare inutili, determina il metodo di acquisizione dei dati migliore per la tua attività.

Questi sono i principali metodi da considerare.

Acquisizione in batch

L'acquisizione in batch estrae i dati in base a una pianificazione e li sposta in blocco. La latenza è di ore o giorni, il che va bene per molti carichi di lavoro. Chiusure finanziarie, report esecutivi settimanali e analisi delle tendenze storiche (ad es. analisi del tasso di abbandono) in genere possono utilizzare questo tipo di dati.

Acquisizione in streaming

L'acquisizione in streaming elabora gli eventi man mano che vengono prodotti, il che riduce la latenza a pochi secondi o meno. L'infrastruttura è più impegnativa, in genere si lavora con sistemi come Apache Kafka o equivalenti nativi sul cloud, e le applicazioni dei consumatori devono gestire eventi fuori ordine e la consegna almeno una volta. In genere è la scelta giusta quando il valore dei dati richiede segnali di frode, inventario live e personalizzazione in tempo reale.

Acquisizione dei dati di modifica (CDC)

L'acquisizione dei dati di modifica (CDC) legge il log delle transazioni di un database di origine ed emette solo ciò che è cambiato, arrivando nell'intervallo di latenza di pochi minuti senza il sovraccarico di ripetute letture di intere tabelle. Si colloca tra batch e streaming in termini di complessità e aggiornamento, ed è particolarmente utile quando hai bisogno di un'accuratezza quasi in tempo reale (NRT) da un sistema relazionale.

Quali sono i casi d'uso comuni per l'acquisizione dei dati?

L'acquisizione dei dati esiste per servire alcuni processi a valle. Il modello che scegli dipende in gran parte da come vengono utilizzati i dati.

Ecco i casi d'uso comuni per l'acquisizione dei dati:

• Reportistica di Business Intelligence (BI): i ricavi, la conversione, il tasso di abbandono e il volume dell'assistenza alimentano le dashboard che i team controllano quotidianamente. Il grado di aggiornamento dell'acquisizione determina quanto sono attuali tali dati.

• Reportistica finanziaria: le chiusure di fine mese e di fine trimestre dipendono dall'arrivo di dati sulle transazioni completi e precisi in un warehouse in cui il reparto finanziario può eseguire le proprie query. In questo caso la completezza è importante quanto l'aggiornamento.

• Analisi dei clienti e dei prodotti: i dati sugli eventi comportamentali, combinati con i dati di CRM (Customer Relationship Management) e delle transazioni, offrono ai team di prodotto e crescita un quadro completo. L'acquisizione è ciò che collega questi sistemi di origine e rende interrogabile il set di dati combinato.

• Monitoraggio delle frodi: una decisione presa su dati vecchi di 12 ore è spesso una decisione presa su dati irrilevanti. Il rilevamento delle frodi è uno dei casi in cui lo streaming o la CDC quasi in tempo reale vale lo sforzo aggiuntivo.

• Machine learning: le pipeline di addestramento hanno bisogno di dati storici in blocco; le pipeline di inferenza hanno bisogno di funzionalità aggiornate. L'acquisizione serve a entrambi: l'acquisizione in batch può essere utilizzata per i set di addestramento e i modelli a latenza inferiore possono essere utilizzati per gli archivi di funzionalità.

Che aspetto ha una buona acquisizione dei dati?

Quando i dati arrivano sia completi che puntuali, gli analisti possono smettere di dubitare dei loro numeri e di eseguire controlli di riconciliazione prima di ogni report.

Una buona acquisizione dei dati promette completezza. Tutti i record che dovrebbero esserci ci sono. Un livello di acquisizione ben progettato gestisce la deduplicazione, il riempimento delle lacune e l'intercettazione dei record arrivati in ritardo prima che diventino errori di reportistica.

I dati arrivano anche quando sono necessari. Questo non significa sempre il più velocemente possibile: significa che i dati arrivano prima che l'utente ne abbia bisogno.

Quali sono le principali sfide dell'acquisizione dei dati?

L'acquisizione sembra semplice finché non la esegui su più sistemi di origine. Le seguenti sfide legate all'acquisizione dei dati causano regolarmente problemi.

Sicurezza ed esposizione dei dati

Lo spostamento di dati sensibili (ad es. transazioni finanziarie, informazioni sull'identità, record di pagamento) attraverso l'infrastruttura di acquisizione crea esposizione a ogni passaggio. I team che instradano i dati dei pagamenti attraverso un connettore estrai, trasforma e carica (ETL) di terze parti offrono a quel fornitore l'accesso all'intera cronologia delle transazioni. Che ciò sia accettabile o meno dipende dai contratti con il fornitore, dai requisiti di compliance e dalla tolleranza al rischio.

Scalabilità

I volumi aumentano nel tempo. Le modifiche allo schema nei sistemi di origine possono interrompere le pipeline in modi che non sempre emergono immediatamente. Le strategie di partizionamento, i carichi incrementali e la gestione dell'evoluzione dello schema sono problemi ingegneristici che devono essere presi in considerazione prima che si trasformino in incidenti.

Frammentazione

In molte organizzazioni l'acquisizione è disorganizzata, piuttosto che un sistema progettato intenzionalmente. Ad esempio, supponiamo che il team dei dati abbia creato un connettore per Salesforce, mentre il team di ingegneria ne ha creato uno separato per il database di produzione, e il reparto finanziario ha un'esportazione di valori separati da virgola (CSV) che qualcuno carica ogni lunedì. Il risultato è la presenza di pipeline di dati duplicate e incoerenti, difficili da monitorare e ancora più difficili da considerare affidabili.

Errori di qualità

A volte le pipeline si interrompono in modo evidente: un processo restituisce un errore o una dashboard diventa vuota. Tuttavia, gli errori possono anche essere nascosti. Ad esempio, una modifica allo schema a monte potrebbe eliminare una colonna, per cui inizieranno a mancare dati nelle tabelle a valle, oppure un limite di frequenza in un'API (Application Programming Interface) potrebbe causare caricamenti parziali che sembrano completi. Senza un monitoraggio che controlli il conteggio delle righe, gli intervalli di valori e l'integrità referenziale, non te ne accorgerai finché qualcosa non si guasterà in modo abbastanza grave da farsi notare.

In cosa si differenzia l'ingestion dei dati da ETL ed ELT?

Ingestion dei dati, ETL ed ELT descrivono parti sovrapposte della stessa pipeline, ma hanno significati diversi.

• Ingestion dei dati: è l'atto di spostare i dati da una fonte in un sistema di destinazione. Riguarda il trasporto e la consegna. Non considera se i dati cambiano in transito.
  
• Estrazione, trasformazione, caricamento (ETL): è un'architettura in cui i dati vengono estratti dalla fonte, trasformati nel mezzo (storicamente in uno strumento di trasformazione dedicato o in un server di staging) e caricati nella destinazione nella loro forma finale pronta per la query. La trasformazione avviene prima che arrivino i dati.
  
• Estrazione, caricamento, trasformazione (ELT): è la stessa architettura ma con le ultime due fasi invertite. I dati grezzi finiscono prima nel warehouse e la trasformazione avviene lì utilizzando un linguaggio di query strutturato (SQL) o strumenti come lo strumento di costruzione dei dati (dbt). Ciò è diventato pratico man mano che i cloud warehouse sono diventati abbastanza economici e potenti da eseguire pesanti trasformazioni su larga scala e ora rappresenta il modello dominante per gli stack di dati moderni.
  

In che modo un fornitore di servizi di pagamento aiuta con l'acquisizione dei dati?

Stripe Data Pipeline è una sincronizzazione diretta da Stripe alla tua destinazione warehouse o di archiviazione su cloud senza intermediari. È disponibile per gli attuali utenti Stripe e si collega a destinazioni come Snowflake, Redshift e Databricks. La configurazione non richiede di scrivere codice o di configurare connettori.

Ecco come Stripe Data Pipeline aiuta con l'acquisizione dei dati:

• Aggiornamento dei dati: Le sincronizzazioni vengono eseguite continuamente, con la maggior parte dei dati disponibili entro poche ore dall'evento sottostante.

• Dati storici: Quando ti colleghi, hai accesso a tutta la tua cronologia Stripe, anziché solo ai dati dalla data del collegamento in poi.

• Completezza dei dati: Stripe Data Pipeline include report finanziari predefiniti, come la riconciliazione dei bonifici e il riepilogo del saldo, oltre a set di dati curati per casi d'uso comuni come i ricavi mensili ricorrenti (RMR) e l'analisi delle frodi. I fornitori di terze parti non possono sincronizzare queste fonti di dati e richiedono l'esportazione manuale o la ricostruzione dei dati.

• Riduzione dell'esposizione ai fornitori: Poiché la sincronizzazione avviene direttamente da Stripe al tuo warehouse, i dati dei tuoi pagamenti non passano attraverso l'infrastruttura di un fornitore di terze parti.