Ondernemingen ontwikkelen waarschijnlijk een gegevensprobleem zodra ze groeien. Transacties, klantrecords en inkomsten lopen sneller op dan welk team dan ook handmatig kan verwerken. Geautomatiseerde gegevensverwerking verzamelt, valideert, transformeert en leidt gegevens zonder dat er iemand handmatig exports hoeft te maken, spreadsheets opnieuw hoeft te formatteren of pijplijnen in de gaten hoeft te houden. Er is veel vraag naar datagestuurde besluitvorming en automatisering, waarbij deze sector naar verwachting tussen 2023 en 2027 met een samengesteld jaarlijks groeipercentage van meer dan 30% zal groeien.

Hieronder leggen we uit wat geautomatiseerde gegevensverwerking is, wat de belangrijkste verwerkingsmodellen zijn en hoe je weet of de pijplijnen betrouwbaar zijn.

Hoogtepunten

• Geautomatiseerde gegevensverwerking verzamelt, valideert, transformeert en bewaart gegevens met minimale menselijke tussenkomst, ter vervanging van handmatige workflows die niet kunnen groeien.

• Batch-, streaming- en gedistribueerde verwerking voorzien elk in verschillende latentie- en volumebehoeften. Teams gebruiken doorgaans meer dan één benadering binnen hun stacks.

• Een betaaldienstverlener die gegevens direct naar een datawarehouse of cloudopslag synchroniseert, biedt volledigheid, versheid en betrouwbaarheid van gegevens die connectors van derden vaak niet kunnen evenaren.

Wat is geautomatiseerde gegevensverwerking?

Geautomatiseerde gegevensverwerking betekent het gebruik van systemen voor het afhandelen van gegevenstaken zoals verzameling, validatie, transformatie en opslag, met minimale menselijke tussenkomst. De invoer kan een stroom betalingsgebeurtenissen zijn, een batch gecategoriseerde transacties of een continue feed van applicatielogboeken. De uitvoer kan naar een opgeschoonde tabel in een datawarehouse stromen, naar een rapport dat automatisch wordt gevuld of naar verrijkte records die klaar zijn voor downstreamanalyse.

Welke problemen lost geautomatiseerde gegevensverwerking op

Geautomatiseerde gegevensverwerking pakt een specifieke set faalmodi aan voor het op grote schaal verwerken van aantallen. Dit zijn de belangrijkste problemen die geautomatiseerde gegevensverwerking oplost:

• Handmatige inspanning: Mensen zijn goed in het inschatten van situaties, maar niet in het elke ochtend foutloos uitvoeren van dezelfde transformatieprocedure op 50.000 rijen.

• Inconsistentie van gegevens: Wanneer dezelfde gegevens door verschillende mensen met behulp van verschillende methoden worden verwerkt, levert dit verschillende resultaten op. Automatisering dwingt één consistente procedure af.

• Trage rapportagecycli: Als het 48 uur duurt voordat gegevens van bron naar dashboard zijn verplaatst, neemt het team altijd beslissingen op basis van verouderde informatie. Geautomatiseerde pijplijnen verkorten die vertraging tot uren of minuten.

• Kwetsbare pijplijnen: Handmatig gebouwde scripts kunnen kapotgaan als de bron van de gegevens het schema wijzigt. Speciaal gebouwde automatisering is duurzamer.

• Beveiligingsrisico's: Elke handmatige stap in een gegevensprocedure is een plek waar gevoelige informatie kan lekken. Automatisering vermindert het risico dat voortvloeit uit te veel gegevensbeheerders.

Hoe werkt geautomatiseerde gegevensverwerking

Geautomatiseerde datapijplijnen doorlopen over het algemeen dezelfde fasen.

Incasso

Hier komen gegevens de pijplijn binnen, of dit nu het volgens een schema pollen van een API (Application Programming Interface) is, het consumeren van een stroom gebeurtenissen terwijl deze worden gegenereerd, het lezen uit een database of het opnemen van bestanden die in cloudopslag zijn geplaatst. Het verzamelmechanisme bepaalt de latentie.

Validatie en opschonen

In deze fase controleert de pijplijn of inkomende gegevens aan de verwachtingen voldoen, of de vereiste velden aanwezig zijn, of waarden de juiste notatie hebben en of duplicaten zijn verwijderd. Hier worden onjuiste gegevens onderschept voordat deze de downstreamuitvoer beschadigen.

Transformatie en verrijking

Hier worden ruwe gegevens omgezet in een vorm die nuttig is voor taken zoals churn-analyse en maandelijkse rapportage. Dit kan betekenen dat records uit meerdere bronnen worden samengevoegd, afgeleide velden worden berekend, valuta's worden geconverteerd of gegevens worden geherstructureerd om te voldoen aan een warehouschema. Hier zit doorgaans de meeste complexiteit bij het verwerken.

Laden

In deze fase worden de verwerkte gegevens naar de bestemming verplaatst: een cloudopslagbucket, een rapportagetool of een datawarehouse zoals BigQuery, Snowflake of Redshift. Afhankelijk van de architectuur van de pijplijn kan dit in grote batches gebeuren of als een stroom van kleinere schrijfacties.

Wat zijn de belangrijkste soorten geautomatiseerde gegevensverwerking

Het juiste verwerkingsmodel is afhankelijk van hoe snel je gegevens nodig hebt en hoeveel je ervan verplaatst. Teams gebruiken er doorgaans meer dan één.

Dit zijn de belangrijkste soorten geautomatiseerde gegevensverwerking.

Batchverwerking

Batchverwerking verwerkt gegevens in geplande blokken, ongeacht of dit per uur, per nacht of wekelijks is. Het is het oudste model en nog steeds het meest gebruikelijk voor workloads waarbij geen realtime informatie nodig is, zoals financiële rapportage aan het einde van de maand, wekelijkse cohortanalyse en 's nachts extraheren, transformeren en laden (ETL). Het is goedkoper om uit te voeren en gemakkelijker te analyseren dan streaming.

Streamingverwerking

Streamingverwerking verwerkt gegevens zodra deze worden gegenereerd, wat betekent dat de latentie tot seconden of milliseconden daalt. Dit is nodig voor fraudedetectie voordat een transactie is voltooid, of voor realtime dashboards. Maar streamingpijplijnen zijn moeilijker te bouwen, testen en bedienen dan batchequivalenten.

Gedistribueerde verwerking

Gedistribueerde verwerking is een architecturale keuze die op schaal van toepassing is op zowel batch als streaming. Wanneer gegevensvolumes de capaciteit van een enkele machine overschrijden, splitsen gedistribueerde frameworks het werk parallel over vele knooppunten. De meeste teams hebben dit niet nodig totdat ze met zeer grote datasets werken.

Hoe weet je of de geautomatiseerde gegevensverwerking werkt

Automatisering die de verkeerde uitvoer produceert, is erger dan een handmatige procedure. Zo zorg je ervoor dat de geautomatiseerde gegevensverwerking werkt:

• Versheid: Komen gegevens volgens schema aan? Een pijplijn die om 06.00 uur had moeten draaien maar dat niet deed, moet iemand waarschuwen voordat dat gat een zakelijke beslissing beïnvloedt.

• Grondigheid: Zijn alle verwachte records binnengekomen? Een dagelijkse transactielading die 500 rijen produceert, terwijl er normaal 50.000 worden geproduceerd, is een signaal dat er stroomopwaarts iets kapot is gegaan.

• Nauwkeurigheid: Komen de waarden in de uitvoer overeen met de verwachtingen? Implementeer statistische controles die markeren wanneer gemiddelden of totalen merkbaar afwijken van historische normen.

• Afkomst: Kun je traceren waar een specifiek stukje gegevens vandaan kwam en welke transformaties het heeft ondergaan? Wanneer een getal in een dashboard er verkeerd uitziet, kun je met afkomst de onderliggende oorzaak diagnosticeren.

Hoe ondersteunt Stripe Data Pipeline geautomatiseerde gegevensverwerking

Stripe Data Pipeline is de native connector van Stripe om Stripe-gegevens rechtstreeks naar het datawarehouse of de cloudopslag te verplaatsen. Dit omvat transacties, uitbetalingen, geschillen, klanten, terugbetalingen en aanvullende datasets. Er is geen code vereist: je kunt de bestemming koppelen, configureren welke gegevens je wilt synchroniseren, en de pijplijn regelt de rest.

Dit zijn de belangrijkste redenen om de native pijplijn van Stripe voor Stripe-gegevens te gebruiken in plaats van deze via een tussenpersoon te leiden:

• Volledigheid van gegevens: Stripe Data Pipeline bevat historische gegevens tot aan het aanmaken van het account, in plaats van vanaf het moment dat je de connector inschakelt. Het bevat ook vooraf gebouwde financiële rapporten en samengestelde datasets die connectors van derden niet vrijgeven.

• Betrouwbaarheid: Omdat de pijplijn door Stripe wordt gebouwd en onderhouden, verbreken schemawijzigingen in het onderliggende gegevensmodel de verbinding niet. Connectors van derden moeten de API van Stripe reverse-engineeren en wijzigingen bijhouden.

• Verminderd beveiligingsrisico: Met een ETL-tool van derden gaan de Stripe-gegevens via de infrastructuur van een extra leverancier. Dat is nog een set inloggegevens om te beheren, nog een set voorwaarden om te evalueren en nog een potentieel punt van falen.