L'ingestion de données est la première étape de tout pipeline de données. Elle fait référence au processus de collecte des données à partir de systèmes sources et de leur déplacement vers un entrepôt, un lac ou une plateforme d'analyse où elles peuvent être interrogées.

Lorsque l'ingestion de données échoue, vous vous retrouvez avec des tableaux de bord obsolètes, des rapprochements rompus et des modèles d'apprentissage automatique formés sur des données incomplètes. Pire encore, de mauvaises données peuvent affecter vos résultats nets. Plus de 25 % des organisations ont déclaré perdre annuellement 5 millions de dollars américains ou plus en raison d'une mauvaise qualité des données.

Ci-dessous, nous examinerons de plus près ce qu'est l'ingestion de données, les principaux modèles d'ingestion de données, les cas d'usage qui motivent la majeure partie des investissements dans les pipelines et les défis auxquels les équipes sont confrontées.

Points clés

• L'ingestion de données déplace les données des systèmes sources vers une destination où elles peuvent être sauvegardées et interrogées. Le modèle qu'une entreprise choisit détermine la fraîcheur de ces données.

• Une ingestion fiable dépend de deux choses : l'exhaustivité (c'est-à-dire que tous les enregistrements qui devraient s'y trouver s'y trouvent) et la ponctualité (c'est-à-dire que les données arrivent avant que la première personne n'en ait besoin).

• Un prestataire de services de paiement moderne peut synchroniser les données directement vers des destinations telles que Snowflake, Redshift et Amazon S3. Cela permet aux entreprises d'accéder à l'intégralité de leur historique de transactions sans aucune ingénierie personnalisée ni aucun fournisseur de connecteurs tiers.

L'ingestion de données est le processus d'extraction de données à partir de systèmes sources et de leur chargement dans une destination où elles peuvent être sauvegardées, interrogées et utilisées. Elle alimente les entrepôts de données, les lacs de données et les plateformes d'analyse.

Dans le contexte des paiements, l'ingestion de données peut impliquer la collecte de données provenant de sources disparates, y compris les systèmes de point de vente (PDV), les sites Web de commerce électronique et les passerelles de paiement.

Quels sont les principaux types d'ingestion de données?

La fraîcheur dont vos données ont besoin — et à quel point les données périmées peuvent l'être avant de cesser d'être utiles — détermine le type de méthode d'ingestion de données le mieux adapté à votre entreprise.

Ce sont les principales méthodes à considérer.

Ingestion par lots

L'ingestion par lots extrait les données selon une planification et les déplace en vrac. La latence est de quelques heures ou de quelques jours, ce qui convient à de nombreuses charges de travail. Les clôtures financières, les rapports hebdomadaires de la direction et l'analyse des tendances historiques (par exemple, l'analyse de la résiliation) peuvent généralement utiliser ce type de données.

Ingestion de flux

L'ingestion de flux traite les événements au fur et à mesure de leur production, ce qui réduit la latence à quelques secondes, voire moins. L'infrastructure est plus exigeante (vous travaillez généralement avec des systèmes tels qu'Apache Kafka ou des équivalents natifs du nuage) et vos applications clientes doivent gérer les événements dans le désordre et la distribution au moins une fois. C'est généralement le bon choix lorsque la valeur des données nécessite des signaux de fraude, des stocks en direct et une personnalisation en temps réel.

Capture des données de modification

La capture des données de modification (CDC) lit le journal des transactions d'une base de données source et n'émet que ce qui a changé, se situant dans la plage de latence de l'ordre des minutes sans la surcharge des lectures de tableaux entiers répétées. Elle se situe entre le lot et le flux, tant en termes de complexité que de fraîcheur, et est particulièrement utile lorsque vous avez besoin d'une précision en temps quasi réel (NRT) à partir d'un système relationnel.

Quels sont les cas d'usage courants de l'ingestion de données?

L'ingestion de données existe pour servir certains processus en aval. Le modèle que vous choisissez dépend fortement de la façon dont les données sont utilisées.

Voici les cas d'usage courants de l'ingestion de données :

• Production de rapports de veille économique (BI) : Les revenus, la conversion, la résiliation et le volume du service d'assistance alimentent les tableaux de bord que les équipes consultent quotidiennement. La fraîcheur de l'ingestion détermine à quel point ces données sont actuelles.

• Production de rapports financiers : Les clôtures de fin de mois et de fin de trimestre dépendent de l'arrivée de données de transaction complètes et précises dans un entrepôt où l'équipe des finances peut exécuter ses requêtes. L'exhaustivité compte autant que la fraîcheur ici.

• Analyse des clients et des produits : Les données d'événements comportementaux combinées à la gestion de la relation client (CRM) et aux données de transaction donnent aux équipes de produits et de croissance une vue d'ensemble. L'ingestion est ce qui associe ces systèmes sources et permet d'interroger l'ensemble de données combiné.

• Surveillance de la fraude : Une décision prise sur la base de données vieilles de 12 heures est souvent une décision prise sur des données non pertinentes. La détection de la fraude est l'un des cas où le traitement par flux ou la CDC en temps quasi réel justifie un effort supplémentaire.

• Apprentissage automatique : Les pipelines de formation nécessitent des données historiques en vrac; les pipelines d'inférence nécessitent des caractéristiques récentes. L'ingestion sert aux deux : l'ingestion par lots peut être utilisée pour les ensembles de formation et les modèles à latence plus faible peuvent être utilisés pour les magasins de caractéristiques.

À quoi ressemble une bonne ingestion de données?

Lorsque les données arrivent complètes et dans les délais, les analystes peuvent cesser de douter de leurs chiffres et d'effectuer des vérifications de rapprochement avant chaque rapport.

Une bonne ingestion de données promet l'exhaustivité. Tous les enregistrements qui devraient s'y trouver s'y trouvent. Une couche d'ingestion bien conçue gère la déduplication, le remplissage des lacunes et la détection des enregistrements arrivant tardivement avant qu'ils ne deviennent des erreurs de rapport.

Les données arrivent également au moment où elles sont nécessaires. Cela ne signifie pas toujours le plus rapidement possible : cela signifie que les données arrivent avant que l'utilisateur n'en ait besoin.

Quels sont les principaux défis de l'ingestion de données?

L'ingestion semble simple jusqu'à ce que vous l'exécutiez sur plusieurs systèmes sources. Les défis d'ingestion de données suivants causent constamment des problèmes.

Sécurité et exposition des données

Le déplacement de données sensibles (par exemple, les transactions financières, les informations d'identification, les enregistrements de paiement) via l'infrastructure d'ingestion crée une exposition à chaque saut. Les équipes qui redirigent les données de paiement via un connecteur tiers d'extraction, transformation, chargement (ETL) donnent à ce fournisseur l'accès à l'intégralité de leur historique de transactions. Que cela soit acceptable ou non dépend des contrats avec les fournisseurs, des exigences de conformité et de la tolérance au risque.

Évolutivité

Le volume s'accumule avec le temps. Les modifications de schéma dans les systèmes sources peuvent perturber les pipelines de manières qui ne font pas toujours surface immédiatement. Les stratégies de partitionnement, les charges incrémentielles et la gestion de l'évolution des schémas sont des problèmes d'ingénierie qui doivent être examinés avant de devenir des incidents.

Fragmentation

Dans de nombreuses organisations, l'ingestion est désorganisée plutôt que de constituer un système conçu intentionnellement. Supposons que l'équipe chargée des données a créé un connecteur pour Salesforce, tandis que l'équipe d'ingénierie en a créé un autre pour la base de données de production, et que l'équipe des finances dispose d'une exportation de valeurs séparées par des virgules (CSV) que quelqu'un téléverse chaque lundi. Il en résulte des pipelines de données redondants et incohérents qui sont difficiles à surveiller et encore plus difficiles à fiabiliser.

Échecs de qualité

Les pipelines échouent parfois de manière évidente : une tâche génère une erreur ou un tableau de bord devient vide. Mais les échecs peuvent aussi être cachés. Par exemple, une modification du schéma en amont peut entraîner la suppression d'une colonne, puis les tableaux en aval commencent à manquer de données, ou une limite de l'interface de programmation d'application (API) peut entraîner des chargements partiels qui semblent complets. Sans une surveillance qui vérifie le nombre de lignes, les plages de valeurs et l'intégrité référentielle, vous ne le saurez pas jusqu'à ce que la situation soit suffisamment grave pour être remarquée.

En quoi l'ingestion de données diffère-t-elle de l'ETL et de l'ELT?

L'ingestion de données, l'ETL et l'ELT décrivent des parties chevauchantes du même pipeline, mais signifient des choses différentes.

• Ingestion de données : Il s'agit de l'action de déplacer des données d'une source vers un système cible. C'est une question de transport et de livraison. Cela ne prend pas en compte les éventuelles modifications des données en transit.
  
• Extraction, transformation, chargement (ETL) : Il s'agit d'une architecture dans laquelle les données sont extraites de la source, transformées au milieu – historiquement dans un outil de transformation dédié ou un serveur intermédiaire – et chargées dans la destination sous leur forme finale, prêtes à être interrogées. La transformation a lieu avant l'arrivée des données.
  
• Extraction, chargement, transformation (ELT) : Il s'agit de la même architecture, mais avec les deux dernières étapes inversées. Les données brutes arrivent d'abord dans l'entrepôt, et la transformation s'y effectue à l'aide du langage de requête structuré (SQL) ou d'outils tels que data build tool (dbt). Cela est devenu pratique à mesure que les entrepôts infonuagiques sont devenus suffisamment abordables et puissants pour exécuter de lourdes transformations à grande échelle, et c'est maintenant le modèle dominant pour les piles de données modernes.
  

Comment un prestataire de services de paiement facilite-t-il l'ingestion de données?

Stripe Data Pipeline permet une synchronisation directe entre Stripe et votre entrepôt ou votre espace de stockage infonuagique, sans intermédiaire. Cette fonction est proposée aux utilisateurs existants de Stripe et s'associe à des destinations telles que Snowflake, Redshift et Databricks. La configuration ne nécessite ni écriture de code ni configuration de connecteurs.

Voici comment Stripe Data Pipeline facilite l'ingestion de données :

• Fraîcheur des données : Les synchronisations s'exécutent en continu, la plupart des données étant disponibles dans les heures suivant l'événement sous-jacent.

• Données historiques : Lors de l'association, vous avez accès à l'intégralité de votre historique Stripe, et non seulement aux données à partir de la date d'association.

• Exhaustivité des données : Stripe Data Pipeline inclut des rapports financiers préconfigurés, tels que le rapprochement des virements et le récapitulatif du solde, ainsi que des ensembles de données organisés pour des cas d'usage courants tels que le revenu récurrent mensuel (RRM) et l'analyse de la fraude. Les fournisseurs tiers ne peuvent pas synchroniser ces sources de données et nécessitent des exportations manuelles ou la reconstruction des données.

• Exposition réduite aux fournisseurs : Étant donné que la synchronisation s'effectue directement entre Stripe et votre entrepôt, vos données de paiement ne transitent pas par l'infrastructure d'un fournisseur tiers.