Un pipeline de données est un système automatisé qui déplace les données des systèmes sources vers une destination à des fins d'analyse. Il résout un problème courant pour les entreprises qui fonctionnent avec des données : comment traiter et analyser des informations utiles qui sont éparpillées dans de nombreux systèmes différents. Le pipeline peut déplacer les données de manière fiable et répétée.

Ci-dessous, nous expliquerons ce qu'est un pipeline de données, comment il fonctionne, en quoi les approches par lots et en continu diffèrent, et comment les données de paiement s'intègrent dans la configuration d'un pipeline.

Points clés

• Un pipeline de données remplace les exportations manuelles et les processus ad hoc qui échouent sous la pression.

• Le choix entre les pipelines par lots et en continu dépend de la fraîcheur requise pour vos données. Les charges de travail des finances et des analyses s'exécutent généralement confortablement par lots.

• Les données de paiement nécessitent une attention particulière dans la configuration d'un pipeline. Une synchronisation native de la part de votre prestataire de services de paiement améliore la sécurité et la fiabilité.

Qu'est-ce qu'un pipeline de données?

Un pipeline de données est une séquence automatisée d'étapes qui extrait des données d'une ou plusieurs sources, les transforme facultativement et les charge dans une destination où elles peuvent être analysées ou utilisées pour exécuter des opérations. La destination est généralement un entrepôt de données, un lac de données ou un stockage infonuagique.

Pourquoi les pipelines de données sont-ils importants pour la production de rapports et la prise de décisions?

La valeur d'un pipeline de données réside dans ce qui devient possible lorsque vos données se trouvent à un endroit où vous pouvez les utiliser. Les pipelines de données offrent les avantages suivants :

• Réduction des silos de données : Lorsque vos données sont réparties sur plusieurs systèmes (par exemple, les données de revenus résident chez votre prestataire de services de paiement, les données sur la clientèle dans votre système de gestion de la relation client (CRM), et les données du service d'assistance dans votre centre d'assistance), il n'est pas facile de répondre à des questions qui dépassent ces limites. Un pipeline qui centralise ces sources rend possible l'analyse interfonctionnelle.

• Définitions cohérentes : Les pipelines imposent une structure. Si chaque équipe utilise les mêmes tables d'entrepôt, qui sont calculées de la même manière, alors les indicateurs tels que le revenu récurrent mensuel (RRM) sont définis de manière cohérente dans l'ensemble des rapports, et il n'y a aucun débat sur l'exactitude des chiffres.

• Processus reproductibles et vérifiables : Les pipelines produisent des résultats comparables jour après jour. Cette reproductibilité permet de suivre les indicateurs au fil du temps et d'examiner les anomalies lorsqu'elles apparaissent.

• Cycles de production de rapports plus rapides : Les équipes financières qui passaient auparavant des jours à extraire et à rapprocher des données peuvent raccourcir considérablement le cycle lorsque les données sont déjà dans l'entrepôt, nettoyées et structurées.

Quels sont les principaux composants d'un pipeline de données?

De nombreux pipelines, quelle que soit leur complexité, sont construits à partir du même ensemble de blocs de base. Voici les composants importants :

• Sources : D'où proviennent les données, y compris les bases de données, les interfaces de programmation d'applications (API) de type logiciel en tant que service (SaaS), les flux d'événements et les fichiers plats. Plus un pipeline exploite de sources, plus il est important de suivre le schéma et la fiabilité de chacune, ainsi que la fréquence de modification de la source.

• Ingestion : Le mécanisme d'extraction des données des sources vers le pipeline. Cela peut signifier des requêtes de base de données programmées, un abonnement à un flux de liens de rappel HTTP, ou un connecteur tiers. L'ingestion est souvent l'endroit où les pipelines échouent (par exemple, les API changent, les identifiants expirent, les sources sont défaillantes). Par conséquent, les bonnes couches d'ingestion sont conçues pour détecter les pannes et s'en remettre.

• Transformations : L'étape qui remodèle les données brutes sous une forme utile à l'analyse. Par exemple, les transformations nettoient les enregistrements et suppriment les doublons, fusionnent les données de plusieurs sources, calculent les champs dérivés ou imposent un schéma cohérent entre les systèmes qui n'en partagent pas un de manière native.

• Orchestration : La couche qui gère les dépendances et la programmation. Si le chargement complet de la table B dépend de celui de la table A, la couche d'orchestration doit le savoir et imposer l'ordre. Des outils comme Apache Airflow, Prefect et l'outil de création de données (dbt) peuvent gérer ce type de dépendances.

• Destinations : L'endroit où les données traitées aboutissent. Il s'agit généralement d'un entrepôt de données infonuagique comme Snowflake ou Redshift, ou d'un stockage infonuagique comme S3 ou Google Cloud Storage (GCS). Le choix de la destination détermine le type d'analyse possible en aval.

En quoi les pipelines par lots et en continu diffèrent-ils?

Pour le déplacement de données, le traitement en continu et le traitement par lots ont tous deux des utilisations légitimes. Le bon choix dépend du degré d'obsolescence que vos données peuvent atteindre avant que cela ne cause un réel problème.

Pipelines par lots

Ceux-ci déplacent les données selon un horaire (par exemple, toutes les heures, toutes les nuits, toutes les semaines). Ils sont bien adaptés aux charges de travail pour lesquelles la latence n'est pas importante, comme les rapports financiers mensuels, l'analyse hebdomadaire des cohortes de la clientèle et les synchronisations nocturnes vers un entrepôt de données. Le traitement par lots est généralement plus simple à construire et à exploiter. De plus, pour de nombreux cas d'utilisation analytique, c'est exactement ce dont vous avez besoin.

Pipelines en continu

Ceux-ci traitent les données en continu, au fur et à mesure que les événements se produisent, avec une latence mesurée en secondes ou en millisecondes plutôt qu'en heures. Ils sont conçus pour des cas d'utilisation où l'utilisation de données obsolètes a des coûts réels, tels que la détection des fraudes, le suivi des stocks en temps réel et les tableaux de bord en temps réel.

Avant de choisir cette voie pour le déplacement des données, déterminez la capacité de votre équipe. L'infrastructure de traitement en continu est plus coûteuse et plus difficile à déboguer. Si votre équipe de données est petite, les frais généraux liés à un pipeline en continu pourraient l'emporter sur les avantages en matière de latence.

Quel est le lien entre les pipelines de données, ETL et ELT?

Bien qu'un pipeline de données soit tout système automatisé qui déplace des données d'une source à une destination, l'extraction, la transformation et le chargement (ETL) et l'extraction, le chargement et la transformation (ELT) sont deux modèles qui structurent ce mouvement. Voici comment ils fonctionnent.

ETL

ETL signifie que les données sont transformées avant d'être chargées dans la destination. La transformation se produit dans une couche intermédiaire de sorte que seules les données nettoyées et façonnées atteignent l'entrepôt. C'était le modèle dominant lorsque le stockage était coûteux et que les entrepôts n'étaient pas bien adaptés au traitement de données brutes à grande échelle.

ELT

Avec l'ELT, les dernières étapes sont inversées. Les données brutes sont extraites et chargées dans l'entrepôt, et la transformation y a lieu à l'aide du langage de requête structuré (SQL) ou d'un outil comme dbt. Les entrepôts infonuagiques modernes sont suffisamment bon marché pour stocker des données brutes et assez puissants pour les transformer au moment de la requête ou sous forme de tâche programmée. L'ELT est devenu le modèle le plus courant pour les charges de travail analytiques, en partie parce qu'il préserve les données brutes pour un retraitement et facilite la vérification, la gestion des versions et la modification des transformations.

Tous les pipelines ne rentrent pas parfaitement dans l'une ou l'autre de ces catégories. Certains déplacent des données avec presque aucune transformation; ils synchronisent les journaux d'événements bruts à partir d'une API vers le stockage infonuagique pour un traitement ultérieur. La terminologie est utile comme raccourci pour décrire l'intention architecturale plutôt que comme une taxonomie précise.

Comment un prestataire de services de paiement s'intègre-t-il à la configuration d'un pipeline de données?

Les données de paiement figurent généralement parmi les données les plus précieuses et les plus complexes de l'entrepôt d'une entreprise. Les équipes suivent généralement la même progression lorsqu'elles tentent de les gérer.

Exportations de valeurs séparées par des virgules (CSV)

De nombreuses équipes commencent par des exportations CSV. Elles téléchargent des rapports, les nettoient et les téléversent dans l'entrepôt. Cependant, les exportations échouent, les schémas changent ou quelqu'un oublie d'exécuter le processus. En conséquence, les données historiques sont souvent manquantes ou incohérentes.

Connecteurs ETL tiers

Ensuite, elles se tournent vers des outils qui extraient des données d'une API de paiement et les chargent dans un entrepôt de manière programmée. Ces outils sont raisonnablement fiables, mais ils introduisent un fournisseur dans un flux de données sensibles. Si une équipe possède des données financières qui transitent par un système tiers supplémentaire, cela élargira sa surface d'attaque, créera des problèmes de conformité et produira des données qui pourraient être subtilement différentes de celles détenues par son prestataire de services de paiement.

Synchronisation native via Stripe Data Pipeline

Stripe Data Pipeline permet une synchronisation directe avec Stripe qui déplace les données vers un entrepôt ou une destination de stockage infonuagique sans connecteur tiers. La configuration ne prend que quelques clics, il n'y a aucun code à écrire, et le pipeline inclut les données historiques du compte Stripe d'un utilisateur. Il comprend également une sélection de rapports synthétisés et d'ensembles de données organisés, tels que des résumés financiers structurés et des tables prêtes pour l'analyse permettant d'analyser le RRM, la fraude, et plus encore. Ceux-ci sont générés par les propres systèmes de Stripe et ne peuvent pas être reproduits par un connecteur générique.