A ingestão de dados é a primeira etapa de cada data pipeline. Refere-se ao processo de coletar dados de sistemas de origem e movê-los para um warehouse, lake ou plataforma de análise, onde podem ser consultados.

Quando a ingestão de dados falha, você obtém dashboards desatualizados, reconciliações corrompidas e modelos de machine learning treinados com dados incompletos. Pior ainda, dados incorretos podem afetar seus resultados. Mais de 25% das organizações relataram que perdem US$ 5 milhões ou mais por ano devido à baixa qualidade dos dados.

Abaixo, veremos mais de perto o que é ingestão de dados, os principais padrões de ingestão de dados, os casos de uso que impulsionam a maioria dos investimentos em pipelines e os desafios que as equipes enfrentam.

Destaques

• A ingestão de dados move os dados dos sistemas de origem para um destino onde podem ser armazenados e consultados. O padrão que uma empresa escolhe determina o quão atualizados estão esses dados.

• A ingestão confiável depende de duas coisas: integridade (ou seja, todos os registros que deveriam estar lá estão lá) e atualidade (ou seja, os dados chegam antes que a primeira pessoa precise deles).

• Um provedor de pagamento moderno pode sincronizar dados diretamente para destinos como Snowflake, Redshift e Amazon S3. Isso dá às empresas acesso a todo o seu histórico de transações sem engenharia personalizada ou fornecedores de conectores terceirizados.

A ingestão de dados é o processo de extrair dados de sistemas de origem e carregá-los em um destino onde possam ser armazenados, consultados e usados. Ela alimenta warehouses, data lakes e plataformas de análise com dados.

No contexto de pagamentos, a ingestão de dados pode envolver a coleta de dados de fontes diferentes, incluindo sistemas de ponto de venda (POS), sites de e-commerce e gateways de pagamentos.

Quais são os principais tipos de ingestão de dados?

O grau de atualização que seus dados precisam ter e o quão obsoletos podem ser antes que deixem de ser úteis determinam o melhor método de ingestão de dados para sua empresa.

Esses são os principais métodos a considerar.

Ingestão em lote

A ingestão em lote extrai dados de forma programada e os move em massa. A latência é de horas ou dias, o que é aceitável para muitas cargas de trabalho. O encerramento financeiro, os relatórios executivos semanais e a análise de tendências históricas (por exemplo, análise de rotatividade) geralmente podem usar esse tipo de dados.

Ingestão por streaming

A ingestão por streaming processa os eventos à medida que são produzidos, reduzindo a latência para segundos ou menos. A infraestrutura é mais exigente (você normalmente trabalha com sistemas como o Apache Kafka ou equivalentes nativos da nuvem) e os aplicativos de consumo precisam processar eventos fora de ordem e entrega pelo menos uma vez. Geralmente é a decisão correta quando o valor dos dados exige sinais de fraude, estoque em tempo real e personalização em tempo real.

Change data capture

O change data capture (CDC) lê o log de transações de um banco de dados de fonte e emite apenas o que foi alterado, chegando na faixa de latência de minutos sem a sobrecarga de leituras completas de tabela repetidas. Ele fica entre o lote e o streaming em complexidade e atualização, e é particularmente útil quando você precisa de precisão quase em tempo real (NRT) de um sistema relacional.

Quais são os casos de uso comuns de ingestão de dados?

A ingestão de dados existe para atender a algum processo downstream. O padrão escolhido depende muito de como os dados são usados.

Abaixo estão os casos de uso comuns de ingestão de dados:

• Relatórios de inteligência de negócios (BI): receita, conversão, rotatividade e volume de suporte alimentam os dashboards que as equipes verificam diariamente. A atualização da ingestão determina o quão atualizados estão esses dados.

• Relatórios financeiros: o encerramento do mês e do trimestre dependem de dados de transação completos e precisos que chegam a um warehouse onde a equipe financeira pode fazer suas consultas. A integridade é tão importante quanto a atualização aqui.

• Análise de clientes e produtos: os dados de eventos comportamentais combinados com o gerenciamento de relacionamento com o cliente (CRM) e os dados de transação fornecem um panorama geral às equipes de produto e crescimento. A ingestão é o que conecta esses sistemas de origem e torna o conjunto de dados combinado consultável.

• Monitoramento de fraudes: uma decisão baseada em dados com 12 horas de atraso costuma ser uma decisão baseada em dados irrelevantes. A detecção de fraudes é um dos casos em que vale a pena o esforço extra do streaming ou do CDC quase em tempo real.

• Machine learning: os pipelines de treinamento precisam de dados históricos em massa; os pipelines de inferência precisam de recursos atualizados. A ingestão atende a ambos: a ingestão em lote pode ser usada para conjuntos de treinamento e os padrões de latência mais baixa podem ser usados para repositórios de recursos.

Qual é a aparência de uma boa ingestão de dados?

Quando os dados chegam completos e no prazo, os analistas podem parar de duvidar de seus números e de fazer verificações de reconciliação antes de cada relatório.

Uma boa ingestão de dados garante integridade. Todos os registros que deveriam estar lá estão lá. Uma camada de ingestão bem projetada lida com desduplicação, preenchimento de lacunas e detecção de registros que chegam atrasados antes que eles se tornem erros de relatório.

Os dados também chegam quando necessário. Isso nem sempre significa o mais rápido possível: significa que os dados chegam antes que o usuário precise deles.

Quais são os principais desafios para a ingestão de dados?

A ingestão parece simples até você executá-la em vários sistemas de origem. Os seguintes desafios de ingestão de dados causam problemas constantemente.

Segurança e exposição de dados

Mover dados confidenciais (por exemplo, transações financeiras, informações pessoalmente identificáveis, registros de pagamento) pela infraestrutura de ingestão cria exposição a cada salto. As equipes que direcionam dados de pagamento por meio de um conector de extração, transformação, carregamento (ETL) terceirizado dão a esse fornecedor acesso a todo o seu histórico de transações. Se isso é aceitável, depende dos contratos com os fornecedores, dos requisitos de conformidade e da tolerância a riscos.

Escala

O volume aumenta com o tempo. Alterações de esquema nos sistemas de origem podem interromper pipelines de maneiras que nem sempre ficam evidentes imediatamente. Estratégias de particionamento, cargas incrementais e tratamento da evolução de esquemas são desafios de engenharia que precisam ser considerados antes de se tornarem incidentes.

Fragmentação

Em muitas organizações, a ingestão é desorganizada em vez de um sistema que foi projetado intencionalmente. Digamos que a equipe de dados tenha criado um conector para o Salesforce, enquanto a engenharia criou um separado para o banco de dados de produção, e a equipe financeira tem uma exportação de valores separados por vírgula (CSV) que alguém faz upload toda segunda-feira. O resultado são pipelines de dados duplicados e inconsistentes, difíceis de monitorar e ainda mais de confiar.

Falhas de qualidade

Às vezes, os pipelines falham de forma óbvia: um trabalho apresenta erro ou um dashboard fica em branco. Mas as falhas também podem ficar ocultas. Por exemplo, uma alteração de esquema upstream pode descartar uma coluna, e as tabelas downstream começam a perder dados, ou a limitação de fluxo de uma API pode causar cargas parciais que parecem completas. Sem um monitoramento que verifique as contagens de linhas, os intervalos de valores e a integridade referencial, você não saberá até que algo falhe de forma grave o suficiente para ser notado.

Qual é a diferença entre a ingestão de dados, ETL e ELT?

A ingestão de dados, ETL e ELT descrevem partes sobrepostas do mesmo pipeline, mas significam coisas diferentes.

• Ingestão de dados: É o ato de mover dados de uma fonte para um sistema de destino. Trata-se de transporte e entrega. Não considera se os dados sofrem alterações em trânsito.
  
• Extract, transform, load (ETL): Esta é uma arquitetura onde os dados são extraídos da fonte, transformados no meio do processo (historicamente em uma ferramenta de transformação dedicada ou servidor de preparação) e carregados no destino em sua forma final, pronta para consulta. A transformação acontece antes da chegada dos dados.
  
• Extract, load, transform (ELT): Esta é a mesma arquitetura, mas com as duas últimas etapas invertidas. Os dados brutos chegam primeiro ao warehouse e a transformação acontece lá usando a linguagem de consulta estruturada (SQL) ou ferramentas como a data build tool (dbt). Isso se tornou prático à medida que os cloud warehouses ficaram baratos e poderosos o suficiente para executar transformações pesadas em grande escala, e agora é o padrão dominante para pilhas de dados modernas.
  

Como um provedor de pagamento ajuda na ingestão de dados?

O Stripe Data Pipeline é uma sincronização direta da Stripe para seu warehouse ou destino de armazenamento na nuvem sem intermediários. Ele está disponível para usuários existentes da Stripe e conecta-se a destinos como Snowflake, Redshift e Databricks. A configuração não requer escrever código ou configurar conectores.

Veja como o Stripe Data Pipeline ajuda na ingestão de dados:

• Atualização de dados: as sincronizações são executadas continuamente, com a maioria dos dados disponíveis algumas horas após o evento subjacente.

• Dados históricos: ao conectar, você tem acesso a todo o seu histórico da Stripe, em vez de apenas aos dados a partir da data de conexão.

• Integridade dos dados: o Stripe Data Pipeline inclui relatórios financeiros pré-criados, como reconciliação de repasses e resumo de saldo, além de conjuntos de dados selecionados para casos de uso comuns, como receita mensal recorrente (MRR) e análise de fraude. Fornecedores terceirizados não podem sincronizar essas fontes de dados e exigem exportações manuais ou a reconstrução de dados.

• Exposição reduzida a fornecedores: como a sincronização é direta da Stripe para seu warehouse, seus dados de pagamento não passam pela infraestrutura de um fornecedor terceirizado.