一旦扩大规模，商家很可能会出现数据问题。交易、客户记录和收入事件积累的速度超过了任何团队手动处理的速度。自动化数据处理可收集、验证、转换并引向数据，而无需任何人手动提取导出、重新格式化电子表格或监控管道。对数据驱动型决策和自动化的需求很大，预计在 2023 年至 2027 年期间，该领域的复合年增长率将超过 30%\。

在下面，我们将解释什么是自动化数据处理、主要处理模型以及如何知道您的管道是否值得信赖。

要点

• 自动化数据处理在极少人工干预的情况下收集、验证、转换和存储数据，取代了无法扩展的手动工作流。

• 批处理、流处理和分布式处理分别服务于不同的延迟和容量需求。团队通常在他们的技术栈中使用不止一种方法。

• 直接将数据同步到数据仓库或云存储的支付服务商提供了第三方连接器通常无法匹敌的数据完整性、时效性和可靠性。

什么是自动化数据处理？

自动化数据处理意味着使用系统在极少人工干预的情况下处理数据任务，如收集、验证、转换和存储。输入可能是支付事件流、一批已分类交易，或者应用程序日志的连续馈送。输出可以流向数据仓库中的干净表、自动填充的报告，或为下游分析准备好的丰富记录。

自动化数据处理能解决哪些问题？

自动化数据处理解决了大规模处理数字时的一组特定故障模式。以下是自动化数据处理解决的主要问题：

• 手动处理： 人类擅长进行判断，但不擅长每天早晨在不犯错的情况下对 50,000 行数据运行相同的转换流程。

• 数据不一致： 当同一数据由不同的人使用不同的方法处理时，会产生不同的结果。自动化会强制执行单一、一致的流程。

• 报告周期长： 如果数据从来源移动到管理平台需要 48 小时，那么您的团队始终在根据过时的信息做出决策。自动化管道将该延迟缩短至几小时或几分钟。

• 脆弱的管道： 当数据源更改其架构时，手动构建的脚本可能会损坏。专用自动化更持久。

• 安全暴露： 数据流程中的每个手动步骤都是敏感信息可能泄露的地方。自动化降低了由于数据处理人员过多而带来的风险。

自动化数据处理的工作原理是什么？

自动化数据管道通常会经历相同的阶段。

税款收取

这是数据进入管道的地方，无论这涉及按计划轮询应用程序编程接口（API）、在事件生成时消耗事件流、从数据库读取，还是提取放入云存储中的文件。收集机制将决定延迟。

验证与清理

在此阶段，管道会检查传入数据是否符合预期，确保必填字段存在、值格式正确并删除了重复项。这里能在不良数据破坏下游输出之前将其捕获。

转换与丰富

在这里，原始数据被转换为可用于流失分析和月度报告等任务的格式。这可能意味着连接来自多个来源的记录、计算派生字段、转换货币或重组数据以匹配仓库架构。大部分处理的复杂性通常都在这里。

加载

在此阶段，处理后的数据会移动到其目的地：云存储桶、报告工具或诸如 BigQuery、Snowflake 或 Redshift 这样的数据仓库。根据管道架构的不同，这可能以大批量进行，也可能作为较小写入流进行。

自动化数据处理的主要类型有哪些？

正确的处理模型取决于您需要获取数据的速度以及您移动的数据量。团队最终通常会使用不止一种模型。

以下是自动化数据处理的主要种类。

批处理

批处理按计划的数据块处理数据，无论是每小时、每晚还是每周。这是最古老的模型，但对于不需要实时信息的工作负载（如月末财务报告、每周群组分析以及隔夜的提取、转换和加载（ETL）作业）来说，它仍然是最常见的。与流处理相比，它的运行成本更低，分析也更容易。

流处理

流处理在数据生成时即处理数据，这意味着延迟降至秒或毫秒级。这对于在交易完成前进行欺诈检测或实时管理平台是必要的。但与批处理相比，流处理管道在构建、测试和运行方面更困难。

分布式处理

分布式处理是一种在规模化时同时适用于批处理和流处理的架构选择。当数据量超过单台机器所能处理的范围时，分布式框架会将工作并行拆分到许多节点上。大多数团队在处理非常大的数据集之前都不需要用到这个。

您如何知道您的自动化数据处理是否有效？

产生错误输出的自动化比手动流程更糟糕。以下是如何确保您的自动化数据处理有效：

• 时效性： 数据是否按计划送达？如果一个本应在上午 6:00 运行的管道未能运行，应在这一间断影响商家决策之前向某人发出提醒。

• 全面性： 所有预期记录都送达了吗？日常交易加载产生的行数通常为 50,000 行，若仅产生 500 行，便发出了上游存在某些故障的信号。

• 准确性： 输出中的值是否符合预期？实施统计检查，在平均值或总计明显偏离历史常态时进行标记。

• 谱系： 您能否追溯特定数据的来源以及它经历了哪些转换？当管理平台中的某个数字看起来有误时，谱系能让您诊断根本原因。

Stripe Data Pipeline 如何支持自动化数据处理？

Stripe Data Pipeline 是 Stripe 的原生连接器，用于将 Stripe 数据直接移动到您的数据仓库或云存储中。这包括交易、提现、争议、客户、退款和其他数据集。它不需要代码：您可以关联您的目的地、配置您想要同步的数据，其余的由管道处理。

以下是使用 Stripe 原生管道处理 Stripe 数据而不是通过中间方进行引向的最大原因：

• 数据完整性： Stripe Data Pipeline 包含追溯到账户创建时的历史数据，而不是从您开启连接器时算起。它还包含第三方连接器不会披露的预构建财务报告和精选数据集。

• 可靠性： 由于管道由 Stripe 构建并维护，对底层数据模型的架构更改不会中断您的连接。第三方连接器必须对 Stripe 的 API 进行逆向工程并跟上更改。

• 降低安全暴露： 使用第三方 ETL 工具，您的 Stripe 数据会穿过另一个供应商的基础设施。这意味着又有一组凭据需要管理，另一组服务条款需要评估，以及另一个潜在故障点。