ビジネスが拡大すると、データの問題が発生しやすくなります。取引、顧客レコード、収益イベントは、手動で処理できる速度を超えて蓄積されます。自動データ処理により、データを収集、検証、変換、およびルーティングします。これにより、手動でエクスポートをプルしたり、スプレッドシートを再フォーマットしたり、パイプラインを監視したりする必要がなくなります。データ主導の意思決定と自動化には大きな需要があり、この分野は 2023 年から 2027 年にかけて 30% 以上の年平均成長率で成長すると予想されています。

以下では、自動データ処理の概要、主な処理モデル、およびパイプラインの信頼性を確認する方法について説明します。

主なポイント

• 自動データ処理は、最小限の人的介入でデータを収集、検証、変換、保存し、拡張性のない手動のワークフローを置き換えます。

• バッチ処理、ストリーミング処理、分散処理は、それぞれ異なるレイテンシーとボリュームのニーズに対応します。通常、チームはスタック全体で複数のアプローチを使用します。

• データをデータウェアハウスやクラウドストレージに直接同期する決済代行業者は、サードパーティのコネクターでは多くの場合実現できない、データの完全性、鮮度、信頼性を提供します。

自動データ処理とは何ですか?

自動データ処理とは、最小限の人的介入でシステムを使用して、収集、検証、変換、保存などのデータタスクを処理することを意味します。入力は、支払いイベントのストリーム、分類された取引のバッチ、またはアプリケーションログの継続的なフィードになる場合があります。出力は、データウェアハウスのクリーンアップされたテーブル、自動的に入力されるレポート、または下流の分析の準備ができたエンリッチされたレコードに流れる可能性があります。

自動データ処理により解決される問題とは？

自動データ処理は、大規模な数値を処理する際の特定の一連の障害モードに対処します。自動データ処理により解決される主な問題は次のとおりです。

• 手動の作業: 人間は判断を下すのは得意ですが、毎朝 5 万行に対して同じ変換プロセスを間違いなく実行するのは得意ではありません。

• データの不整合: 同じデータを異なる人が異なる方法で処理すると、異なる結果が生じます。自動化により、単一の⼀貫したプロセスが適用されます。

• 遅いレポートサイクル: データがソースからダッシュボードに移動するのに 48 時間かかると、常に古い情報に基づいて意思決定を行うことになります。自動化されたパイプラインにより、その遅延が数時間または数分に短縮されます。

• 脆弱なパイプライン: 手作業で構築されたスクリプトは、データソースのスキーマが変更されると機能しなくなる可能性があります。専用に構築された自動化はより耐久性があります。

• セキュリティのリスク: データプロセスの手動による各ステップは、機密情報が漏洩する可能性がある場所です。自動化により、データの取り扱いが多すぎることで生じるリスクが軽減されます。

自動データ処理の仕組み

一般的に、自動データパイプラインは同じ段階を経て処理されます。

回収

ここでデータがパイプラインに入ります。これには、スケジュールに基づいたアプリケーションプログラミングインターフェイス (API) のポーリング、生成されたイベントのストリームの消費、データベースからの読み取り、クラウドストレージにドロップされたファイルの取り込みなどが含まれます。収集メカニズムによってレイテンシーが決まります。

検証とクリーニング

この段階では、パイプラインにより、受信したデータが期待に一致しているかが確認され、必要なフィールドが存在し、値が正しい形式であり、重複が削除されていることが保証されます。ここで、下流の出力が破損する前に不正なデータが捕捉されます。

変換とエンリッチメント

ここで、生データがチャーン分析や月次レポートなどのタスクに役立つ形式に変換されます。これには、複数のソースからのレコードの結合、派生フィールドの計算、通貨の変換、ウェアハウスのスキーマに一致させるためのデータの再構築などが含まれる場合があります。通常、ここに処理の複雑さの大部分が存在します。

ロード

この段階で、処理されたデータは、クラウドストレージのバケット、レポートツール、または BigQuery、Snowflake、Redshift などのデータウェアハウスなどの宛先に移動します。パイプラインアーキテクチャに応じて、これは大規模なバッチで行われるか、小規模な書き込みのストリームとして行われる場合があります。

自動データ処理の主な種類とは？

適切な処理モデルは、データが必要になる速度と移動するデータの量によって異なります。通常、チームは最終的に複数のモデルを使用することになります。

自動データ処理の主な種類は次のとおりです。

バッチ処理

バッチ処理では、毎時、毎晩、毎週などのスケジュールされたチャンクでデータを処理します。これは最も古いモデルですが、月末の財務レポート、週次のコホート分析、夜間の抽出、変換、ロード (ETL) ジョブなど、リアルタイムの情報が不要なワークロードでは依然として最も一般的です。ストリーミングよりも実行コストが安く、分析も容易です。

ストリーミング処理

ストリーミング処理では、データが生成されると同時に処理されるため、レイテンシーが数秒または数ミリ秒に短縮されます。これは、取引が完了する前の不正利用の検出や、リアルタイムのダッシュボードに不可欠です。ただし、ストリーミングパイプラインは、バッチ処理と同等なものよりも構築、テスト、運用が困難です。

分散処理

分散処理は、大規模なバッチとストリーミングの両方に適用されるアーキテクチャの選択肢です。データ量が 1 台のマシンで処理できる量を超えると、分散フレームワークによって作業が多数のノードに並列に分割されます。非常に大規模なデータセットを扱うまで、ほとんどのチームはこれを必要としません。

自動データ処理が機能しているかどうかを確認するにはどうすればよいですか？

誤った出力を生成する自動化は、手動のプロセスよりも悪影響を及ぼします。自動データ処理が機能していることを確認する方法は次のとおりです。

• 鮮度: データはスケジュールどおりに到着していますか？午前 6 時に実行されるはずだったパイプラインが実行されなかった場合は、そのギャップがビジネスの意思決定に影響を与える前にアラートが送信される必要があります。

• 完全性: 期待されるすべてのレコードが到着しましたか？通常は 5 万行が生成される毎日の取引の読み込みで 500 行しか生成されない場合は、上流で何かが破損していることを示しています。

• 正確性: 出力の値は期待に一致していますか？平均または合計が過去の基準から著しく逸脱した場合にフラグを立てる統計チェックを実装します。

• リネージ: 特定のデータがどこから来て、どのような変換が行われたかを追跡できますか？ダッシュボードの数値が間違っているように見える場合、リネージにより根本原因を診断できます。

Stripe Data Pipeline は自動データ処理をどのようにサポートしますか？

Stripe Data Pipeline は、Stripe データをデータウェアハウスやクラウドストレージに直接移動するための Stripe のネイティブコネクターです。これには、取引、入金、不審請求の申請、顧客、返金、その他のデータセットが含まれます。コードは不要です。宛先を接続し、同期するデータを設定するだけで、残りはパイプラインによって処理されます。

Stripe データに仲介者を介さず、Stripe のネイティブパイプラインを使用する主な理由は次のとおりです。

• データの完全性: Stripe Data Pipeline には、コネクターをオンにした時点からではなく、アカウント作成時まで遡る過去のデータが含まれます。また、サードパーティのコネクターでは公開されない、事前構築済みの財務レポートや厳選されたデータセットも含まれています。

• 信頼性: パイプラインは Stripe によって構築および維持されているため、基盤となるデータモデルのスキーマが変更されても接続が切断されることはありません。サードパーティのコネクターは、Stripe の API をリバースエンジニアリングして変更に対応する必要があります。

• セキュリティリスクの軽減: サードパーティの ETL ツールを使用すると、Stripe データは追加のベンダーのインフラストラクチャーを通過します。これにより、管理する認証情報、評価する利用規約、潜在的な障害点がさらに増えることになります。